AgentReview是基于大型语言模型(LLM)的框架,模拟学术同行评审过程。AgentReview基于LLM代理模拟评审者、作者和领域主席的角色,支持研究者在尊重隐私的同时,探索评审偏见、角色和决策机制对评审结果的影响。AgentReview能提供改进同行评审机制的洞见,支持未来的研究。
AgentReview的主要功能模拟同行评审过程:AgentReview模拟真实的学术同行评审流程,包括评审者评估、作者回应、评审者讨论和领域主席决策等阶段。角色模拟:框架内集成评审者、作者和领域主席(AC)三种角色,每种角色由LLM代理驱动,展现出不同的行为特征。多变量分析:基于模拟,AgentReview探索和分离多种影响评审结果的变量,如评审者的承诺、意图和知识能力,及AC的决策风格。隐私保护:在模拟过程中,AgentReview尊重评审数据的隐私性,不需要用真实的敏感评审数据。社会学理论验证:AgentReview验证如社会影响理论、利他主义疲劳、群体思维和权威偏见等社会学理论在同行评审中的应用。AgentReview的技术原理大型语言模型(LLM):AgentReview基于LLM构建,用语言理解和生成能力模拟评审者和作者的行为。代理建模:框架中的每个角色(评审者、作者、AC)都被建模为具有特定属性和行为的代理,代理根据预设的特性和规则进行交互。结构化评审流程:AgentReview遵循结构化的五阶段评审流程,模拟从初步评审到最终决策的全过程。自定义和扩展性:框架设计为可扩展的,支持研究者根据需要自定义角色属性和评审流程。数据驱动的洞察:基于大规模模拟生成的数据,AgentReview提供统计显著的洞察,支持内容和数值分析。AgentReview的项目地址项目官网:agentreview.github.ioGitHub仓库:https://github.com/Ahren09/AgentReviewHuggingFace模型库:https://huggingface.co/spaces/Ahren09/AgentReviewarXiv技术论文:https://arxiv.org/pdf/2406.12708在线体验Demo:https://huggingface.co/spaces/Ahren09/AgentReviewAgentReview的应用场景学术期刊和会议管理:用在优化和管理学术论文的同行评审流程,提高评审质量和效率。评审者培训与发展:作为教育工具,帮助新评审者学习评审标准和最佳实践。社会学和心理学研究:基于模拟验证社会影响、群体思维等理论在评审行为中的应用。跨学科评审研究:比较不同学科间的评审标准和流程,为跨学科期刊设计提供依据。政策制定和评估:辅助政策制定者评估和制定同行评审相关的政策和指导方针。
上一篇