ProAgent: Building Proactive Cooperative AI with Large Language Modelsbb
摘要：在人机合作中构建具有自适应行为的人工智能是 AGI 研究的一个关键重点。目前开发合作代理的方法主要依赖于基于学习的方法，在这种方法中，策略泛化在很大程度上取决于过去与特定队友的互动。这些方法限制了代理在面对新队友时重新调整策略的能力。我们提出的 ProAgent 是一个新颖的框架，它利用大型语言模型（LLMs）打造了一个积极主动的 ProAgent，它能够预测队友即将做出的决定，并为自己制定增强型计划。ProAgent 擅长合作推理，能够动态调整自己的行为，以加强与队友的合作。此外，ProAgent 框架还具有高度的模块化和可解释性，便于无缝集成以应对各种协调场景。在 Overcook-AI 框架内进行的实验评估揭示了ProAgent的显著性能优势，它在与人工智能代理合作方面的表现优于五种基于自我游戏和基于群体训练的方法。此外，在与人类代理模型合作时，与目前最先进的 COLE 相比，ProAgent 的性能平均提高了 10%以上。在与不同特征的人工智能代理和人类代理进行交互的各种场景中，都能持续观察到这种进步。这些发现为未来的人机协作研究提供了灵感。
ProAgent Framework
- Memory 模块，存储有关任务轨迹和任务领域常识的信息。该模块可帮助代理回忆过去的经验和知识，为其决策过程提供信息。
- Planner 模块，遵循思维链方法。
- Verificator 模块，分析和审查 LLM 在合作环境中生成的计划，可识别任何不合理或有缺陷的计划，并提供宝贵的见解和改进建议。侧重于分解在收到来自外部环境的负面反馈时如何重新规划当前代理。
- Controller 模块，将基于语言的高级技能转换为可在环境中执行的低级操作。使用基于规则的路径搜索算法或通过基于语言的强化学习方法训练的策略来实现。