CoALA:
Date
Sep 5, 2023
Institution
Princeton University
Publication
Artificial Intelligence
摘要：最近的一些研究已经将大型语言模型（LLMs）与外部资源（如互联网）或内部控制流（如提示链）结合起来，用于需要基础或推理的任务。然而，这些努力在很大程度上都是零敲碎打的，缺乏一个构建完整语言代理的系统框架。为了应对这一挑战，我们借鉴了符号人工智能中丰富的代理设计历史，为新一轮认知语言代理开发了一个蓝图。我们首先展示了 LLMs 与生产系统具有许多相同的特性，而最近为改进其基础或推理所做的努力也反映了围绕生产系统建立的认知架构的发展。然后，我们提出了语言代理认知架构（CoALA），这是一个概念框架，用于系统化基于 LLM 的推理、接地、学习和决策的各种方法，并将其作为框架中语言代理的实例。最后，我们利用 CoALA 框架强调了差距，并提出了可操作的方向，以便在未来开发出能力更强的语言代理
框架：
- 记忆
- 工作记忆（Working Memory）。如感知输入的、推理生成的、从长期记忆中检索的、从先前决策继承的信息，作为当前决策周期的符号变量；
- 情景记忆（Episodic Memory）。存储早期决策周期的经验，在规划周期可能会被检索到工作记忆中支持推理。
- 语义记忆（Semantic Memory）。存储智能体关于世界和自身的知识。智能体可以从 LLM 推理中获得的新知识写入语义记忆中，逐步建立世界知识。
- 程序记忆（Procedural Memory）。存储在 LLM 权重中的隐形知识和写入代理代码中的显性知识，代理代码包含实现动作和决策的程序。
- Grounding Action：执行外部动作并将环境反馈作为文本处理到工作记忆中
- 检索：将信息从长期记忆读取到工作记忆中
- 推理：处理工作记忆中的内容生成新信息
- 学习：将信息写入长期记忆
- 更新经验到情景记忆
- 更新知识到语义记忆
- 更新 LLM 参数
- 更新 Agent 的代码
- 决策
- 策划阶段：提议、评估、选择
- 执行阶段：通过执行代理中的相关程序来应用所选操作
待讨论的问题
- 内部与外部动作：主体与环境之间的边界是什么？
- 计划与执行：代理应该计划多少？需要平衡规划成本与改进计划的效用
- 学习与行动：Agent 应该如何持续、自助地学习？
- LLM 与代码：Agent 应该在哪里依赖它们？