State of LLM
OpenAI 内部如何看待 AGI
- 短期，Codin等能力超过50%人类，AGI代表能做绝大部分知识工作者的工作
- 中期，解决大部分数学问题，写代码能替代人，模型和世界交互的方式就是代码
- 长期，用模型发现新的科学定律是终极目标，挑战是如何让模型和现实世界产生交互
LL技术应用的新趋势
- 好的LLM扮演人类思考的系统 1，好的 AI 应用扮演人类思考的系统 2
- LLM是新一代计算机，有更接近人类的智能与概率性输出，与传统软件的确定性输出不同
- API 能力将持续进化
- Function Calling 的进化是未来趋势，也是 LLM 迁移成本的开始
开源模型不具备真正智能，更好的小模型来自大模型的 Scale Down
模型公司的象限
判断
- OpenAI 目前的 80% 的算力放在 Training，未来会将 80% 的算力放在 Serving
- Serving 带来的投资机会
- ToC+Productivity是最具共识的
- 未来模型的迭代节奏会很像手机系统，1～2年更新一次大版本
- LLM 的 Context Window 就像电脑内存，向量数据可是 LLM 的硬盘