一个 AI 创业者的反思、观察和预测
创业
- LLM创业者要与大公司错位竞争，To C可以关注 on-device（本地运行），To B 可以关注 on-premise（私有化部署）。如果要做私有化部署，隐私合规、成本和信创指标都可以作为竞争杠杆。
- 不要把解决了显眼的Limitation当做自己唯一的护城河。因为有可能你跑的最快，但不一定是跑的最好的，其他人可以用一个弯道超车的方法解决这个问题。
- 创业公司没有历史包袱，灵活性上有优势。
产品
- 公共可获取的数据价值是非常有限的，不属于你但是与你共生的数据才是真正的壁垒。比如私有化部署，客户的数据是你不能拿走的，你需要与客户构建一个不能让他迁移的成本。形成一种与客户共建的关系。
- ToB的需求里，65%可以集中理解为信息的检索、汇总和再生成；20%的客户有流程自动化和决策辅助的需求。
- 先行者会陷入过早优化的问题，由于中文大模型的中文基座能力非常弱，此刻大量的上层优化工作可能会被未来大模型的进步淘汰。
- 假设自己可以接入目前最好的模型，基于此来设计自己的产品。先做好自己业务的抽象层，把大模型的应用跟上层的业务逻辑进行抽象，建立起属于自己业务的baseline，然后迭代。
监管与合规
- 提前规划监管这件事，把它当作一个工程问题去解决
- 合规是一个动态的问题，不能指望有一个一劳永逸的解法。
- 主动报备，坦诚沟通。
限制和问题
- 落地难。随机性大的问题，也会导致生成式AI面临落地难的问题
- 复制难。LLM统一了NLP的范式，但是客户要的是解决方案，而不是模型。
- LLM的精准度偏低
向量数据库和Embedding
- LLM + 向量数据库范式很像一个硬盘很大但内存很小的电脑。这个硬盘里存了一堆过往工作的word，但是你每次只能看200个字，这就是向量数据库的局限性
- 选择Embedding需要考虑营养场景是否适合，因为Embedding是对语义的编码
上下文窗口
- Context变长是一件很重要，但是又非常难的事情。
- 更长的Context，我们就可以描述更长的任务，让它在自己的内存中把事情一步完成。
AI产品经理
- 生成式AI的不确定性、响应速度和服务成本与之前有很大区别
- 懂得如何去构建数据飞轮，比如Midjourney让你在4个小结果中选择一个再生成高清图，这就是构建了一个100%反馈率的数据飞轮