InstructGPT 作者:大多数大模型调用,读结果的是机器不是人
InstructGPT 论文合著者 Diogo Almeida 估计,coding agent 能让开发提速 20% 到 40%;他还认为,AI 离真正的自主能力还差两次大突破。
- 谁说的
- Diogo Almeida 是 OpenAI InstructGPT 论文的合著者、TypeSafe AI 联合创始人。他在 Redpoint 的 Unsupervised Learning 播客里接受了 Jacob Effron 的访谈。
- 核心观点
- 他认为,AI 早就聪明到能做那些简单的工作,迟迟没被自动化,卡在可靠性上。所以他做了 Jev:一种「系统一」模型,输出结构化的决策,不输出大段文本。
- 依据
- 依据来自他的亲身经历:Jev 闭门做了两年,9 月发布。他原以为一周就能做出来,结果花了好几年。他说新的模型形态很便宜,难的是可靠性。
- 对你的意义
- 检查你工作流里的 AI 调用:如果结果是给程序读的,就要求它输出固定的结构和选项,再去测稳定性,不要依赖一段自由文本。估算 coding agent 带来的收益时,按两到四成的提速来做预期。
- 争议·条件
- 20% 到 40% 是他个人的估计。他做的正是「可靠性」方向的模型,看法跟自己的产品方向一致。
在 Unsupervised Learning 第 97 期里,Diogo Almeida 谈到一个现象:很多简单工作,模型几年前就有能力做,到现在还没被自动化。他的解释是可靠性不够,而且模型能力参差不齐,有的地方很强,有的地方突然失灵。他建议开发者在这一点上更强硬地向模型厂商提要求。
他的核心观点是:几乎每一次 LLM 调用,结果都是给机器读的,所以应该输出结构化的决策,而不是给人看的文字。他的 Jev 就是按这个思路做的。节目里他还谈到 KV cache 对 coding agent 的限制,估计 coding agent 能带来 20% 到 40% 的提速,并认为离真正的 AI 自主能力还差两次巨大突破。
对做自动化的人来说,可以把问题从「模型够不够聪明」换成「同样的输入跑一百次,结果是否稳定」。