看了 Utkarsh Kanwat 写的一篇文章,叫做《Why I’m Betting Against AI Agents in 2025 (Despite Building Them)》,他分享了他构建了大概十来个智能体应用后,所学习到的经验。我看的深有共鸣,也收获不少。
但是这篇文章,如果你还没有构建过 agent,我是不建议看的。因为只有真正搭建过一个 agent,反复被准确度,稳定性和 LLM 的胡言乱语折磨后,你再来看这篇文章,你就会只有深深的认同感。因为构建 agent,不管从那个思路上看,逻辑都是正确的,但是一旦落地实战,准备上产线了,你就会感受到满满的伤害,为什么会是这样?
构建 agent,第一个要考虑的问题是,它的边界在哪里?但是很多人会有一个误解,就是,我已经有那么多数据了,不管在哪里,数据库还是文档中,不就是跟 chatgpt 一样,丢给它就可以直接回答所有问题的吗?这真是一个最大的误解。除非你对于回答的准确度一点都不在乎。
对于很多 SaaS 应用来说,这是一个很关键的问题,而不是说你已经有了那么多数据,简单加一个 LLM 就可以了。很多时候,LLM 要回答的问题,甚至它都没有对应的领域知识。而我们往往期望过高,要问的问题都涉及到很多统计聚合操作。比如,第三层楼面积最大的房间里面有几个工位?这类问题是我们需要先定义的,agent 是有边界的。
第二个是,我们要考虑,一个标准的任务处理流程中,其实是需要10-20个步骤的,但是我们也忽略了如果做成全自动 agent,每个步骤 LLM 的成功率是多少?如果按照文章中的每一个步骤是95%的成功率(这个其实都有点难),那么20个步骤后,成功率只有36%。这个对于产线来说是真的可以接受的吗?
第三个是,我们需要算好经济账。每一次对话,需要花多少 token,如果做成对话式的,那么就是一个指数级的增长,越往后给 LLM 的上下文越长。但是对于用户体验来说,我在一个连续对话中,问的第一个问题和第二十个问题其实没有差别。所以作者说了一句,任何在产线上成功的 agent,基本上都不是对话式的。

基于上面的三点,一个成功的 agent,应该要具备的特征是什么?
一。一个是步骤不能太多,3-5步,而且每一步都可以验证,关键节点还需要人类确认。步骤短了可以控制上下文。
二。重心应该放在设计工具上,工具不仅仅是返回原来的数据,还需要构建一个 feedback 系统。这个数据是什么?比如一个工具返回了上万行数据,那么对于 agent,它上下文不需要知道所有数据,只需要前五行估计也就够了。
三。API 还是人机接口,给人看的,比如我们可以通过 postman 来使用,或者是给传统确定性的软件工程来用的,但是 AI不是需要的这个,它需要数据 + 反馈。
四。最后一个我非常认可的分工,AI 负责复杂度,人类负责控制,传统软件工程来负责可靠性。
这个跟我在其他地方看到的言论趋于一致,很多 agent 其实还是一个工作流,只不过其中某几个节点靠 AI 来处理判断后,人类介入来控制。而我们传统设计软件功能的能力被用去精心设计MCP 工具了。
评论列表 (0条):
加载更多评论 Loading...