表面上看这似乎不算多少钱,但有两件事改变了这笔账的算法,让AI变成了一种昂贵的“习惯”。
第一件事是2024年“推理模型”的兴起,这类模型让聊天机器人在回答时采取了更具自省的方式。与早期ChatGPT那种迅速给出答复不同,推理模型会自我对话,一步步推演问题。为撰写本文做准备时,我让ChatGPT“梳理所有公司在token开支上过度消费的案例”。该模型先和自己“对话”了32秒,期间进行了多次网页搜索、阅读了几十篇文章,最后才生成了一段约一千个token的回答。而它内部的自我对话所消耗的token远不止这些。
而更新、也更大的问题,是AI智能体的兴起:只需一句简单的对话式指令,它们就能完成一连串复杂任务。与会受自身精力约束的人不同,智能体会疯狂消耗token。每一次提示都会引发成堆的对话——需要越来越多的token,而且这一切都在没有人工干预的情况下发生。
今年4月,谷歌、微软及多所顶尖高校的研究人员发布的一项研究显示:在完成同样的任务时,编程智能体消耗的token数量是人类程序员的上千倍。如今,智能体最常见的用途是软件编程。研究人员还发现,token成本在不同任务之间、不同模型之间差异很大。研究指出,无论是人还是AI模型,都不擅长估算一项工作会消耗多少token。这就好比钱包里有一张20美元的钞票,却不知道它能买到多少个热狗。
Token消耗越多,不代表最终效果越好。而失败的任务必须重做,这又需要额外消耗更多token。
如果这一趋势持续下去,企业网络上的智能体很快就会超过人类数量,并最终远远多于人类用户。正是预期到智能体的爆发式增长,以及这类应用恐怖的token消耗能力,海量资本才持续涌入新建AI数据中心,明年还将计划建设更多。
编程智能体的快速进步促使企业CEO们纷纷拥抱其应用,也许在他们完全了解成本之前就已开始。今年早些时候,企业创建了仪表盘来追踪员工的使用情况,结果可想而知——巨额账单接踵而至,随后企业迅速转向更节俭的使用方式。
这些预算担忧出现之际,各家公司仍在争论AI本身的实际效用。在今年5月的一次播客采访中,优步科技(Uber Technologies)总裁安德鲁·麦克唐纳(Andrew Macdonald)道出了这种新的谨慎态度。“有多少原本已经被搁置的项目因为生产力提升而被重新提上日程?”他说,“这种关联目前还不存在。”
与此同时,华尔街在AI变现问题上也正经历一场信心危机。分析师原本希望用“token”作为衡量AI交易热度与健康状况的替代指标,但上述种种定价问题让情况变得模糊不清。
随着美国最顶尖的前沿模型成本不断上升,企业正在寻找其他方式来控制AI预算,其中一个方向就是选用低价模型,比如使用来自中国的高性价比模型。长远来看,激烈的市场竞争或许会倒逼OpenAI、Anthropic下调高端模型定价,但现阶段这一幕尚未发生。
眼下,追踪AI供需平衡的最佳方式是通过云服务。投资者应更多关注亚马逊云服务(AWS)、微软Azure以及谷歌云的定价动态。就在本周,AWS今年第二次上调了英伟达GPU租赁价格。
归根结底,AI要想具备可行性,就必须带来更高的生产率,而生产率本质上是利润除以人类工作小时数。劳动力成本容易核算,但这个等式中的“利润”部分,则需要对token成本有更深入的理解。
在那之前,企业会尽一切努力把token支出控制住。而这对AI经济的受益者——从芯片制造商到能源公司,再到OpenAI、Anthropic这样的模型提供方——可能都不是好消息。
正如斯坦福大学经济学家埃里克·布林约尔弗森(Erik Brynjolfsson)去年对我所说:“技术本身很少在你刚接入时就能立刻带来生产力提升。几乎总是需要重新思考业务流程。要把所有可能性真正梳理清楚,可能需要几年甚至几十年。”