top of page

同一件事,AI 耗用卻能差 30 倍:企業開始追問代理做完任務值多少

9月27日
讀畢需時 3 分鐘

David Tepper 回憶,在 Azure 管理生成式 AI 用量時,各部門每天各花約 25 萬美元,支出卻只能靠試算表追蹤。他走訪團隊、調整幾項做法後,向主管回報每週省下約 30 萬美元。這是他在麥肯錫訪談中的回述;它也點出一個正在擴大的問題:企業知道 AI 用得愈來愈多,卻未必知道每項工作花了多少、換回什麼。

如今身為 AI 成本衡量公司 Pay-i 執行長的 Tepper,接觸的對象也變了。以前是工程主管想追蹤費用;現在財務長與資訊長更常問:這些代理究竟值不值得繼續運作?

從鼓勵員工使用,到看懂每一項任務

過去企業替員工開通 AI 助理,費用常像軟體席次一樣列在預算裡。當 AI 代理開始替人查資料、寫程式、呼叫工具與反覆修正,帳單就跟著每次執行的路徑變動。即使指派同一件事,代理也可能走不同步驟,產生不同用量。麥肯錫引述代理程式研究指出,在所研究的任務裡,token 用量最高可相差 30 倍;這不是企業總支出將上漲 30 倍的預測。

麥肯錫 2026 年全球 AI 調查顯示,28% 的受訪者說其組織已將超過一成的資訊與通訊技術預算用在 AI;約五分之一表示,包含 token 在內的營運成本已限制 AI 使用。另一方面,60% 預期未來一年仍會增加 AI 投資。企業並非突然不想用 AI,而是從「先讓大家用」走到「哪些工作值得持續付費」。

兩條不同長度的 AI 代理執行路徑通往同一完成結果。
同一任務可能經過不同代理步驟,耗用也因此不同。

便宜的 token,未必帶來便宜的工作

Tepper 的經歷揭示帳單最難回答的部分。他在麥肯錫訪談中說,token 告訴企業花了多少,卻不告訴企業這筆錢是否值得。Pay-i 因此把代理用量與業務指標連起來,試圖看清不同應用完成一件事的成本與成果。

麥肯錫另以銀行客服代理為例分析:在其模型中,token 往往只占代理每次執行可變成本的 20% 至 25%,人工監督卻占 70% 至 75%。這是特定情境的估算,提醒人們:代理若反覆出錯,便宜的模型也可能把時間與審核成本轉給員工。相反地,較昂貴的模型若提高完成率、減少人工覆核,總成本也未必較高。

麥肯錫自己也在改變使用方式

這個轉向不只發生在客戶身上。麥肯錫披露,內部正試行一項工具,在員工使用大型語言模型時,提示如何改寫提問與選擇模型。與其等月底帳單出現才追究超支,這項試驗把提醒放在實際使用當下;目前公開資料沒有提供它節省多少費用,不能把試行寫成已證實的成效。

更大的問題仍在工作本身。麥肯錫調查中,約 80% 受訪者認為 AI 提高了自己的生產力,但只有 37% 將至少一部分企業息稅前利益影響歸於 AI;能把顯著價值與至少 5% 息稅前利益影響連在一起的高績效組織約占 6%。個人快一點,尚未自然變成公司賺得更多。

Tepper 當年在試算表裡找成本,如今企業要看的不只是試算表是否下降,而是一項客服處理、一次程式修改或一個決策完成後,省下多少人力、減少多少錯誤、帶來什麼結果。AI 代理可能把工作做得更快,也可能讓用量在看不見的迴圈裡增加。下一階段的競爭,將是誰能把這兩面放進同一張帳單。

熱門文章:

資訊參考:

 
 
 

留言


bottom of page