商傳媒｜責任編輯／綜合外電報導
人工智慧（AI）應用日益普及，但其帶來的效率提升並非沒有代價。雲端資料倉儲公司Snowflake的執行長斯里達爾·拉馬斯瓦米（Sridhar Ramaswamy）對當前AI產業中盛行的「Token Maxxing」現象表達了擔憂，他直指這項為最大化Token使用量而產出結果的行為，實際上是一種「糟糕透頂的主意」。
Token Maxxing：從狂熱追求到效率反思
Token是AI模型在學習和推論過程中，處理資訊的最小資料單位，可以想像成文字或標點符號的小片段。一個AI Agent（AI助理或代理，指能自主執行任務的AI軟體）在執行任務時，可能需要消耗數千個Token。過去，包含輝達（Nvidia）在內的科技巨頭曾引領一股對AI Token使用的狂熱。輝達執行長黃仁勳去年三月甚至在一次播客中表示，他會擔心一位年薪達50萬美元的工程師，若年底未將其中25萬美元花費在Token上，這暗示了對Token使用的鼓勵。
然而，這種盲目追求Token使用量，卻引發了意想不到的副作用。亞馬遜（Amazon）曾設定目標，要求開發人員每週使用AI的比例超過八成，導致員工為達到目標，指示AI Agent執行不必要的任務來消耗Token，進而提高自己的績效評分。據金融時報報導，一名亞馬遜工程部門資深副總裁因此敦促員工，不應僅為使用AI而浪費Token。亞馬遜最終停用了其內部追蹤員工AI工具使用情況的「Kiro Rank」工具。
社群媒體巨擘Meta（臉書的營運商）也曾透過名為Claudenomics的排行榜追蹤8.5萬名員工的Token使用量，並選出前250名。這鼓勵員工競爭「不朽者」（Immortal）或「Token傳奇」（Token Legend）等頭銜。然而，當Token消耗本身成為目標，導致每月Token使用量超過60兆，其中表現最佳的員工單獨使用了2,810億個Token，內部抱怨聲四起，最終開發該工具的員工將其停用。Shopify也曾是Token排行榜的推動者，但在副作用浮現後，現已將其改為單純的「使用量儀表板」。
轉向策略性應用：衡量實質生產力
面對Token消耗帶來的巨大成本與效率問題，企業開始調整策略。Uber便是一個例子，今年其AI年度預算在四個月內便被耗盡，主因是大量使用Anthropic的程式碼生成工具「Claude Code」。這讓Uber對投資報酬率（ROI，衡量投資效益的指標）亮起警訊，隨後便對AI使用量設定了上限。
Salesforce則從單純計算Token數量的評估方式，轉向引入「Agent Work Units (AWU)」的概念，用以評估AI Agent實際處理工作的多寡。而Snowflake執行長拉馬斯瓦米也強調，企業並不需要龐大的AI模型來處理所有任務，他指出：「您不需要大型模型來判斷用戶文字中是否帶有怒氣，事實上，這些判斷可以非常簡單地完成。」他認為，過去資料分析師需要數天才能將客戶回饋分類，如今透過簡單的英文指令，小型模型就能有效完成。
拉馬斯瓦米建議，透過結合使用先進模型和開源模型，並根據推論（inference）的性質來優化模型組合，例如在簡單任務中使用較小的Sonnet模型而非更龐大的Opus模型（Opus是Anthropic AI模型Claude的頂級版本，Sonnet次之），以有效管理Token成本。他強調，為提高生產力，關鍵在於系統性地組織任何大型任務，區分專案中重要與次要的部分，並實驗性地採用小型模型，以提升整體效益。
相關新聞推薦
正在載入相關新聞...
