面對 LLM 補貼時代的終結：打造節省 Token 的自動化架構

Jun 8, 202606:00 AM

LLM 補貼時代不會長久，每位開發者都需要找出最適合自己的使用方式。我們再也無法為了搜尋儲存庫中的一個檔案這類小事，就動用龐大的前沿模型。謹慎且有智慧地使用 LLM 非常重要——不只是為了成本，也是為了環境。

為了適應這個轉變，我們需要圍繞工作流程建立一套分層系統，依據任務的性質加以分類，避免在不需要 AI 的事情上浪費 Token。

1. 確定性層：你不需要 LLM

節省 Token 的第一條法則很簡單：不是所有事情都需要 LLM。

如果一支 shell 腳本就能幫你完成日常工作，為什麼每次都要使用 LLM 重複執行它？本地腳本既能省下 Token，也能節省時間。對於重複性任務，我們不應忘記像 cron 這樣的傳統工具依然運作完美。

策略：

一次建立，永久運行： 對於確定性任務，只需使用 LLM 建立一次程式碼或腳本，之後就無需再花費任何 Token。
不限於腳本： 這個方法不只適用於 shell 腳本，同樣適用於本地 Web 應用程式、桌面應用程式，以及任何邏輯完全確定的系統。
沙盒的問題： 雖然像 n8n 這樣的自託管平台看似是個好選擇，但其嚴格的沙盒機制可能不適合個人使用。沙盒環境在本地整合失敗時容易造成混亂，也讓日常系統層級任務的自動化變得更困難。對於執行獨立的 Agentic 系統，沙盒是必要的；但對於執行自己的本地腳本，它反而是一種阻礙。

2. 本地與小型 LLM：建立個人評估系統

LLM 領域發展極快，開放權重模型現在已經可以在手機、筆電或桌機上本地運行。小型自動化任務完全可以在個人裝置上處理，無需仰賴前沿 LLM。

本地模型的挑戰：

選擇合適的模型： 找到正確的小型 LLM 是一項獨特的挑戰。對別人完美適用的模型，未必適合你。
自託管評估： 如果選擇走本地 LLM 路線，你必須為自己建立一套專屬的評估與基準測試系統。
整理你的使用情境： 你需要整理出自己的具體使用情境，並讓它們通過評估系統，以確保這些較小的模型真正符合你的需求。這樣就能完全繞過昂貴的前沿模型，用於日常輔助。

3. 前沿模型：保留給高價值、高脈絡的任務

前沿模型通常具備驚人的速度和超大的上下文視窗。我們應該將 Token 預算保留給它們真正優於本地替代方案的領域。

程式碼生成： 當前沿模型能明確地做得更好時，就沒有理由使用本地模型來生成複雜程式碼。
高品質內容創作： 生成豐富的內容——例如高品質的圖片、音訊和影片——仍然是前沿模型的強項，能確保速度和卓越的品質。

4. 我們如何真正節省 Token？架構與快速回饋迴圈

如果你正在建立一個旨在長期維運的系統——而不只是一個可拋棄的概念驗證（PoC）——你必須思考如何確保系統按照你的設想建立。你至少必須掌控設計與架構。向 LLM 提出模糊的「願望」對 PoC 來說或許尚可，但用這種方式維護一個程式碼庫很快就會陷入混亂。

當心 UI 的「Token 黑洞」

真實案例： 我曾用 LLM 生成過一個漸進式 Web 應用程式（PWA）。第一個版本相當不錯，但有一些小的 UI 問題。我最終花費了大量 Token 試圖調整和修改它，因為它就是無法呈現我腦海中想像的樣子。
解決方法： 持續使用原型，直到你能清楚地看到整個流程和細節。只有在設計穩固之後，才去投入最終實作，而不是燃燒 Token 在漫無目的的增量修改上。

用防護措施縮短回饋迴圈

為了確保 LLM 做了正確的事，你必須建立強健的防護措施，例如自動化的單元測試和整合測試。
這樣就建立了一個框架，讓 LLM 能夠重複執行並自主改進。
建立小而獨立的模組，讓回饋迴圈保持極短。快速、可重複的回饋迴圈至關重要——不只對人類開發者如此，對 LLM 高效完成任務也同樣關鍵。

補貼 AI 時代的終結並非危機，而是一個驅動力。它推動我們建立更聰明的系統，更仔細地思考哪些事情真正需要智能，並投資於讓每個 Token 都物有所值的回饋機制。現在養成這些習慣的開發者，在真正定價到來時，將擁有巨大的優勢。