← Garden

最近的學習方向:AI Agent 與本地大模型

#AI Agent#LLM#本地部署#硬件

最近除了繼續學習和理解 AI Agent 的專業知識,我亦希望有系統地了解大模型如何在本地部署。

這不只是學會運行某個模型,而是要逐步建立一套完整認知:

  1. AI Agent:理解工具調用、記憶、規劃、工作流程、評估與安全邊界。
  2. 模型基礎:看懂參數規模、上下文長度、量化方式、推理速度和記憶體佔用。
  3. 本地部署:了解不同推理框架、模型格式和部署方式的取捨。
  4. 硬件選擇:有條理地學習 CPU、GPU、NPU、顯示記憶體、統一記憶體、記憶體頻寬、儲存與功耗。
  5. 實際驗證:根據自己的任務選擇模型和硬件,建立測試環境,再用數據比較效果、速度與成本。

目標不是追逐最大的模型或最新的硬件,而是理解模型、任務、軟件與硬件之間的關係,最後能夠作出適合自己的選擇。