最近的學習方向:AI Agent 與本地大模型
最近除了繼續學習和理解 AI Agent 的專業知識,我亦希望有系統地了解大模型如何在本地部署。
這不只是學會運行某個模型,而是要逐步建立一套完整認知:
- AI Agent:理解工具調用、記憶、規劃、工作流程、評估與安全邊界。
- 模型基礎:看懂參數規模、上下文長度、量化方式、推理速度和記憶體佔用。
- 本地部署:了解不同推理框架、模型格式和部署方式的取捨。
- 硬件選擇:有條理地學習 CPU、GPU、NPU、顯示記憶體、統一記憶體、記憶體頻寬、儲存與功耗。
- 實際驗證:根據自己的任務選擇模型和硬件,建立測試環境,再用數據比較效果、速度與成本。
目標不是追逐最大的模型或最新的硬件,而是理解模型、任務、軟件與硬件之間的關係,最後能夠作出適合自己的選擇。