AI工程化
2 篇文章
AI Agent 狀態機架構演進：ReAct 決策循環、記憶工程與 Firecracker 工具隔離沙盒
全面拆解生產級 AI Agent 系統架構：深入對比 Prompt 鏈、DAG 工作流與有限狀態機（FSM）；剖析 ReAct（Thought-Action-Observation）循環、Plan-and-Solve 與反思機制；詳解短期工作記憶（滑動視窗/摘要）與長期向量情境記憶架構；剖析基於 Firecracker / gVisor 的 MicroVM 工具隔離沙盒與防死循環熔斷設計。
大模型推理引擎優化全景：KV Cache 記憶體碎片化、vLLM PagedAttention 與推測解碼實戰
深度拆解 LLM 大語言模型推理加速與顯存優化核心技術：剖析 Prefill 與 Decode 階段的計算與記憶體瓶頸；詳解 KV Cache 為何浪費 60%~80% 顯存；深入 vLLM PagedAttention 虛擬分頁區塊映射與零拷貝分叉；解析 Continuous Batching（持續批處理）與 Speculative Decoding（推測解碼）的吞吐翻倍實踐。