AI Agent 與開發 第 26 頁

EarlyEval 能預測 Agent 評測的早期成敗，但 0.95 門檻不是安全保證。本篇從完整 traces、分組切割、雙 LightGBM、校準與 first-crossing replay，教你設計含 abstain、shadow mode 和 kill switch 的可撤回早停流程。

鎖定 MiniMind commit 與 mini dataset，逐步跑 Tokenizer 隔離實驗、Pretrain、SFT，保存 loss、checkpoint、時間與顯存取樣，再用固定 20 題拆解官方「2 小時」的三組未解說法。

Coding Agent Eval 完整教學：從 5 個已合併 PR 重建無未來歷史的 repo，建立 hidden oracle 與隔離 sandbox，讓每個 Agent 每題跑 3 次，再用 pass@1、成本、時間與失敗類型做內部決策。

16GB 顯卡設定 100K，不等於真正可用。本文拆解 KVarN、precision tail 與 MTP，提供 prefill、TTFT、decode、顯存及長距離品質的逐級驗收流程。

一次生成漂亮簡報，不代表來源改變後修得準。這篇用 SlideOps 示範五頁可追溯 deck，從 citation、MOVED／CHANGED、局部修補到 render、PDF 與 CI。

AI Agent 失敗不一定是模型太弱。這篇從零呼叫 Preflight、Type I 單題，到固定 Worker 只換 Controller，教你用 Trace 與 evaluator receipt 做故障歸因。

智慧路由省下單次模型費，卻可能被 Cache Miss、重試與 fallback 吃回去。本篇用隔離 identity、客戶端 OpenTelemetry、Cache-aware A/B 與故障注入，教你驗證每個成功任務的真成本。

Granite 4.2 8B 的 5.3GB 只代表量化權重；128K F16 KV Cache 理論上就要 20GiB。從公式、Ollama／LM Studio A/B Test 到 3B／8B、8／16／24GB 顯卡選擇，一次建立可重算的本機記憶體帳本。

從自己的 merged PR 建立版本化 baseline，以 Jensen–Shannon distance 量詞彙偏移，再用盲化 reviewer comprehension 判定 harm、no detected harm 或 inconclusive；CI 只提醒、不做作者鑑定。