
【2026 最新】Kimi K3 架構是什麼?從 GPT-2 到 KDA,零基礎看懂注意力、MoE 與 AttnRes
從 GPT-2 的 KV cache 出發,用白板、索引卡與跨樓層電梯比喻,零基礎拆解 KDA、Gated MLA、Stable LatentMoE 與 Block AttnRes。
Start here
可左右滑動,或使用上方數字切換文章。
目前顯示第 1 篇,共 3 篇:【2026 最新】Kimi K3 架構是什麼?從 GPT-2 到 KDA,零基礎看懂注意力、MoE 與 AttnRes

「1-bit」把刪掉的專家算零,72.12 GB 也不是完整下載量。從有效 bit 分母到共享 Engram、引擎版本與三本硬體容量帳,學會在下載前選對 Coder 或未裁剪量化版。

少讀一半資料,為什麼書架仍要一樣大?用八筆 QKV 手算、研究成績單與部署檢查,分開評估 LSA 的速度、顯存與答案完整性。

Ricursive 開放 65B 稠密模型,80.52 分是開發者自報;NVFP4 檢查點約 57.2 GB。拆開測試框架、總參數與啟用參數,理解下載之後還要驗什麼。

騰訊 Hy4 正式版新增視覺理解與電腦操作。拆清產品上線、內部評測與權重開放計畫,判斷從看懂畫面到可靠交件,還需要哪些證據。

Anthropic 公開 FlashProve 研究原型,讓模型輸出與承諾權重相連。拆清 110 tokens/秒的分母、驗證覆蓋、exact match 與 clipped gap,以及 Lean 證明和實作的界線。

用四份公開遊戲權重學會設計小型盲測:固定版本、匿名材料、工具隔離與分開評分。本次驗證材料準備器,模型觀察引用原始紀錄。

CUA-Master 把教學影片轉成可組合、可驗收的電腦操作任務。拆清 80.2 與 36.9 的測試設定,以及強標註模型、快照重試和訓練成本的證據界線。

SemiAnalysis 的 GDPx v1.0 把 Agent 放進 11 個專業領域,領先模型綜合分數為 12%。從評分權重、公開任務與安全邊界,理解這張榜單能說什麼,以及哪些經濟結論不能直接推出。

Deep Principle 把實驗紀錄與探索軌跡帶進科學模型後訓練。開放權重增加了可測試性;榜單、成本估算與材料搜尋,卻仍要各自核對證據。