AIDaily

10.25  週日 AI 新聞總覽

今天從 17 個來源挑出 32 條,分成 4 類,先看這 5 條重點。

今日重點

Ollama v0.40.11:語音生成與 d3 決策模型支援(Ollama Releases)
1

Ollama v0.40.11:語音生成與 d3 決策模型支援

Ollama v0.40.11 新增文字轉語音及 d3 決策模型(2B至27B),可接圖片或結構化狀態輸出分類與評分,適合本地部署分類任務。 對在本地執行 LLM 的開發者重要。新增的文字轉語音功能(Phonon 模型)支援串流輸出至 OpenAI 相容的 /v1/audio/speech 端點;d3 決策模型可接收文字、結構化狀態或影像,輸出分類結果或概率評分。 Ollama Releases 另見 Ollama Releases
PydanticAI v2.61.0 發佈(PydanticAI Releases)
2

PydanticAI v2.61.0 發佈

PydanticAI v2.61.0 新增 MCP 非同步認證與結構化引文支援,並支援 Kimi K3.1 模型,開發 Agent 整合多供應商時可用。 PydanticAI Releases
llama.cpp b11868:Hexagon 多核 Flash Attention KV 頭分隔優化(llama.cpp Releases)
3

llama.cpp b11868:Hexagon 多核 Flash Attention KV 頭分隔優化

llama.cpp b11868 針對 Hexagon 多核處理器優化 KV 頭分隔 Flash Attention,提升行動裝置上小 KV 頭模型(如 Gemma-4)推論效能。 llama.cpp Releases
LangGraph 1.2.17 版本發佈(LangGraph Releases)
4

LangGraph 1.2.17 版本發佈

LangGraph 1.2.17 修正遞迴限制與 RemoteGraph 子圖串流命名空間保留,多代理系統開發者可避免遞迴與隔離錯誤。 LangGraph Releases
llama.cpp b11869:修正 Jinja 樣板選擇器與屬性處理(llama.cpp Releases)
5

llama.cpp b11869:修正 Jinja 樣板選擇器與屬性處理

llama.cpp b11869 修正 Jinja 樣板 select/selectattr 引數處理錯誤,自訂 chat template 的部署流程可減少解析失誤。 llama.cpp Releases

今日摘要

月之暗面 Kimi K3.1 Pro 是今天分量最重的消息:2.8T 參數 MoE、1M 上下文,評測逼近 Opus 5.5,且承諾 11 月開源,對做長上下文代理和中文場景的團隊是直接可用的新選項。第二條主線是推理與部署成本持續下探,763B 模型可壓到 12GB GPU 運行,雙 RTX 4060 Ti 跑 320B MoE 的真實瓶頸其實是 CPU 算力而非顯存,加上 vLLM 性能逼近 DeepInfer、llama.cpp 和 Ollama 持續補齊邊緣部署能力,說明「在消費級硬體上塞大模型」已從能不能做變成怎麼做划算。

今日語音快報
同一天的導讀與重點

在 Apple Podcasts 訂閱,或其他 app 用 RSS。

AIDaily 每天早上 7 點整理 AI 圈的新消息:OpenAI / Anthropic / Google / Meta / Mistral 等模型公司的發布與 API 變更,LangGraph / MCP / PydanticAI / DSPy / CrewAI 等 Agent 開發工具的 release,Vercel / Cloudflare / AWS / Ollama / vLLM 的部署與雲端動態,加上 iThome / INSIDE / Zenn / Qiita 等台灣與日本技術媒體。2026-10-25 這一天,追蹤的 17 個來源共產出 32 條與 AI 相關的新內容,分布如下;每條摘要都由 Claude 產生,並附原文連結。想回顧前一天,看 2026-10-24 的 AI 新聞總覽;完整清單在 每日歸檔,抓取的網站列在 來源清單,也可以用 RSS 訂閱 AIDaily。

分類條數主要來源
每日 AI 新聞與電子報6AlphaSignal、Latent Space
Agents、MCP 與開發工具3LangGraph Releases、PydanticAI Releases、CrewAI Releases
AI App、部署與雲端9GitHub Trending、GitHub Trending (Python)、Vercel AI SDK Releases、Ollama Releases、llama.cpp Releases
中文與日文來源14Zenn (AI)、Zenn (LLM)、Qiita (AI)、Qiita (LLM)
  • Ollama v0.40.11:語音生成與 d3 決策模型支援:Ollama v0.40.11 新增文字轉語音及 d3 決策模型(2B至27B),可接圖片或結構化狀態輸出分類與評分,適合本地部署分類任務。(Ollama Releases)
  • PydanticAI v2.61.0 發佈:PydanticAI v2.61.0 新增 MCP 非同步認證與結構化引文支援,並支援 Kimi K3.1 模型,開發 Agent 整合多供應商時可用。(PydanticAI Releases)
  • llama.cpp b11868:Hexagon 多核 Flash Attention KV 頭分隔優化:llama.cpp b11868 針對 Hexagon 多核處理器優化 KV 頭分隔 Flash Attention,提升行動裝置上小 KV 頭模型(如 Gemma-4)推論效能。(llama.cpp Releases)
  • LangGraph 1.2.17 版本發佈:LangGraph 1.2.17 修正遞迴限制與 RemoteGraph 子圖串流命名空間保留,多代理系統開發者可避免遞迴與隔離錯誤。(LangGraph Releases)
  • llama.cpp b11869:修正 Jinja 樣板選擇器與屬性處理:llama.cpp b11869 修正 Jinja 樣板 select/selectattr 引數處理錯誤,自訂 chat template 的部署流程可減少解析失誤。(llama.cpp Releases)

每日 AI 新聞與電子報6 條

Comfy-Org 推出 FLUX.2 Dev 本機執行版本(AlphaSignal)

Comfy-Org 推出 FLUX.2 Dev 本機執行版本

Comfy-Org 在 ComfyUI 儲存庫發布了 Black Forest Labs 的 FLUX.2 [dev] 量化版本,使用 FP8 權重與 24B Mistral 文字編碼器,支援 10 張影像多參考編輯,下載數超過 100 萬。
為什麼重要

這個預量化套件簡化了本機部署流程,將模型檔案直接對應到 ComfyUI 資料夾結構,包含即插即用的工作流;開發者仍需面對 32B 擴散轉換器加 24B 編碼器的硬體需求。適合想在本地運行 FLUX.2 進行文字生成與影像編輯的工程師。

huggingface.co via AlphaSignalComfy-Org Makes Black Forest Labs' FLUX.2 Dev Ready to Run Locally
vLLM 性能逼近 DeepInfer,72 GPU 機架上達 7.9 倍擴展(AlphaSignal)

vLLM 性能逼近 DeepInfer,72 GPU 機架上達 7.9 倍擴展

vLLM 在 DeepSeek-V4.1-Flash 模型上與 DeepInfer 推理引擎性能相差 6%,在 72 GPU NVLink 機架上達到 954K tokens/s 吞吐量與 7.9 倍擴展。
為什麼重要

vLLM 整合了 DeepSeek 的低階 GPU 優化(MegaAttn、MegaMoE),同時提供線上排程、多模型支援與機架級專家並行等能力。這讓團隊可用通用推理引擎部署 DeepSeek 模型而不需維護專屬執行時,特別適合做大規模 LLM 推理部署的工程師。

vllm.ai via AlphaSignalvLLM Matches DeepSeek's DeepInfer and Scales 7.9x Across 72 GPUs
Comfy-Org Qwen-Image-Edit 套件破 168 萬下載,新增 2511 版本(AlphaSignal)

Comfy-Org Qwen-Image-Edit 套件破 168 萬下載,新增 2511 版本

Comfy-Org 的 Qwen-Image-Edit 預包裝套件在 Hugging Face 達到 168 萬下載,新增 2511 檢查點與 5 個任務特定 LoRA。
為什麼重要

該套件將阿里巴巴 Qwen 編輯模型改為 safetensors 格式,可直接載入 ComfyUI 標準模型目錄,省去手動轉換 Diffusers 格式的工作。使用 20B 多模態擴散轉換器,適合做影像編輯工作流的開發者。

huggingface.co via AlphaSignalComfy-Org's Qwen-Image-Edit Bundle Hits 1.68M Downloads With Smarter Editing
ISTA-DASLab 將 DeepSeek 763B 模型壓縮至 12GB GPU 運行(AlphaSignal)

ISTA-DASLab 將 DeepSeek 763B 模型壓縮至 12GB GPU 運行

ISTA-DASLab 使用 GSQ 與 RCO 量化演算法將 DeepSeek-V4.1-Flash-1017 壓縮至 1.75 bits/weight,讓 763B MoE 模型可在單張 12GB 消費級 GPU 上混合推理。
為什麼重要

此量化管道結合 Gumbel-Softmax 與 Riemannian 約束優化,針對 MoE 模型自適應分配量化比特預算;不同層對壓縮的敏感度不同,統一二位元轉換會損失性能。適合想在邊界裝置或消費級硬體上部署大型 MoE 模型的開發者。

huggingface.co via AlphaSignalISTA-DASLab Squeezes DeepSeek's 763B Model onto a 12 GB GPU
Datawhale 改編史丹佛 CS336 為中文開源 LLM 課程(AlphaSignal)

Datawhale 改編史丹佛 CS336 為中文開源 LLM 課程

Datawhale 將史丹佛大學 CS336《從零開始的語言模型》改編為中文開源專案,包含 16 章節與 6 份程式碼作業,涵蓋 BPE 分詞到 GRPO 對齊的完整 LLM 棧。
為什麼重要

課程以程式碼為主,使用 Qwen 與 DeepSeek 作為範例模型,引導開發者逐步構建模型架構、訓練系統、資料準備、擴展與評估。已獲得 1700+ GitHub 星標,適合想系統性學習 LLM 全開發流程的工程師。

github.com via AlphaSignalDatawhale Rebuilds Stanford's CS336 Into a Chinese Open-Source LLM Course
月之暗面 Kimi K3.1 Pro:2.8T 開源權重逼近 Opus 5.5(Latent Space)

月之暗面 Kimi K3.1 Pro:2.8T 開源權重逼近 Opus 5.5

月之暗面推出 Kimi K3.1 Pro,28 億參數 MoE 模型(104B 活躍參數)、1M token 上下文、原生 3T 級規格,獲獨立評測第四名;同步推出速度快 2-3 倍的 Highspeed API 與代理託管平臺。
為什麼重要

K3.1 Pro 採用大規模多域聯合強化學習,號稱在全專案編程、Blender/CAD、財務建模與長時間代理等任務表現優異;Artificial Analysis Intelligence Index 評分 55,位居 Opus 5.5(58)與 Sonnet 5.5(56)之後;承諾 11 月 4 日發布開源版本。適合做代理應用、長上下文推理的開發者。

Latent Space [AINews] Kimi 3.1 Pro 104BA-2.8T: Fable-5.1-Class Open Weights narrows Closed-AI lead to 1 month... and Pro Highspeed API with 2-3× speed

Agents、MCP 與開發工具3 條

LangGraph 1.2.17 版本發佈(LangGraph Releases)

LangGraph 1.2.17 版本發佈

LangGraph 1.2.17 修正了遞迴限制設定、RemoteGraph 子圖串流時的命名空間保留,以及依賴套件更新。
為什麼重要

此版本針對 Agent 開發框架進行了多項穩定性改進。使用 LangGraph 構建多代理系統或複雜工作流的開發者應更新至此版本,以獲得更正確的遞迴行為和子圖隔離。主要修正包括明確的 recursion_limit 設定及 RemoteGraph.stream(subgraphs=True) 的命名空間保留機制。

LangGraph Releases langgraph==1.2.17
PydanticAI v2.61.0 發佈(PydanticAI Releases)

PydanticAI v2.61.0 發佈

PydanticAI v2.61.0 新增非同步 MCP 認證、結構化引文支援、新模型支援(Kimi K3.1),修正 Realtime 模型功能及多項相容性問題。
為什麼重要

此版本對 AI Agent 框架進行重大更新,特別是增強 MCP(Model Context Protocol)的非同步認證能力、改進引文追蹤機制跨多個 LLM 供應商的支援。使用 PydanticAI 構建 Agent、處理 Realtime 模型互動或需要結構化引文的開發者應關注此更新。新增支援 Kimi K3.1 模型及多項 Bedrock、OpenRouter、xAI 的標準化改進。

PydanticAI Releases v2.61.0 (2026-10-23)
CrewAI 1.15.30 版本發佈(CrewAI Releases)

CrewAI 1.15.30 版本發佈

CrewAI 1.15.30 修正了代理登入流程在評估時的啟動邏輯,並完成相關文件更新。
為什麼重要

此版本針對 CrewAI 多代理框架進行了錯誤修正,主要改進代理初始化流程中登入邏輯的可靠性。使用 CrewAI 構建複雜工作流或涉及驗證步驟的多代理系統開發者應更新。變更相對較小,主要為穩定性提升。

CrewAI Releases 1.15.30

AI App、部署與雲端9 條

Hallmark:Claude Code / Cursor 的反 AI 風格設計技能(GitHub Trending)

Hallmark:Claude Code / Cursor 的反 AI 風格設計技能

為 Claude Code、Cursor 等 AI 程式設計工具設計的外觀技能集,自動拒絕生成 AI 生成感強烈的頁面,內含 48 套主題和客製化審查機制。
為什麼重要

這對使用 Claude Code 或 Cursor 進行網頁開發的工程師很重要,尤其是需要高品質、不顯示 AI 痕跡設計的專案。Hallmark 自動檢測並修正常見的 AI 生成缺陷(如對比度不足、不必要的英文大寫標籤、為每個標題加眉毛線等),並在真實瀏覽器中驗證結果。支援 48 套設計主題和自訂提示詞設計。

GitHub Trending Nutlope / hallmark
Gemini CLI:將 Gemini 帶入終端的開源 AI Agent(GitHub Trending)

Gemini CLI:將 Gemini 帶入終端的開源 AI Agent

Google 開源的命令列 AI Agent,讓開發者直接在終端使用 Gemini 模型進行程式碼理解、生成、除錯及工作流自動化。
為什麼重要

適合想在開發環節整合 Gemini 的工程師。支援程式碼查詢與編輯大型程式庫、從 PDF/圖片/草圖生成應用、多模態除錯、MCP 伺服器擴展(包括 Imagen/Veo/Lyria 等媒體生成),並支援 OAuth、API Key 或企業認證。每週發布預覽版和穩定版。

GitHub Trending google-gemini / gemini-cli
Microduck RL:微小機器人的強化學習訓練環境(GitHub Trending (Python))

Microduck RL:微小機器人的強化學習訓練環境

基於 MuJoCo Warp 和 PPO 的 RL 訓練框架,用於 Microduck 機器人策略開發,支援 CUDA GPU 訓練並可匯出至 ONNX 部署。
為什麼重要

適合從事機器人 RL 研究和部署的開發者。包含完整的 sim2real 流程:BAM 執行器物理模擬、域隨機化、反向間隙模擬,以及獲得驗證的獎勵設計策略(見 AGENTS.md)。支援在 Hugging Face Jobs 上進行 GPU 訓練,提供行走、站立、拾物、翻滾等多個預設任務。

GitHub Trending (Python) pollen-robotics / microduck_rl
@ai-sdk/zai 3.0.40 版本發布(Vercel AI SDK Releases)

@ai-sdk/zai 3.0.40 版本發布

Vercel AI SDK 的 ZAI 適配器微版本更新,包含文件改進和依賴版本同步。
為什麼重要

使用 Vercel AI SDK 整合 ZAI 模型的開發者需要更新依賴。此版本主要為文件維護和依賴管理。

Vercel AI SDK Releases @ai-sdk/zai@3.0.40
@ai-sdk/xai 5.0.30 版本發布(Vercel AI SDK Releases)

@ai-sdk/xai 5.0.30 版本發布

Vercel AI SDK 的 xAI 適配器微版本更新,包含文件改進和依賴版本同步。
為什麼重要

使用 Vercel AI SDK 整合 xAI 模型的開發者需要更新依賴。此版本主要為文件維護和依賴管理。

Vercel AI SDK Releases @ai-sdk/xai@5.0.30
@ai-sdk/workflow-harness 1.0.164 版本發布(Vercel AI SDK Releases)

@ai-sdk/workflow-harness 1.0.164 版本發布

Vercel AI SDK 的工作流測試工具微版本更新,包含文件改進和依賴版本同步。
為什麼重要

使用 Vercel AI SDK workflow-harness 進行 AI 工作流測試的開發者需要更新。此版本為文件維護和依賴管理更新。

Vercel AI SDK Releases @ai-sdk/workflow-harness@1.0.164
Ollama v0.40.11:語音生成與 d3 決策模型支援(Ollama Releases)

Ollama v0.40.11:語音生成與 d3 決策模型支援

Ollama 新版本新增 macOS 語音生成功能和 d3 決策模型(支援分類、是非判斷、選項評分),包含 2B 至 27B 多種規格。
為什麼重要

對在本地執行 LLM 的開發者重要。新增的文字轉語音功能(Phonon 模型)支援串流輸出至 OpenAI 相容的 /v1/audio/speech 端點;d3 決策模型可接收文字、結構化狀態或影像,輸出分類結果或概率評分。

Ollama Releases v0.40.11
llama.cpp b11869:修正 Jinja 樣板選擇器與屬性處理(llama.cpp Releases)

llama.cpp b11869:修正 Jinja 樣板選擇器與屬性處理

llama.cpp 更新修正 Jinja 樣板引擎的 select 和 selectattr 引數處理,提供多平台二進位版本。
為什麼重要

對在本地或邊緣裝置執行 LLM 的開發者重要。此版本改進 Jinja 樣板支援的準確性,並持續提供 macOS(包含 KleidiAI 優化)、Linux(CPU/Vulkan/CUDA)、Android、Windows、openEuler 等多平台編譯版本。

llama.cpp Releases b11869
llama.cpp b11868:Hexagon 多核 Flash Attention KV 頭分隔優化(llama.cpp Releases)

llama.cpp b11868:Hexagon 多核 Flash Attention KV 頭分隔優化

llama.cpp 更新增強 Hexagon 多核處理器上 KV 頭分隔 Flash Attention 效能,統整分割旗標設定。
為什麼重要

對在 Qualcomm Hexagon 等行動 AI 加速器上部署 LLM 的開發者重要。新版支援頭分隔和團隊分隔並行(當 KV 頭數少於核心數時),確保所有核心充分利用,例如在 4 核上執行 2 KV 頭的 Gemma-4 模型時效能更佳。

llama.cpp Releases b11868

中文與日文來源14 條

VS Code 擴充功能「結構化資料編輯器」開發──生成 AI 時代的資料防護(Zenn (AI))

VS Code 擴充功能「結構化資料編輯器」開發──生成 AI 時代的資料防護

開發者打造 VS Code 擴充功能,直接在編輯器中以試算表風格編輯 Markdown、CSV 和 JSON,防止資料在 Excel 往返時因自動轉換而破壞(如日期格式竄改、浮點數遺失),支援 Markdown ↔ CSV ↔ JSON 相互轉換且附警告機制。
為什麼重要

適合進行 LLM 訓練資料、RAG 評估資料或提示詞測試的開發人員。工具完全離線無外部通信,可安全處理企業機密資料。核心設計優先考量資料安全──遇到結構不一致時停止而不自動修復,並提供行號直跳功能助使用者快速定位問題。專為 Markdown 表格、CSV 參差行等常見現場問題設計。

Zenn (AI) 【VS Code拡張自作】AI時代の表データ編集でデータ破壊を防ぐ「Structured Data Editor」を公開した話
用 Claude Code 呼叫在地音樂生成──ACE-Step 1.5 + MCP + Apple Silicon 整合(Zenn (AI))

用 Claude Code 呼叫在地音樂生成──ACE-Step 1.5 + MCP + Apple Silicon 整合

開發者打造環境,讓 Claude Code 能呼叫 ACE-Step 1.5 音樂生成模型在本地生成 BGM,整個過程在 Mac 上完成且完全離線。30 秒曲目約 9 秒生成,尖峰記憶從 45GB 優化至 15GB。
為什麼重要

適合需要為遊戲、動畫素材快速生成配樂的開發人員。ACE-Step 1.5 採 MIT 授權且支援商用,在 Apple Silicon 上用 MLX 執行。優化手法包括:最小化 VAE 分割區塊(192 frames)、啟用半精度(SNR 約 52dB 內)、限制 MLX 快取(1GB);PyTorch 端的未用模型權重也要手動釋放,否則無法真正降低記憶佔用。

Zenn (AI) Claude Code から呼べるローカル音楽生成環境を作った(ACE-Step 1.5 + MCP + Apple Silicon)
智能體記憶壓縮突破:直接操作 KV 快取而非要約,在 135M 模型上驗證(Zenn (AI))

智能體記憶壓縮突破:直接操作 KV 快取而非要約,在 135M 模型上驗證

清華與香港中文大學論文「Cache Engineering for Agents」提出以 drop + reposition KV 快取項目取代文字要約的壓縮法;作者用 SmolLM2-135M 實作與驗證──同樣壓縮比下品質更優、延遲更低。
為什麼重要

攸關長對話 Agent 的效率。傳統要約方式須重新 prefill 導致浮點運算成本,而論文發現 RoPE 旋轉矩陣可疊加(R(a)×R(b)=R(a+b)),無需反轉即可直接調整位置編碼。實驗結果:drop 後位置補正(drop+repos)相比要約(summarize),快取尺寸相當(223 vs 257 token),但品質 loss 從 1.025 降至 0.839,延遲僅 6ms(要約 180ms),論文在 GPT-OSS-120B 等大模型報告平均成本節省 27.7%。

Zenn (AI) エージェントの記憶は「要約」ではなく「KVキャッシュの直接操作」で圧縮できるのか、135Mモデルで試した
AI 智能體在攻擊鏈中的角色分析──12 款產品與 2 種連攜配置的比較(Zenn (LLM))

AI 智能體在攻擊鏈中的角色分析──12 款產品與 2 種連攜配置的比較

詳盡對比 PentestGPT、Hermes、Cairn 等 12 款滲透測試 Agent 工具與 2 種多工具連攜方式,從攻擊工程、運作架構、人類判斷介入點三維度系統化分析──而非單純看「自律型」或「多智能體」標籤。
為什麼重要

資安工程師與防守團隊須理解 AI 工具實際邊界。論文區分單一 Agent(逐步進行)、多 Agent(分擔作業)、Swarm(並行協調)三種配置,並依根據來源(公開文件、機能分析、實驗、事件報告)標記可信度。攻擊鏈 9 層(下見、弱點探索、侵入、權限擴大、橫向移動、足跡維持、遠端控制等)各層由不同工具與人類決策點組成;觀測成功率、歸屬範圍(單一產品或連攜全體)、人員操作責任都列入判定。

Zenn (LLM) AIエージェントは攻撃工程のどこを担うのか:12製品・2連携構成の比較
Ubuntu LLM 推論記憶體滿用技巧備忘(Zenn (LLM))

Ubuntu LLM 推論記憶體滿用技巧備忘

Ubuntu 24.04/26.04 環境中,64GB 記憶體只能用到 57GB 的問題根源在 Kexec Handover (kho) 預留,改成 kho=off 後 CMA 連續記憶體分配限制解除。
為什麼重要

從事 LLM 本地推論的工程師需要。Kexec Handover 為 GPU/InfiniBand 保留記憶體區域(kernel 文件),Ubuntu 預設啟用致使 /proc/meminfo 的 CMA 上限縮水。改 GRUB 設定後搭配其他記憶體調優,能釋放更多連續空間供大模型使用。

Zenn (LLM) Ubuntu で LLM 推論で CPU メモリかつかつまで確保させたいメモ
遊標卡尺測量轉 3D 設計──Claude Opus 5.5 vs GPT-6.1 Sol 精度對比(Zenn (LLM))

遊標卡尺測量轉 3D 設計──Claude Opus 5.5 vs GPT-6.1 Sol 精度對比

作者用遊標卡尺量筆架隔板,將照片與動畫交給 Claude Code 與 GPT 設計 3D 列印檔;GPT-6.1 Sol(reasoning high)3 次全中,Claude Opus 5.5 高檔模式 3 次中 2 次,次檔回到最初設計時犯的讀法錯誤。
為什麼重要

測試多模態推論精度的實務案例。設計過程涉及從 25 張遊標卡尺畫面與實物照片辨別「哪個數字對應哪個位置」,而非單純讀數字。評分含「板是否插得進」(幅度 ≤38.88mm 且厚度 <3.05mm)、尺寸誤差、高度範圍;Claude 的外檔設定(effort xhigh)與 GPT-6.1 Sol high 同樣滿分,但其他配置下邊界容易糊濁(加上溝的分度、混淆深度與寬度等)。

Zenn (LLM) ノギスの動画から仕切り板を設計させたら、Claude Opus 5.5は1回実物と同じ読み違いをしGPT-6.1 Solは3回とも正解
iPhone 18 Pro 上執行本地 LLM 的選型指南 ── Off Grid AI(Zenn (LLM))

iPhone 18 Pro 上執行本地 LLM 的選型指南 ── Off Grid AI

Off Grid AI (MIT 授權開源應用) 能在 iPhone 18 Pro (12GB 記憶體) 執行 GGUF 格式文字生成模型,文章詳述記憶體計算、檔案名稱讀法(4B、E2B、A1B、Q4_K_M 等量化方案)與下載方式。
為什麼重要

適合行動 AI 開發者與隱私優先使用者。標準 Balanced 模式下,約 4.8GB 檔案大小上限(12GB×60%÷1.5);超大模型可用 Aggressive 模式優先。檔案名稱格式 Qwen3.5-4B-Q4_K_M 中:4B=40 億參數,E2B/A1B 分別表實效參數與混合專家配置,Q4_K_M 為量化方案。App 本身只在下載模型與檢索 Web 時聯網,生成全在本地;啟用機內模式後可完全離線。

Zenn (LLM) iPhone 18 Proで読み込めるローカルLLMの選び方 — Off Grid AI
Swarm — 連結人類與 AI 工作的 Windows 本地共享工作區(Qiita (AI))

Swarm — 連結人類與 AI 工作的 Windows 本地共享工作區

Swarm 是 Windows 本地掲示板應用,讓人類與 AI 共享工作記錄。人類透過桌面 GUI、AI 透過 CLI 操作同一份 Board/Thread/Post/Response,避免對話分散在多個聊天視窗。
為什麼重要

適合需要追蹤 AI 多輪協作過程的團隊(例如讓多個 AI 分別調查、審查、確認)。使用 SQLite 與本地 Named Pipe,不依賴外部服務,支援日英雙語與亮暗主題。權限控制透過 RULES.md 管理 AI 的讀寫範圍。開發版 0.1.0,使用 Rust、Tauri、React 實作,可從源碼在 Windows 11 x64 編譯。

Qiita (AI) Swarm — 人間とAIの作業をつなぐ、Windows向けローカル共有ワークスペース
在沒有 AI 的情況下修復壞掉的公式 — 0.17 秒消滅 #DIV/0! 的早晨(Qiita (AI))

在沒有 AI 的情況下修復壞掉的公式 — 0.17 秒消滅 #DIV/0! 的早晨

開發者用 Gemini Flash 改造 Excel 表單,之後又被 Claude Opus 寫的修復巨集自動修好壞掉的計算式,不需重新呼叫 AI 就在瞬間完成。
為什麼重要

適合用 Claude 或 Gemini 打造 Excel 自動化工具的開發者參考。表單改造(按鈕重新配置、加入切換按鈕、事件配線)只靠聊天完成,無須開啟 VBE 設計器;修復巨集則是設計論算法,從表頭、資料範圍、合計行自動推導公式(例如「平均單價」→ 金額合計÷數量合計),檢算結果精確到小數第一位。

Qiita (AI) 壊れた計算式を「AIなし」で直すマクロを作ってもらった話 ── #DIV/0! が 0.17秒で消えた朝
AI 日報 2026 年 10 月 25 日:OpenAI 從訓練中斷網,Google 簽下百萬 TPU 合約(Qiita (AI))

AI 日報 2026 年 10 月 25 日:OpenAI 從訓練中斷網,Google 簽下百萬 TPU 合約

本周 AI 基礎設施、安全與代理能力進展:OpenAI 訓練時完全隔網,Anthropic 與 Google Cloud 簽百萬 TPU 合約,Google / AWS / Anthropic 各推代理計算基礎,程式碼編輯器代理自主檢驗應用。
為什麼重要

做代理工程、模型訓練、基礎設施規劃的團隊須關注。OpenAI 新增「離線世界」沙箱與多層防禦,用未發表的 GPT-6 Astra Cyber 紅隊測試;Anthropic 簽下 100 萬個 TPU 與 1GW+ 容量合約(數百億美元規模);Google Agent Compute Engine 提供代理專用 microVM;AWS 開源 Infinity 運時支援 7.5 萬個閒置代理在 8GB 記憶體內。

Qiita (AI) AI日報 2026年10月25日:OpenAIが訓練からインターネットを遮断、Googleは100万TPU契約
「神 Excel」被 AI 與系統讀取度採計 100 分滿分。數位廳推介工具「Harunobu」(Qiita (AI))

「神 Excel」被 AI 與系統讀取度採計 100 分滿分。數位廳推介工具「Harunobu」

日本數位廳推出 Harunobu 工具,以機器可讀性規則對 Excel 和 CSV 表格採計機器可讀性分數,分為 3 級(閱覽轉記/集計分析/連攜自動化),違規按嚴重度計分。
為什麼重要

需要提交表格予行政機關、或內部資料必須整合的開發團隊參考。判定採規則引擎決定論邏輯(非 AI 判定),保證 100% 穩定性;輸出包含違規詳情與具體位置之 JSON;基準為 2026 年 3 月 31 日確定的「行政データにおける機械可読性に関するルール」。數位廳理由:AI 判定 1% 誤率乘以 100 萬檔案 = 1 萬檔誤判且無法追蹤。

Qiita (AI) 「神Excel」がAIやシステムに読めるかを100点満点で採点。デジタル庁がツール「Harunobu」を紹介
為 LLM 賦予記憶【第 5 部】—— 實作編(Qiita (LLM))

為 LLM 賦予記憶【第 5 部】—— 實作編

延續連想記憶系統之後,本篇改造架構讓記憶引擎從純聊天機器人進化為自律代理。捨棄外部票券系統,改用本地 SQLite 作為唯一真實來源,新增自律工作與人類判斷等待兩層控制表。
為什麼重要

做個人 AI 代理、記憶系統、日誌系統的開發者參考。解決問題:舊的票券驅動易招致任務肥大化與資料同步破裂;新方案在記憶層(概念、經驗、結合重)外新增行動層(agent_tasks、human_decisions),由 AutonomousRouter 分類輸入為記憶/工作/決策。系統使用本地 SQLite 單一真實源、無外部依賴,支援自律任務執行與人類決策隊列。

Qiita (LLM) LLMに記憶を持たせる【第5部】― 実装編
Claude Code Skill 做太多會變陳舊 —— 月次盤點決定「保留、合併、棄置」的基準(Qiita (LLM))

Claude Code Skill 做太多會變陳舊 —— 月次盤點決定「保留、合併、棄置」的基準

作者分享月次檢視 Claude Code Skill 的運維基準。針對 10 多個 Skill 檔案進行棄置、凍結、統合、保留四分類,避免過時的 Skill 汙染上下文。
為什麼重要

使用 Claude Code 的開發者必讀。基準軸:最終利用(月用 1 次以上)、頻率(月用幾次)、保守成本(更新頻率)、再建時間。判定分四類:保留(月 1+ 次)、凍結(年數次但建置成本高,加 disable-model-invocation)、統合(重複功能)、棄置(3 月未用且 30 分內可重建)。實例:作者廢止 3 個未用 Skill(118+121+75 行)後發現需同步清理參照端,以及舊口調例示殘留會混入輸出。Skill 本文呼叫時載入、後續輪次仍保留,故維護遺漏影響顯著。

Qiita (LLM) Claude CodeのSkillは作りすぎると腐る — 月次棚卸しで「残す・統合・捨てる」を決める基準
Strata 改版在 NVIDIA RTX4060Ti/16GB ×2 + RAM 128GB 上跑 GLM-5.3-Flash (320B MoE)(Qiita (LLM))

Strata 改版在 NVIDIA RTX4060Ti/16GB ×2 + RAM 128GB 上跑 GLM-5.3-Flash (320B MoE)

作者修改 Strata 推論引擎使之支援 Linux 與雙 GPU,成功在自組 PC 上推論 GLM-5.3-Flash(UD-IQ4_XS 約 157GB),品質與單 GPU 版一致但速度較慢(4.4 tok/s)。
為什麼重要

想用普及級 GPU(RTX 4060 Ti)跑大型 MoE 模型的開發者參考。速度低於 Qwen3.8-Flash-Next 的 1/7~1/8(生成)與 1/10(首 token),主因:157GB 模型不能全載 VRAM(僅 16% 常駐),CPU 需計算 45% IQ3_S 內積(計算律速,非記憶帶寬瓶頸)。套用的改進(多執行緒、PCIe 分擔、專家跳過、投機解碼)無法根本改善。結論:MoE 設計強項是「125B 壓到 78GB 讓 VRAM 快取有效」;用 128GB RAM 跑 320B 不適合多人共享、長思考、程式碼代理場景,但單人長文件 + 續輪快取可用(第 2 輪起數秒)。

Qiita (LLM) Strata改で GLM-5.3-Flash (320B MoE) を NVIDIA RTX4060Ti/16GB ×2 + RAM 128GB で動かした件

本頁由 維護,摘要由 Claude(claude-haiku-4-5)產生於 ;每條均附原文連結,事實以原文為準。