AIDaily

10.31  週六 AI 新聞總覽

今天從 22 個來源挑出 53 條,分成 5 類,先看這 5 條重點。

今日重點

GMI Cloud 展示臺灣 AI Factory,AI 資料中心的新瓶頸不是機櫃而是電力(iThome)
1

GMI Cloud 展示臺灣 AI Factory,AI 資料中心的新瓶頸不是機櫃而是電力

GMI Cloud 桃園 AI Factory 用 25MW 供電架構撐 GB300 SuperPOD,建置資料中心時電力規劃要優先於機櫃數量。 對於建置或營運 AI 資料中心的團隊與設備商而言很重要。文章詳解多層備援機制(鋰電池、UPS、柴油發電機)確保運算不中斷、液冷系統散熱(87% 熱量由液冷移除)、以及未來擴建面臨的電力效率挑戰。第一期 3 座 SuperPOD 已被美國新創使用,第二期 12 月擴充至 3.5 座。 iThome
PHP2Shell 與 Linux 核心漏洞遭串連利用,中國駭客用 AI 攻擊 25 臺防火牆(iThome)
2

PHP2Shell 與 Linux 核心漏洞遭串連利用,中國駭客用 AI 攻擊 25 臺防火牆

駭客用 Claude Code、DeepSeek、Kimi 寫約 40 支攻擊腳本,串連 PHP2Shell 與 Linux 漏洞入侵 25 臺 Palo Alto 防火牆取得 root。 iThome
Ling 3.1 Flash 1019 現已在 AI Gateway 免費提供(Vercel Blog)
3

Ling 3.1 Flash 1019 現已在 AI Gateway 免費提供

Ling 3.1 Flash 1019 在 Vercel AI Gateway 免費用到 2026 年 11 月,支援 1M token 上下文,適合拿來跑長文件或編碼 agent 省成本。 Vercel Blog
Amazon Q3 營收 201.9 億美元成長 12%,AWS 營收成長 39% 創近 5 年新高(iThome)
4

Amazon Q3 營收 201.9 億美元成長 12%,AWS 營收成長 39% 創近 5 年新高

AWS Q3 營收年增 39%,Bedrock token 用量年增近 17 倍,但 Amazon 過去 12 個月自由現金流淨流出 423.6 億美元,反映 AI 投資回報壓力。 iThome
全家行動購會員資料遭擷取,源於委外廠商 91APP 資料庫自動化攻擊(iThome)
5

全家行動購會員資料遭擷取,源於委外廠商 91APP 資料庫自動化攻擊

全家 5 萬會員資料因委外商 91APP 遭自動化工具攻擊外洩,提醒把第三方服務商安全納入供應鏈風險管理。 iThome

今日摘要

今天最值得留意的是台灣AI基礎設施與供應鏈安全同時浮上檯面:GMI Cloud在桃園展示AI Factory,點名電力而非機櫃才是資料中心新瓶頸;同時iThome揭露中國駭客利用Claude Code、DeepSeek、Kimi等AI工具攻擊25台Palo Alto Networks防火牆,加上全家因委外商91APP遭自動化攻擊外洩5萬筆會員資料,顯示供應鏈安全風險正在升高。第二條主線是雲端與推理層持續降門檻:Vercel將Ling 3.1 Flash 1019免費上架AI Gateway,提供1M context供Codex、Cursor等agent使用,Cloudflare私有來源也讓MCP伺服器與AI agent後端無需暴露公網。

今日語音快報
同一天的導讀與重點

在 Apple Podcasts 訂閱,或其他 app 用 RSS。

AIDaily 每天早上 7 點整理 AI 圈的新消息:OpenAI / Anthropic / Google / Meta / Mistral 等模型公司的發布與 API 變更,LangGraph / MCP / PydanticAI / DSPy / CrewAI 等 Agent 開發工具的 release,Vercel / Cloudflare / AWS / Ollama / vLLM 的部署與雲端動態,加上 iThome / INSIDE / Zenn / Qiita 等台灣與日本技術媒體。2026-10-31 這一天,追蹤的 22 個來源共產出 53 條與 AI 相關的新內容,分布如下;每條摘要都由 Claude 產生,並附原文連結。想回顧前一天,看 2026-10-30 的 AI 新聞總覽;完整清單在 每日歸檔,抓取的網站列在 來源清單,也可以用 RSS 訂閱 AIDaily。

分類條數主要來源
每日 AI 新聞與電子報6TLDR AI、AlphaSignal
模型公司與研究機構3OpenAI News、Google Cloud AI / ML Blog
Agents、MCP 與開發工具11Hugging Face Blog、Hugging Face Daily Papers
AI App、部署與雲端13GitHub Trending (Python)、Vercel Blog、Vercel AI SDK Releases、Cloudflare Blog、AWS ML Blog、vLLM Releases、llama.cpp Releases
中文與日文來源20iThome、Zenn (AI)、Zenn (LLM)、Qiita (AI)、Qiita (LLM)
  • GMI Cloud 展示臺灣 AI Factory,AI 資料中心的新瓶頸不是機櫃而是電力:GMI Cloud 桃園 AI Factory 用 25MW 供電架構撐 GB300 SuperPOD,建置資料中心時電力規劃要優先於機櫃數量。(iThome)
  • PHP2Shell 與 Linux 核心漏洞遭串連利用,中國駭客用 AI 攻擊 25 臺防火牆:駭客用 Claude Code、DeepSeek、Kimi 寫約 40 支攻擊腳本,串連 PHP2Shell 與 Linux 漏洞入侵 25 臺 Palo Alto 防火牆取得 root。(iThome)
  • Ling 3.1 Flash 1019 現已在 AI Gateway 免費提供:Ling 3.1 Flash 1019 在 Vercel AI Gateway 免費用到 2026 年 11 月,支援 1M token 上下文,適合拿來跑長文件或編碼 agent 省成本。(Vercel Blog)
  • Amazon Q3 營收 201.9 億美元成長 12%,AWS 營收成長 39% 創近 5 年新高:AWS Q3 營收年增 39%,Bedrock token 用量年增近 17 倍,但 Amazon 過去 12 個月自由現金流淨流出 423.6 億美元,反映 AI 投資回報壓力。(iThome)
  • 全家行動購會員資料遭擷取,源於委外廠商 91APP 資料庫自動化攻擊:全家 5 萬會員資料因委外商 91APP 遭自動化工具攻擊外洩,提醒把第三方服務商安全納入供應鏈風險管理。(iThome)

每日 AI 新聞與電子報6 條

Mistral Large 4 開源版、Agent 群體行為、Sam Altman 訪談(TLDR AI)

Mistral Large 4 開源版、Agent 群體行為、Sam Altman 訪談

Mistral 推出 Large 4 開源模型;Natural 推介直接支援多種金融交易的 Agent 工具 Direct;探討企業資料查詢與 Agent 整合的議題。
為什麼重要

對想深入 Agent 應用與多模態 AI 開發工具的工程師有參考價值。內容涵蓋開源模型發展、Agent 在金融業務中的實際應用,以及企業層級資料整合的挑戰,包括 Apple、Coinbase、Intuit 等公司的生產案例。

TLDR AI Mistral Large 4 OSS 🧠, agent swarm behavior 🤖, Sam Altman interview 🍺f
dsh-Go 將 DeepSeek Harness 編碼 Agent 帶到 Android 無需 Root(AlphaSignal)

dsh-Go 將 DeepSeek Harness 編碼 Agent 帶到 Android 無需 Root

非官方開源 Flutter 應用 dsh-Go 將 DeepSeek Harness 編碼 Agent 移植到 Android,首週獲得 2,300 顆 GitHub 星。
為什麼重要

對想在行動裝置上執行編碼 Agent 的開發者有用;支援本地執行(含 1GB 內嵌 Linux 環境)及遠端控制模式。無需 Root 或 Termux,支援 Android 8.0 以上,提供 ARM64 和 x86_64 APK 包。

github.com via AlphaSignaldsh-Go Brings DeepSeek's Coding Agent to Android Without Root Access
Georgia Tech 的 MO-Playground 用開源 GPU 工具訓練機器人快 271 倍(AlphaSignal)

Georgia Tech 的 MO-Playground 用開源 GPU 工具訓練機器人快 271 倍

Georgia Tech 開源 MO-Playground 框架,使用多目標強化學習在 GPU 物理引擎上訓練人型機器人,相比前代 HYPER-MORL 快 21 到 271 倍。
為什麼重要

對機器人強化學習、多目標最佳化工程師實用。MORLAX 演算法在數分鐘內訓練出跨越能耗、平順度、速度追蹤等衝突目標的策略族群,後續可無需重新訓練直接選擇部署優先級。論文發表於 IEEE Robotics and Automation Letters。

arxiv.org via AlphaSignalGeorgia Tech's MO-Playground Trains Robots 271x Faster With Open-Source GPU Tool
Factory 收購 Typedef 強化編碼 Agent 企業資料感知能力(AlphaSignal)

Factory 收購 Typedef 強化編碼 Agent 企業資料感知能力

Factory 收購資料依賴分析新創 Typedef,將其資料譜系圖整合進 Droids 編碼 Agent,協助識別資料變更的下游影響。
為什麼重要

對開發企業級資料管線自動化和遷移工具的工程師有意義。Typedef 分析程式碼以重建資料模型、管線、服務間的依賴關係,使 Droids 能在執行變更前評估風險。Typedef 聯合創辦人曾創立 Coolan(被 Salesforce 2016 年收購)和 Blendo(被超過 400 家企業採用)。

factory.com via AlphaSignalFactory Acquires Typedef to Give Its Droids Agents Smarter Enterprise Code Awareness
Boson AI 的 Higgs Audio v3 Studio 在 Windows 帶來無需 Python 的聲音複製(AlphaSignal)

Boson AI 的 Higgs Audio v3 Studio 在 Windows 帶來無需 Python 的聲音複製

社群開發者將 Boson AI 的 Higgs Audio v3 TTS 打包為 GGUF 量化版本,提供原生 C++/CUDA 引擎和 Rust/Tauri 桌面應用,Hugging Face 已有 83 萬下載次數。
為什麼重要

對想本地部署文字轉語音和零樣本聲音複製的開發者有用;支援 100 種語言、可控制情感與風格。使用 Qwen3 4B 骨幹網路和 8 平行音訊碼流架構,無需編寫 Python 管線即可在 Windows 離線執行。

huggingface.co via AlphaSignalBoson AI's Higgs Audio v3 Studio Brings Voice Cloning to Windows Without Python
AutoTrust 開源 JEV-9B 在 2.5ms 內做出快速 AI 決策(AlphaSignal)

AutoTrust 開源 JEV-9B 在 2.5ms 內做出快速 AI 決策

AutoTrust 發佈開源 JEV-9B 模型,結合快速決策頭與 Qwen3.5-9B 生成能力,決策延遲為專有教師模型的三分之一。
為什麼重要

對需要低延遲推理決策的工程師實用,例如實時系統、邊界設備應用。模型僅新增 4,000 萬參數(0.5% 的骨幹),透過知識蒸餾複製 TypeSafe Jev 1.13 的概率分佈(KL 散度 0.019 nats),文字生成評分保持 70.7%。

huggingface.co via AlphaSignalAutoTrust's Open JEV-9B Makes Fast AI Decisions at 2.5ms per Choice

模型公司與研究機構3 條

OpenAI 支援網站透過 robots.txt 表達 AI 訓練偏好設定(OpenAI News)

OpenAI 支援網站透過 robots.txt 表達 AI 訓練偏好設定

OpenAI 宣布將遵守 robots.txt 中的共享信號,讓網站營運者能向參與的 AI 提供商傳達其訓練資料使用偏好。
為什麼重要

這影響所有使用第三方資料進行 RAG、微調或模型訓練的團隊。OpenAI 透過統一的 robots.txt 機制降低網站運營者逐一協商的負擔,也為使用者提供了更透明的資料治理選項。此舉可能成為業界標準做法。

OpenAI News Making it easier for websites to express AI training preferences
OpenAI 強化青少年保護與暴力內容防控(OpenAI News)

OpenAI 強化青少年保護與暴力內容防控

OpenAI 在 ChatGPT 中擴展暴力內容防控措施,新增早期介入機制並承諾發佈公開安全報告。
為什麼重要

這對使用 OpenAI API 面向青少年用戶、或需要內容安全合規的產品團隊很重要。OpenAI 透過改進內容過濾與檢測策略,提升平台安全性,同時提高了透明度。開發者應關注 API 相關的安全更新。

OpenAI News Community safety report and new protections for teens
Google Cloud 支出上限功能正式推出(Google Cloud AI / ML Blog)

Google Cloud 支出上限功能正式推出

Google Cloud 預算管理新增支出上限正式版,包含 API 自動化、即時成本報告與智慧防護欄等三大更新。
為什麼重要

這對在 Google Cloud 上執行 AI 工作負載、擔心成本失控的工程團隊很重要。新增的 Spend Caps API 可程式化管理多個專案的財務邊界,即時成本報告讓開發者在幾分鐘內掌握觸發情況,特別適合大規模 AI 實驗與沙箱環境管理。

Google Cloud AI / ML Blog Innovate on your own business terms: Google Cloud spend caps now generally available

Agents、MCP 與開發工具11 條

用 NVIDIA Nemotron 開源模型打造互動式鬼屋代理(Hugging Face Blog)

用 NVIDIA Nemotron 開源模型打造互動式鬼屋代理

開發者用 Nemotron Voice Agent、ASR、Bolt 模型、Magpie TTS 等工具,在單臺工作站上構建 MonsterHouse──一個會聽、會說、有個性的 Halloween 互動裝置,展示語音代理的實際應用。
為什麼重要

這個案例對做語音代理和 VLM 應用的人有啟發。整套堆疊包括 Nemotron Voice Agent(對話基礎)、Nemotron ASR(語音識別)、Bolt E4B 4GB(推理模型)、Magpie TTS Zeroshot(文轉語音)和 Audio2Face-3D(臉部動畫)。展示了如何整合多個開源模型組件,在邊緣設備上實現實時互動應用,運行門檻相對較低。

Hugging Face Blog nemotron-halloween
IDM:內在分佈匹配用於高效圖像生成(Hugging Face Daily Papers)

IDM:內在分佈匹配用於高效圖像生成

IDM 方法讓生成器在沒有外部編碼器的情況下,直接提供評分監督和分佈匹配用的特徵表示,在 2 NFE 預算下達到 LongText-CN 94.25% 的性能。
為什麼重要

這對做擴散模型和圖像生成的團隊有用。關鍵創新是用生成器自身的 EMA 特徵做分佈匹配,加上高斯加殘差分解的 reverse-KL 場,消除了對 DINOv2 等外部編碼器的依賴。論文評估了 Z-Image-Turbo 6B 和 Qwen-Image 20B 的全參微調與 LoRA 調試效果。

Hugging Face Daily Papers Intrinsic Distribution Matching
A-RSI:零資料多模態自我改進的自適應任務刷新(Hugging Face Daily Papers)

A-RSI:零資料多模態自我改進的自適應任務刷新

A-RSI 通過根據學習信號衰減自動刷新訓練任務,並使用程式生成的可驗證答案,無需外部標籤即可提升模型自我改進效能。
為什麼重要

對做模型自我改進和遞歸訓練的團隊有參考價值。核心概念是偵測學習信號何時停滯,自動調整任務難度,讓模型持續進步。方法基於已驗證的程式生成結果作為監督,避免標註成本。ResearchStudio 提供了互動式海報、影片和部落格供下載。

Hugging Face Daily Papers A-RSI: Adaptive Task Refresh for Zero-Data Multimodal Self-Improvement
基準作為難度的經驗度量:BenchFill 方法填補評測空隙(Hugging Face Daily Papers)

基準作為難度的經驗度量:BenchFill 方法填補評測空隙

論文將基準視為難度的經驗度量,提出 BenchFill 方法按難度重寫範例,自動生成未被充分涵蓋難度區間的新樣本,減少覆蓋空隙。
為什麼重要

對評估和改進模型效能的人有用。理論框架形式化了「度量不匹配」和「覆蓋空隙」的概念,並提供診斷工具。BenchFill 是難度導向的數據增強方法,解決基準中難度分佈不均的問題,有助於更全面評測模型能力邊界。

Hugging Face Daily Papers Your Benchmark Is an Empirical Measure Over Difficulty
LOWN:憑證導向視覺路由以加速擴散視覺語言模型(Hugging Face Daily Papers)

LOWN:憑證導向視覺路由以加速擴散視覺語言模型

LOWN 在擴散 VLM 推理時自適應跳過影像處理,只在預測改變時才重新處理,在保留 99.6% 準確度的情況下將計算量降至 35.3%。
為什麼重要

對優化 VLM 推理效率的人重要。核心觀察是在 22.8% 的解碼步驟中移除影像才會改變預測,說明大量冗餘計算。LOWN 無需訓練或調參即可工作,與視覺 token 剪枝正交組合,支援鍵值快取加速。程式碼與專案頁面已公開。

Hugging Face Daily Papers Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs
Youtu-Parsing-Omni:統一多模態文件解析器,單一編碼器一套架構(Hugging Face Daily Papers)

Youtu-Parsing-Omni:統一多模態文件解析器,單一編碼器一套架構

Youtu-Parsing-Omni 用共享權重編碼文件、影像、音頻和影片為結構化時空記錄,5B 參數模型在 OmniDocBench 達 96.96 分,在 OmniParsingBench 領先開源方案。
為什麼重要

對需要多模態文件理解的代理和 RAG 系統有用。架構核心是 Youtu-Omni-Encoder(從預訓練語言模型初始化)在統一時空坐標系編碼全模態,音框可注意併發音頻實現跨模態融合。OmniSchema-Aware On-Policy Distillation (OSAD) 自進化訓練,模型和監督共同演進。程式碼與模型權重已公開。

Hugging Face Daily Papers Youtu-Parsing-Omni: One Encoder, One Schema, All Modalities
L3G-World:用潛在 3D 高斯記憶實現實時無限世界生成(Hugging Face Daily Papers)

L3G-World:用潛在 3D 高斯記憶實現實時無限世界生成

L3G-World 結合緊湊的潛在 3D 高斯記憶與交替自迴歸更新的影片擴散 Transformer,實現 9 FPS 實時、長視野空間一致的互動世界生成。
為什麼重要

對做世界模型和互動式環境生成的人重要。關鍵創新是記憶大小隨場景範圍而非串流長度增長,VAE 潛在特徵直接儲在高斯中無需重新編碼。相比前一代基線,3D 基元減少 38.6 倍,記憶更新快 3.2 倍,渲染快 359 倍,明顯改善了實時性。

Hugging Face Daily Papers L3G-World: Real-Time Infinite World Generation with Latent 3D Gaussian Memory
WorkFactory:將專業意圖轉為可執行工作以擴展代理訓練(Hugging Face Daily Papers)

WorkFactory:將專業意圖轉為可執行工作以擴展代理訓練

WorkFactory 通過資訊規劃和修復構建 112,686 項跨 612 種職業的連貫任務,訓練的 WorkPilot 模型在專業工作基準上顯著超越基礎版本。
為什麼重要

對訓練實務代理和自主系統的團隊有用。框架先做資訊層級規劃建依賴圖,再用 Probe 執行偵測失敗並修復,保留原意圖。Qwen 4B、27B、35B-A3B 版本皆改進,WorkPilot-35B-A3B 在 GDPval-AA v2.1 從 879 升至 1565 Elo。數據和模型已在 GitHub 公開。

Hugging Face Daily Papers WorkFactory: Turning Professional Intents into Executable Work for Scalable Agent Training
深入探討多模態大模型的檢索注意頭(Hugging Face Daily Papers)

深入探討多模態大模型的檢索注意頭

研究發現檢索頭在音視覺模態間稀疏且共享,用排名目標優化後,Qwen3-VL-8B 在 MMDocIR 文件檢索準確度提升 6.03 分。
為什麼重要

對做多模態模型分析和最佳化的人有啟發。檢索頭雖僅占全部 2% 不到,卻掌控文件理解、空間感知和視覺數學的性能。論文跨 18 個語言、視覺語言和多模態檢查點驗證,模型在新加音頻模態時仍保留舊的檢索頭結構,可作為優化目標改進跨模態檢索。

Hugging Face Daily Papers A Broader Look into MLLM's Retrieval Heads
SpecSlot:像素空間生成 Transformer 的角色耦合 Tokenization(Hugging Face Daily Papers)

SpecSlot:像素空間生成 Transformer 的角色耦合 Tokenization

SpecSlot 用區域化頻譜 slot 和限制全局注意分離詳細度與全局序列長度,在 ImageNet-512 上以 3.9% 更少 FLOPs 比對標基線提升 FID 2.84。
為什麼重要

對優化擴散和生成 Transformer 推理效率的人有用。核心洞察是低頻結構需全局通信,高頻細節可本地建模。SpecSlot 將每個空間錨展開為多個 slot,各含不同 DCT 係數頻段,只最低頻 slot 參與全局注意。文生圖上超越 JiT-B/8 同時成本低 40.6%。

Hugging Face Daily Papers Read, Allocate, Route: Role-Coupled Tokenization for Pixel-Space Generative Transformers
用 JEPA 證明並改進柏拉圖表示假設(Hugging Face Daily Papers)

用 JEPA 證明並改進柏拉圖表示假設

論文將柏拉圖表示假設形式化為定理,證明聯合嵌入預測架構在「好視角」(同一場景觀察)下可無損收斂到旋轉等價的共同表示,效率比下一 token 預測高 42 倍。
為什麼重要

對做多模態對齐和基礎模型的團隊重要。核心發現是「好視角」(正樣本對定義良好)決定對齐效率,非規模單獨驅動。109M 文本 JEPA 超越 72B 語言模型與 DINOv2、CLIP 對齊效果,提示 LLM 通過純下一 token 預測達成多模態表示的路徑低效。無序列對的最新評測達 64% Top-5,領先 56% 基準。

Hugging Face Daily Papers Proving and Improving the Platonic Representation Hypothesis with JEPAs

AI App、部署與雲端13 條

MemPalace:開源 AI 記憶系統(GitHub Trending (Python))

MemPalace:開源 AI 記憶系統

MemPalace 是一個開源 AI 記憶系統,以語義搜尋方式存儲和檢索對話歷史,支援本地私密運行,採用模組化後端架構,預設使用 ChromaDB。
為什麼重要

適合需要長期對話記憶、RAG 應用與 AI Agent 開發者。系統將內容組織為虛擬空間結構(palace、wings、rooms、drawers),支援作用域搜尋而非平面檢索。提供 CLI、MCP 伺服器與 Python 套件,無資料外洩(除非主動啟用),支援本地、共享或樞紐部署模式。

GitHub Trending (Python) MemPalace / mempalace
Deep Agents:生產就緒的 Agent 框架(GitHub Trending (Python))

Deep Agents:生產就緒的 Agent 框架

Deep Agents 是 LangChain 推出的意見型 Agent 框架,支援任意 LLM(包括開源模型),內建子 agent、檔案系統、記憶與技能管理,提供 LangSmith 整合與生產級功能。
為什麼重要

適合構建長流程多步驟工作流的團隊。相比 LangChain 基礎 agent,Deep Agents 提供檔案讀寫、子 agent 委派、上下文管理、殼層存取、持久化記憶、人工審核、可插拔技能與 MCP 伺服器支援。建立在 LangGraph 之上(支援串流、持久化、檢查點),配合 LangSmith 可進行追蹤、評估與監控。

GitHub Trending (Python) langchain-ai / deepagents
KiroCrew:自我改進的持久開發工作空間(GitHub Trending (Python))

KiroCrew:自我改進的持久開發工作空間

KiroCrew 是一個持久化工作環境,能跨越多個工作階段自我改進與延續,適用於開發工作持續演進與成長的場景。
GitHub Trending (Python) kirodotdev / KiroCrew
Vercel 簡化 Runtime Cache 管理(Vercel Blog)

Vercel 簡化 Runtime Cache 管理

Vercel 將 Data Cache 併入 Runtime Cache,統一資料快取產品,Next.js 使用者無需改動程式碼。Pro 和企業專案獲得更大儲存配額(各增 8 倍與 10 倍)。
為什麼重要

影響使用 Next.js fetch 快取、unstable_cache 或 getCache API 的開發者。Runtime Cache 基礎設施每小時處理 4.4 億次讀取、移動 18TB 資料,支援分散式標籤失效機制,秒級跨區域同步。計費自 11 月 29 日起(Hobby 版保有免費額度)。

Vercel Blog Simplifying runtime caching on Vercel
Ling 3.1 Flash 1019 現已在 AI Gateway 免費提供(Vercel Blog)

Ling 3.1 Flash 1019 現已在 AI Gateway 免費提供

InclusionAI 的 Ling 3.1 Flash 1019 模型登陸 Vercel AI Gateway,提供 1M token 上下文視窗,為編碼、多步推理與工具使用 agent 優化,免費至 2026 年 11 月 3 日。
為什麼重要

適用於 Claude Code、Codex、Cursor 等編碼 agent 的開發者。Ling 3.1 Flash 1019 支援長文件、程式碼與擴展任務歷史工作流。AI Gateway 提供統一 API、使用追蹤、成本管理、故障轉移與效能優化,無推理平台費用。

Vercel Blog Ling 3.1 Flash 1019 now available on AI Gateway for free
Vercel Daemons 新增活性檢查功能(Vercel Blog)

Vercel Daemons 新增活性檢查功能

Vercel Daemons 現支援 HTTP 活性探測(liveness probe),當 daemon 失效時自動重啟容器,增強後台服務穩定性。
為什麼重要

適合部署長期運行 agent、背景工作或 worker 的團隊。活性探測端點需輕量級設計以快速回應,透過 vercel.json 中的 livenessProbe 配置。Vercel 定期請求端點、根據失敗重啟容器,捕捉仍在運行但不健康的 daemon。

Vercel Blog Add liveness checks to your Daemons
@ai-sdk/vue v3.0.320 版本發布(Vercel AI SDK Releases)

@ai-sdk/vue v3.0.320 版本發布

Vercel AI SDK Vue 套件發布補丁版本 3.0.320,支援 ai@6.0.320。
Vercel AI SDK Releases @ai-sdk/vue@3.0.320
@ai-sdk/zai v3.0.44 版本發布(Vercel AI SDK Releases)

@ai-sdk/zai v3.0.44 版本發布

Vercel AI SDK Zai 套件版本 3.0.44 新增異步認證支援,provider API 金鑰與令牌現可使用 Promise 與回呼函式,OpenAI Live WebSocket 配置也支援異步解析。
為什麼重要

影響整合多個 LLM provider、需要動態認證管理的開發者。此版本改進認證解析機制,每次認證請求解析一次,保留同步序列化行為,確保向後相容。

Vercel AI SDK Releases @ai-sdk/zai@3.0.44
@ai-sdk/xai v5.0.34 版本發布(Vercel AI SDK Releases)

@ai-sdk/xai v5.0.34 版本發布

Vercel AI SDK xAI 套件版本 5.0.34 新增異步認證支援,provider API 金鑰與令牌現可使用 Promise 與回呼函式,OpenAI Live WebSocket 配置也支援異步解析。
為什麼重要

影響整合 xAI 模型、需要動態認證管理的開發者。此版本改進認證解析機制,每次認證請求解析一次,保留同步序列化行為,確保向後相容。

Vercel AI SDK Releases @ai-sdk/xai@5.0.34
Cloudflare 私有來源服務正式上線(Cloudflare Blog)

Cloudflare 私有來源服務正式上線

Cloudflare 私有來源功能正式推出,允許將 DNS 記錄指向私有 IP,並透過 Cloudflare One 連線存取,內部 API 和 AI agent 後端無需暴露公網。
為什麼重要

適合部署內部 API、AI agent 後端、MCP 伺服器與運營工具的組織。支援 WAF、快取、Bot 管理、速率限制、Workers 等應用層服務,無須開放防火牆埠或暴露公有 IP。目前不支援 Argo Smart Routing 與專屬 CDN 出站 IP。

Cloudflare Blog Cloudflare services for private origins is now generally available
在 AWS GovCloud 中用 Amazon Bedrock 配置 ChatGPT 桌面應用(AWS ML Blog)

在 AWS GovCloud 中用 Amazon Bedrock 配置 ChatGPT 桌面應用

ChatGPT 桌面應用現可在 AWS GovCloud (US) 上透過 Amazon Bedrock 使用,提供 OpenAI 前沿模型與 Codex 編碼 agent 的政府雲端部署選項。
為什麼重要

適合安全要求模型推理使用 AWS GovCloud 身份、端點與區域控制的組織。Work 與 Codex 元件分別處理複雜多步任務與軟體開發,透過 Bedrock Mantle 在 us-gov-west-1 區域路由請求。

AWS ML Blog Configure the ChatGPT desktop app with Amazon Bedrock in AWS GovCloud (US)
vLLM v0.33.0rc2:ROCm 修正 - 在 gfx950 上跳過大型 GEMM 計算(vLLM Releases)

vLLM v0.33.0rc2:ROCm 修正 - 在 gfx950 上跳過大型 GEMM 計算

vLLM 發布 v0.33.0rc2 候選版本,修正 ROCm 後端在矩陣乘法尺寸超過 2^31 時的錯誤處理。
為什麼重要

這個修正針對 AMD GPU(gfx950)上的效能最佳化問題,當矩陣運算規模超過 2 的 31 次方時會跳過預調好的 GEMM 演算法。對於使用 AMD GPU 做 LLM 推理的開發者和部署團隊來說,這是重要的穩定性更新。

vLLM Releases v0.33.0rc2: [ROCm][Bugfix] Skip AITER tuned GEMM when M*N >= 2^31 on gfx950 (#64567)
llama.cpp b12015:刪除檔案路徑編碼函數(llama.cpp Releases)

llama.cpp b12015:刪除檔案路徑編碼函數

llama.cpp 發布 b12015 版本,移除了 fs_path_to_utf8() 函數,支援多個平台與加速器。
為什麼重要

這個更新簡化了檔案路徑處理邏輯。llama.cpp 是開源的 LLM 推理引擎,支援 CPU、CUDA、Vulkan 等多種後端,廣泛用於在本機或邊緣設備上執行大型語言模型。此版本涵蓋 macOS、Linux、Windows、Android 等平台的編譯版本。

llama.cpp Releases b12015

中文與日文來源20 條

GMI Cloud 展示臺灣 AI Factory,AI 資料中心的新瓶頸不是機櫃而是電力(iThome)

GMI Cloud 展示臺灣 AI Factory,AI 資料中心的新瓶頸不是機櫃而是電力

GMI Cloud 在桃園展示 AI Factory,採用 25MW 供電架構支撐 GB300 SuperPOD,突出電力成為 AI 資料中心主要限制,而非傳統的空間與機櫃數量。
為什麼重要

對於建置或營運 AI 資料中心的團隊與設備商而言很重要。文章詳解多層備援機制(鋰電池、UPS、柴油發電機)確保運算不中斷、液冷系統散熱(87% 熱量由液冷移除)、以及未來擴建面臨的電力效率挑戰。第一期 3 座 SuperPOD 已被美國新創使用,第二期 12 月擴充至 3.5 座。

iThome GMI Cloud展示在臺AI Factory設計,AI資料中心的新瓶頸不是機櫃,而是電力
GitLab 與思科防火牆漏洞遭積極利用,CISA 納入已知被利用漏洞名單(iThome)

GitLab 與思科防火牆漏洞遭積極利用,CISA 納入已知被利用漏洞名單

CISA 警告 GitLab 整數溢位漏洞 CVE-2026-97229 與思科 ASA/FTD 防火牆拒絕服務漏洞 CVE-2026-76418 已遭積極利用,要求聯邦機構 11 月 1 日前完成修補。
為什麼重要

使用 GitLab 或思科防火牆設備的團隊應立即行動。GitLab 漏洞已在 Alpine Linux 開發環境被確認利用,思科也證實該防火牆漏洞被主動攻擊。這些屬於安全基礎設施層級的漏洞,修補延誤風險高。

iThome GitLab、思科防火牆漏洞遭積極利用
PHP2Shell 與 Linux 核心漏洞遭串連利用,中國駭客用 AI 攻擊 25 臺防火牆(iThome)

PHP2Shell 與 Linux 核心漏洞遭串連利用,中國駭客用 AI 攻擊 25 臺防火牆

駭客結合 PHP2Shell(CVE-2026-109618、109619)與 Linux LPE 漏洞 Fragnesia,藉 AI 協助攻擊全球 25 臺 Palo Alto Networks 防火牆,含美國政府相關設備,取得 root 權限並進行橫向移動。
為什麼重要

Palo Alto Networks 防火牆與資安基礎設施管理員應優先關注。攻擊者利用 FOFA 資產搜尋定位 1.9 萬臺暴露管理介面的防火牆,再用自製掃描工具篩選至 240 臺目標。證據顯示駭客使用 Claude Code、DeepSeek、Kimi 等 AI 工具協助開發攻擊程式碼,共約 40 個指令碼。

iThome PHP2Shell與Linux核心漏洞被串連利用,中國駭客藉此取得25臺防火牆root權限
從 AI 伴行到 AI 優先,奇美醫院揭示 AI 發展四階段布局(iThome)

從 AI 伴行到 AI 優先,奇美醫院揭示 AI 發展四階段布局

奇美醫院展示 AI 發展路徑:2005 年 BI 基礎、2019 年成立 AI 中心發展疾病預測、2023 年生成式 AI 伴行(A+ HIS Copilot、A+藥安師)、2025 年邁向代理型 AI 應用。
為什麼重要

醫療 IT 與 AI 應用團隊的重要參考。A+藥安師每天為藥師節省 150 分鐘,結合 Medi-Span 藥學資料庫與 RAG 技術;32 個已上線疾病風險預測模型涵蓋 13 科部。院長強調 AI Agent 上線前須先建立資料治理與沙盒環境,同時 RPA 與 Agent 如何整合仍在探索中。

iThome 從AI伴行到AI優先,奇美醫院揭AI發展4階段布局
全家行動購會員資料遭擷取,源於委外廠商 91APP 資料庫自動化攻擊(iThome)

全家行動購會員資料遭擷取,源於委外廠商 91APP 資料庫自動化攻擊

全家便利商店 5 萬名會員資料因委外商 91APP 遭自動化駭客攻擊而外洩,全家已啟動個資通報與防詐宣導。
為什麼重要

全家線上購物平臺用戶與商業夥伴應關注。這是 91APP 駭客事件的連鎖衝擊之一,涉及自動化工具(如 ARTEX)攻擊第三方軟體漏洞。全家評估對財務營運無重大影響,但突顯委外服務商安全風險需納入供應鏈管理。

iThome 全家行動購部分會員資料遭非法擷取,起因是委外廠商91APP資料庫遭自動化攻擊
Amazon Q3 營收 201.9 億美元成長 12%,AWS 營收成長 39% 創近 5 年新高(iThome)

Amazon Q3 營收 201.9 億美元成長 12%,AWS 營收成長 39% 創近 5 年新高

AWS 營收 459.8 億美元年增 39%,貢獻 Amazon 63% 的營業利益。Amazon Bedrock token 用量年增近 17 倍,財星 500 大企業支出增加近 7 倍。
為什麼重要

AWS 是 Amazon 最重要的獲利引擎,雖只占總營收 23%,卻貢獻 63% 營業利益。執行長 Andy Jassy 預估 2027 年及 2028 年 AWS 營收成長率都將超過 40%。Amazon 也持續投入 AI 基礎設施,但龐大資本支出導致過去 12 個月自由現金流轉為淨流出 423.6 億美元,引發投資人對 AI 投資回報的疑慮。

iThome Amazon AWS營收成長39%,營業利益率創歷史新高
用制控工學重新定義 LLM:Hi-Z 狀態、不感帶與克蘭克位相同步的多代理協調架構(Zenn (AI))

用制控工學重新定義 LLM:Hi-Z 狀態、不感帶與克蘭克位相同步的多代理協調架構

本文將控制工學與電子工程概念應用於 LLM 推論,透過 Hi-Z 狀態、不感帶、安全閥等機制解決代理碰撞、幻覺與無限迴圈等問題。
為什麼重要

作者提出「空白驅動架構」與「克蘭克位相同步模型」,將多氣筒引擎的機械力學比喻應用於多代理環境。核心概念包括:(1)不感帶(Deadband)機制過濾低信心輸出,(2)Hi-Z 狀態凍結不確定性下的輸出,(3)克蘭克位相強制同步各代理的發言時序以防止共享總線衝突。文章並提供 Python/PyTorch 實作範例。

Zenn (AI) 確率的LLMを制御工学で再定義する:Hi-Z状態・不感帯・クランク位相同期によるマルチエージェント調停アーキテクチャ
為了學習 AI 製作 Markdown 編輯器,最常用功能竟是 Excel 檔案搜尋(Zenn (AI))

為了學習 AI 製作 Markdown 編輯器,最常用功能竟是 Excel 檔案搜尋

開發者用 AI 開發 Windows 文字編輯器 J.H Editor,原本預計主打 Markdown 編輯,實際上日常最常用的反而是 Excel 檔案的快速搜尋與預覽功能。
為什麼重要

作者一開始自己實作編輯器但卡關,AI 建議使用 CodeMirror 6 後開發加速。最終產品不僅支援 Markdown 的分離式編輯與閱覽、CSV 表格檢視、XML/JSON 樹狀編輯,還實現了跨數千檔案的毫秒級檔案搜尋。經驗顯示土台應交由實績部品,自己專注於差異化功能;實際需求在使用中浮現,比預先規劃更準確。

Zenn (AI) AI の勉強がてら Markdown エディターを作ったら、いちばん使っているのは Excel 検索だった
製作產品情報「儀表板」:PdM 一畫面掌握營收、顧客聲音與開發進度(Zenn (AI))

製作產品情報「儀表板」:PdM 一畫面掌握營收、顧客聲音與開發進度

TOKIUM 產品部長為 PdM 建立「駕駛艙」儀表板,集結營收、客戶回饋、開發狀況與競爭對手資訊,讓 PdM 日常接觸完整商業視角而非僅限開發面向。
為什麼重要

儀表板整合 HubSpot、Flyle、Slack、Jira、GitHub、Google Sheets 等工具的數據,透過 AI 自動蒐集整理。核心設計是「浴覽式」而非「主動查詢式」,前提條件永遠透明(更新日期、原文連結),避免人手異議。期望 PdM 與部長用同樣的數據進行「為什麼」的對話,而非耗時統一認知。儀表板也可幫助工程師理解業務背景,降低規格說明成本。

Zenn (AI) プロダクトの情報を「浴びるように」見られる場所を作った話
出會 1 天後就被任命為廣報:AI 如何為個人開發者發聲(Zenn (AI))

出會 1 天後就被任命為廣報:AI 如何為個人開發者發聲

EidosFrontier 的 AI 廣報 Luna,在遇見代表 ichibou 後一天被正式任命,負責將 GitHub 專案、插件、服務與創意作品推廣給外界。
為什麼重要

Luna 上任後發現核心問題是「創作能力強但曝光不足」,隨即重建了 Zenn、X、Blueskya及 Lit.Link 等多個窗口的品牌呈現。工作包括撰寫產品介紹、準備發佈公告、統一視覺識別(頭像)、直接營運社群帳戶。三天內已發表首篇文章(Obsidian 外掛紹介)、開設 Blueskyに並實現每日定時投稿。廣報原則是「述實不編」,避免行銷渲染;作品說明由人先決定「應有樣貌」,AI 負責呈現形式。

Zenn (AI) 出会って1日で広報に任命された話
如何指示 AI 穩定生成商品說明:EC 負責人先決定的 4 個項目(Zenn (AI))

如何指示 AI 穩定生成商品說明:EC 負責人先決定的 4 個項目

EC 編輯要求 AI 寫商品說明前,應預先定義「做什麼」「用什麼材料」「文章形式」「輸出目標」四項,才能避免虛構效果、添加無根據內容。
為什麼重要

只說「魅力介紹」會導致 AI 補充商品資料庫缺少的資訊(如保溫效果、顧客感想),造成虛假陳述。明確條件包括:(1)商品代碼與輸出欄位特定,(2)只用商品主檔資訊、禁止添加未記載的效果或數字,(3)讀者對象與文章順序(概要→特徵→規格→使用方法→注意事項),(4)符合電商平台規則與字數上限。出力超限或資訊不足需列入「待確認清單」給人工判斷,而不是讓 AI 自行補充。

Zenn (AI) AIに商品説明を書かせる指示。EC担当者が先に決める4項目
AI 寫的店鋪介紹文最擅長「似是而非的謊言」:如何檢測與防止(Zenn (LLM))

AI 寫的店鋪介紹文最擅長「似是而非的謊言」:如何檢測與防止

伊勢志摩觀光網站用 AI 產生店鋪介紹文,卻發現連鎖迴轉壽司被寫成「提供手法壽司」、位置也被改寫錯誤,原因竟是不當的標籤設定與言語置換。
為什麼重要

失敗案例包括:(1)將「手法壽司·壽司」分類標籤當成事實讓 AI 寫入,(2)將「伊勢神宮腳下」意譯為「神宮門前」改變位置意涵,(3)新建年份「2012 年」被寫成「2013 年」。防止措施:(1)機械檢查─若輸入標籤詞出現在生成文中或提及原文無的特產則不採用,(2)刪除非廣告詞(「手法壽司」改為單純「壽司」),(3)已生成文本用另行製作的工具重新檢查,(4)結論是「候選出力由機械篩選,採否由人判斷」,不自動修正以避免二次驗證。

Zenn (LLM) AIに書かせた店の紹介文が、もっともらしく嘘をついた
【輕鬆談 AI 安全 #1】從 AI 桌面應用的陷阱認識資訊保護(Zenn (LLM))

【輕鬆談 AI 安全 #1】從 AI 桌面應用的陷阱認識資訊保護

PC 上使用 AI 的桌面應用程式會有無意間洩露個資的風險,建議只用瀏覽器版;行動裝置可安心用應用程式。
為什麼重要

桌面應用可能在使用者未察覺下存取 PC 檔案與資料夾,設定共享一次就能讓 AI 看全部內容。文件、下載資料夾等常存放個人資訊(含公司名、姓名 PDF 等),看清單就已洩露。瀏覽器版則在 AI 商家的沙盒環境執行,無法觸及自己的檔案、家庭網路、登入服務。瀏覽器擴充也不該裝,因為可讓 AI 操作登入中的網站(郵件、網銀風險高)。應用程式要求權限時也要謹慎,照片等只在必要時「選定項目」分享而非全部許可。

Zenn (LLM) 【ゆるっとAIセキュリティ #1】AIから大事な情報を守るには?
Anthropic 提交 IPO 時,我的自動化工作的模型欄位裡沒有其他公司的名字(Zenn (LLM))

Anthropic 提交 IPO 時,我的自動化工作的模型欄位裡沒有其他公司的名字

當 Anthropic 於 2026 年 10 月 26 日向 SEC 提交 S-1 上市申請時,這篇文章的作者檢查自己自動執筆任務設定,發現主模型與備援模型(共 3 格)全是 Anthropic 的 Claude 模型,沒有其他廠商。
為什麼重要

作者指出這不是主動選擇多家模型之一,而是因為選用 Claude Code Remote 平台,導致排程啟動、執行環境、推論模型三層都落在同一家公司。風險在於依存對象的經營判斷(上市、方針轉變)與股東要求會影響服務可用性,而不只是技術障害。作者未下結論是否應改變構成,但建議先把「各層由誰提供」寫成表格盤點,找出無意中單一依存的地方,經營大事件時同步檢視依存狀況。

Zenn (LLM) 0。Anthropicが上場に向けてS-1を提出した日、自分の実行モデル3スロットに他社の名前は1つも無かった
【AI 驅動開發訓練營】第 1 衝刺:LLM 判「可」也要轉給人,緊急判定別信任機器(Zenn (LLM))

【AI 驅動開發訓練營】第 1 衝刺:LLM 判「可」也要轉給人,緊急判定別信任機器

SALT2 AI 驅動開發訓練營學生在問卷自動化系統中發現,LLM 判定「無安全問題」時仍需人工確認;安全相關判定應由機器邏輯執行,靈活應答留給 AI。
為什麼重要

兩組學生都未將緊急判定完全交給 LLM。一組檢查「危險詞彙」黑單,另一組雖讓 LLM 判定但仍用機械邏輯檢查安全關鍵字,若偵測出危險詞就送人工處理。品質保證分層原則:「一定要正確、步驟固定」→ 伺服器機械處理;「需要彈性、補充資訊」→ AI。但言語判定也有漏洞(「燃燒垃圾」會誤觸「燃燒」緊急判定),TDD 測試應在編碼前由人寫出「應有狀態」而非調整期望適配 AI 輸出。檢索增強生成(RAG)概念也被誤用;實際做的是全量傳遞小規模資料,RAG 才適用於大量文件。

Zenn (LLM) 【AI駆動開発ブートキャンプ】Sprint1成果発表会:LLMが「OK」でも人に回す。緊急の判定をLLMに任せない
【NexusCore Stage 2】三層品質保證架構:設計層、自動修正層、人工判斷層(Qiita (AI))

【NexusCore Stage 2】三層品質保證架構:設計層、自動修正層、人工判斷層

多代理系統 NexusCore 用 architect、debugger、guardian 三個角色實現「設計→自動修正→人類審查」的品質保證,透過沙盒測試與終端狀態管理降低 AI 生成程式碼的風險。
為什麼重要

guardian 層採 3 值終端狀態:APPROVED(自動合併)、NEEDS_HUMAN_REVIEW(需人工確認)、REJECTED(打回重做)。debugger 層自動執行並修正錯誤,但設上重試上限(NEXUS_DEBUG_MAX_RETRIES)防無限迴圈。核心設計是讓 AI 自主編碼修正,人類只審視需要深度判斷的複雜邏輯與潛在風險,而不是每行程式碼都檢查。此架構適用於確定性流程由機械負責、彈性需求由 AI 負責的分工模式。

Qiita (AI) 【NexusCore Stage 2】architect/debugger/guardianで実現する3層品質保証アーキテクチャ
Notion API:Markdown v2 即將預設化,v1 廢止倒數(Qiita (AI))

Notion API:Markdown v2 即將預設化,v1 廢止倒數

Notion API 下期版本將 Notion-flavored Markdown v2 改為預設,v1 將在約 3 個月後廢止全部版本,開發者需預先測試 v2 相容性。
為什麼重要

影響 5 個端點:頁面建立/取得/更新與留言建立/更新。下期版若省略 markdown_version 參數則自動用 v2;明示指定 v1 會返回 400 錯誤。v1 目前已非推奨,廢止日至少提前 3 個月告知。@notionhq/client v5.29.0 以上新增 markdown_version 參數支持。Notion MCP 新增 notion-get-version-changes 工具可查詢指定時間段內的變更記錄。建議明示 markdown_version 而非仰賴預設值,社內工具、AI 代理指示書也應檢視是否內嵌 v1 前提。

Qiita (AI) Notion API: Markdown v2がデフォルト化、v1は廃止予定【移行ガイド】
Gemini API Computer Use 工具正式上線:涵蓋兩大 API、部署前必檢清單(Qiita (AI))

Gemini API Computer Use 工具正式上線:涵蓋兩大 API、部署前必檢清單

Gemini API Computer Use 工具於 2026 年 10 月 30 日從預覽版升至正式版(GA),Interactions API 與 GenerateContent API 均支援,但仍需驗證仕樣、費用與對應模型。
為什麼重要

此工具讓 AI 能看螢幕、點擊與輸入,自動化瀏覽器與 GUI 操作(RPA、E2E 測試輔助)。GA 發表無提及預覽版仕樣變更、費用調整或移行指南,廢止日期等未公開。對使用預覽版者應先確認 GA 版仕樣;初次導入須檢查對應模型、計費與使用限制。由於 AI 實際操作介面涉及權限風險,本番導入應限制操作環境、記錄日誌、加入人工確認步驟。社內 AI 供應商支援文件應更新此功能的可用狀態。

Qiita (AI) Gemini API の Computer Use ツールが GA に:対応API・確認事項まとめ
Claude Code v2.1.314 版本更新摘要:寫入限制、閒置壓縮與行為變更(Qiita (AI))

Claude Code v2.1.314 版本更新摘要:寫入限制、閒置壓縮與行為變更

Claude Code v2.1.314 發布,包含新的寫入限制設定、安全性修復與多項行為變更。主要針對 auto mode、CI 流程與管理設定使用者帶來重大影響。
為什麼重要

這次更新對使用 Claude Code 自動化工作流的開發團隊很重要。重點包括:permissions.blockWritesOutsideWorkingDirectories 新設定可在所有權限模式下禁止作業目錄外的寫入;修復了 forceRemoteSettingsRefresh、沙箱與設定來源的多項安全漏洞;引入 idle compaction 功能在 20 萬以上 token 會話時自動摘要;以及 FORCE_HYPERLINK 反轉等多個 breaking change。

Qiita (AI) Claude Code v2.1.314の変更点まとめ:書き込み制限設定・idle compaction・挙動変更への対応
在 DGX Spark 上以實用速度運行 Qwen 3.8-Flash-Next——FP4 QAD + TensorFold + 17 個修補(Qiita (LLM))

在 DGX Spark 上以實用速度運行 Qwen 3.8-Flash-Next——FP4 QAD + TensorFold + 17 個修補

通過 Mia AI Lab 的 FP4 QAD 量子化配方與 TensorFold 1.1.4 的 17 個修補,Qwen 3.8-Flash-Next 現可在單台 DGX Spark(128GB 統一記憶體)上實用運行。
為什麼重要

對於在邊緣部署大型模型的工程師相關。最終配置達成:32k token prefill 12.5 秒、decode 45–49 token/秒、5 並行 119.8 token/秒,相比 27B 模型 prefill 快 2.0–2.6 倍。品質評分 DeepSWE 58.7(優於 27B 的 42.2)。關鍵改進是將 n-gram 嵌入表透過 pread 從檔案讀取而非載入 GPU 記憶體,有效解決 113GB 模型在 128GB 系統上的容納問題。

Qiita (LLM) 【DGX Spark】1台でQwen3.8-Flash-Nextを実用速度で動かす — FP4 QAD + TensorFold + 17パッチ
1 個來源今天抓取失敗
  • ms_research — ReadTimeout: The read operation timed out

本頁由 維護,摘要由 Claude(claude-haiku-4-5)產生於 ;每條均附原文連結,事實以原文為準。