在超大型語言模型推論高度仰賴GPU叢集的市場現況下，AI 推論解決方案先驅 Skymizer Taiwan Inc.( 臺灣發展軟體科技股份有限公司)於COMPUTEX 2026展前釋出關鍵技術突破，推出全新HTX301推論晶片，內建於 COMPUTEX 2025 首次發表的軟硬體協同設計平台 HyperThought。主打以單張PCIe介面卡即可支援700B參數模型運行，為企業在地端AI部署帶來全新架構選項。
打破 GPU 對超大型模型推論的壟斷
一直以來，在地端部署超大型模型皆需仰賴龐大的 GPU 叢集、NVLink/NVSwitch 等高速互連技術，以及密集的散熱系統——導致成本高昂且維運複雜。
Skymizer 於業界首次將此願景化為可能。
僅需一張 PCIe 介面卡——搭載 六顆 HTX301 晶片與 384 GB 記憶體——企業即可於本地執行 700B 參數模型推論，每卡功耗僅約 240W。
HyperThought 針對 不同尺寸與形式的彈性擴展 而設計——可封裝為 SoC 或介面卡，自 邊緣到迷你資料中心 皆可部署。單卡可由 1 顆晶片擴展至 6 顆晶片，記憶體容量介於 32 GB 至 384 GB，支援 4B 至 700B 參數 的模型——讓企業依實際工作負載需求，精準規劃部署規模，避免過度配置。
「推論已成為 AI 的主要工作負載,基礎設施也必須反映此一現實。」
「仰賴超大規模 GPU 叢集執行超大型 LLM 的時代已經結束。HyperThought 讓 AI 從僅屬於雲端巨擘的複雜工程，轉變為每一家企業皆可擁有的單卡級簡潔方案。」
—— William Wei,Skymizer 行銷長
消除企業 AI 的隱藏稅負
其結果是：企業在享有資料隱私、低延遲與完整營運掌控權的同時，亦可擺脫 GPU 叢集所帶來的基礎設施負擔。
地端推論亦消除了「按 token 計費」所帶來的支出焦慮——此焦慮已成為企業導入 AI 的無形稅負。雲端推論迫使團隊必須精打細算每筆查詢，並限縮 Agent 的使用。HyperThought 則徹底解除此限制：一旦部署完成，企業便可在固定的基礎設施成本下，執行無上限的推論。
HyperThought 為企業既有的 GPU 基礎設施提供互補，而非取代。透過將解碼(decode)密集的推論工作自 GPU 卸載，企業可提升整體叢集的利用率與電力效率。
驅動企業跨領域的 Agentic AI 工作流程
HyperThought 與 HTX301 專為 agentic AI 工作負載而設計，此類工作負載正快速成為企業自動化的核心基石。搭配 OpenClaw 等 agent harness 框架，HTX301 能提供這些系統所需的推論吞吐量，並同時具備完整的資料自主權與可預期的延遲表現。
此一架構可驅動跨產業與跨領域的 agentic 工作流程與自動化，包括:
金融服務(法遵、詐欺偵測、投資組合推理)；醫療與生命科學(臨床決策輔助、藥物交互作用分析)；製造業(預測性維護、品質檢測)；法律與專業服務(合約審閱、機密知識檢索)；政府與國防(主權 AI、機密分析)；零售(客服自動化、庫存推理)；軟體工程(私有 code copilot、自主 CI/CD)；以及 半導體與 IC 設計(地端 RTL copilot、驗證 agent、針對自有 IP 的設計知識檢索)。
焦點應用：地端 AI Coding。AI 輔助編碼已成為現代軟體團隊的基本配備，且在「原始碼即公司命脈」的領域中，需求增長最為快速。IC 設計公司無法將自有 RTL 上傳至雲端編碼助手，否則將面臨價值數十億美元矽智財外洩的風險；軟體公司在面對機密程式碼與客戶資料時，亦有相同的考量。HTX301 能提供足以支撐完全地端執行私有 code copilot、RTL 生成器與驗證 agent 的吞吐量——既消除雲端外洩風險，又完整保留 AI 輔助工程所帶來的生產力效益。
除了 agentic 工作負載之外，單顆 HTX301 晶片亦支援裝置端推論——涵蓋語音轉寫、翻譯、視覺理解與多模態 AI——適用於邊緣伺服器、AI 工作站、智慧 NAS 系統及各類智能端點。
由 LISA 與 HyperThought 驅動
HyperThought 由 LISA(Language Instruction Set Architecture，語言指令集架構) 所驅動，此為 Skymizer 自主研發、專為 Transformer 推論最佳化的語言中心指令集架構。LISA 在效能、功耗效率與擴展性方面,全面支援自邊緣裝置至企業叢集的各類部署。
地端部署的 HTX301 介面卡，與 HyperThought 裝置端 LPU 共用相同的 LISA 架構基礎——一套 ISA、一套部署流程，自邊緣至資料中心，一以貫之。
Prefill/Decode 分離:HyperThought P/D 策略
LLM 推論包含兩個本質上截然不同的階段：prefill(處理輸入提示，屬 compute-bound)與 decode(逐一生成 token，屬 memory-bandwidth-bound)。以 GPU 為核心的基礎設施強迫兩者共用同一塊矽晶片，在任一時刻總會造成運算資源或頻寬資源的閒置。HyperThought 自架構設計之初，即將此兩階段加以分離。
硬體堆疊——Decode 優先的專屬矽晶片。HTX301 為 decode 階段量身打造——此階段是主導真實世界推論延遲、對記憶體頻寬極度敏感的 token 生成過程。既有 GPU 處理 compute 密集的 prefill；HTX301 介面卡則負責 decode。每一塊矽晶片皆對應其最適合的階段。
軟體堆疊——統一的 P/D 調度。Skymizer 的統一軟體堆疊——涵蓋 KV-cache 管理員、具階段感知能力的排程器，以及動態配置引擎——可協同調度 prefill 與 decode 資源池，於節點之間傳遞 KV-cache 狀態，並隨工作負載變動即時重新平衡 P:D 比例。
「專為 decode 打造的硬體，搭配能協調每一份推論工作負載的智慧軟體堆疊——這才是在規模化場景下分離 P/D 的真正做法。」
—— Luba Tang, Skymizer 技術長
定義 AI 部署的下一個世代
隨著模型規模自數十億參數邁向兆級參數,業界對暴力式 GPU 擴展的依賴正面臨瓶頸。Skymizer 的存在，正是為了超越此一瓶頸——結合深厚的編譯器專業與針對 decode 最佳化的矽晶片，定義 AI 基礎設施的下一個世代。
有關 HyperThought 延伸平台的完整藍圖，將於 Skymizer 在 COMPUTEX 2026 的記者會中公布。
申請 HTX301 早期存取權: skymizer.ai/press
關於 Skymizer Taiwan Inc. Skymizer
（臺灣發展軟體科技股份有限公司）成立於 2013 年，是一家專注於 AI 推論的公司。其旗艦平台 HyperThought 結合編譯器驅動的軟體堆疊與針對 Transformer 最佳化的硬體，可於裝置端、邊緣端與地端部署環境中，提供高效能的推論服務。
這篇文章 擺脫GPU叢集高成本 Skymizer發表突破性架構 單卡實現超大型 LLM 推論 最早出現於 火報。
