專為代理時代打造：最新 TPU 8tx 與 8i Max 登場

早在十多年前，我們為了滿足語音辨識與語言翻譯等 Google 內部需求，首度設計出張量處理器（TPU）。歷經八代 TPU 的演進，如今的應用場景已呈現爆發性成長，涵蓋範圍包括：第一，訓練並提供我們自家的 Gemini 模型；第二，處理 AI 代理工作負載；第三，透過我們的雲端基礎設施，為 Google Cloud 客戶提供服務；以及第四，近期更進一步讓客戶能將 TPU 直接部署到自己的資料中心。TPU 現已成為一項快速成長的業務，擁有近 100 家客戶，其中包含頂尖實驗室、交易機構、零售商與大學院校等。

今年四月在 Google Cloud Next 大會上，我們在同一代產品中推出兩款全新專用 TPU：專為大規模訓練打造的 8t，以及專為即時推論設計的 8i。相較於前一代 TPU，TPU 8t 及 8i 分別提升了高達 2.7 倍的訓練效能與 80% 的推論性價比。

今天，我們更進一步擴展第八代 TPU 產品陣容，新增兩款系統：專為龐大的脈絡視窗（context windows）與最高單機櫃（rack）運算密度設計的 TPU 8i Max，以及專為安全與機密推論打造的 TPU 8tx。這是我們首次在同一年內推出四款 TPU 系統。

雖然我們一直與 Google DeepMind 攜手共同設計 TPU，但我們現在也越來越常收到外部機構針對特定需求的意見回饋。隨著運算規模從人類層級邁向代理規模（agent scale），企業紛紛尋求能夠跨越 AI 模型龐大脈絡視窗進行推論的加速器。此外，部分受高度監管的客戶，也針對獨特的工作負載提出了專屬加密功能的需求。

我們今天發表的全新 TPU 系統正是為因應這個新局勢。搭配我們近期發布的 PyTorch 相關更新，我們的目標是讓每位開發者與 Cloud 客戶都能更輕鬆地使用 TPU。透過將模組化（modular）的自研晶片與開放且易用的軟體堆疊相結合，我們能跟上 AI 產業的發展步伐，快速交付全新的硬體與系統配置。

圍繞晶片打造電腦系統

今天我們發表了兩款全新的 TPU 系統，而「新晶片」與「新系統」之間有個重要的差異。

設計一款新晶片意味著要在受物理定律限制、且製造週期複雜漫長的多年過程中，將數十億個微型電晶體（microscopic transistors）佈局在矽晶圓上。相對地，打造一套「系統」，則是關於我們如何將運算、網路與儲存資源整合在晶片周圍。這包含了如何將這些資源與晶片封裝在一起，以便迅速滿足新興的客戶需求與研究應用場景。

十多年前當我們打造第一代 TPU 時，我們便深知 AI 軟體演進速度將遠遠超越矽晶片製造的速度。因此，我們在系統平衡與模組化上做了一項基礎性的關鍵布局，將 TPU 架構設計為 AI 超級電腦（AI Hypercomputer）中的基礎建構模組，讓工程師能圍繞著晶片，快速調整封裝方式、高速記憶體、光學網路與安全防護機制。這種做法讓我們能在短短幾個月交付專用的超級電腦（supercomputers），而非幾年。

專為安全且具備龐大脈絡的 AI 量身打造

在我們的第八代 TPU 產品陣容中，每個系統都是針對 AI 生命週期中的不同階段量身打造。

TPU 8t 與 TPU 8i 奠定了這一代晶片的基礎：

• TPU 8t 旨在成為龐大基礎模型的訓練主力，具備最高的「有效產出率（goodput）」，即每消耗一瓦電力所能交付的實用智慧（useful intelligence）。
• TPU 8i 則是推論引擎，旨在突破記憶體高牆（memory wall），可將晶片間的通訊延遲大幅縮減高達一半。

如今，隨著企業將自主 AI 代理導入正式環境，我們針對這些基礎系統打造了兩款全新配置，以解決兩項迫切的新挑戰：硬體層級的資料安全，以及百萬詞元規模的脈絡處理能力。

TPU 8tx

TPU 8tx 作為第八代的第三款系統，針對安全與機密推論進行了最佳化，同時也非常適合小規模訓練。它是專為受高度監管的企業與政府機構所打造，讓他們能在處理高機敏資料的同時，安全地執行前沿或專屬模型（proprietary models）及自主 AI 代理。

一般而言，資料在儲存或透過網路傳輸時會進行加密，但在電腦處理資料的過程中，必須先在記憶體中解密。TPU 8tx 採用與 TPU 8t 相同的矽晶片，並搭配第五代 AMD EPYC CPU 主機，將安全機制直接內建於硬體層中，能確保敏感資料與模型權重即使在活躍使用狀態下，也能全程受到保護並維持隔離。此外，藉由採用我們專為即時推論所打造的相同低延遲 Boardfly 網路，TPU 8tx 能讓多步驟 AI 代理保持順暢運作，在幾乎零效能損耗的情況下，提供比 TPU 8t 低高達 2 倍的延遲表現。

將訓練等級的運算能力與高速推論網路結合，意味著企業可以在單一系統上同時執行並客製化自己的模型。TPU 8tx 讓團隊可以使用專屬資料微調模型、將大型模型蒸餾（distill）為較小模型，並透過強化學習訓練他們的 AI 代理，所有過程皆無需在不同叢集（cluster）間搬移敏感資料。

TPU 8i Max

我們的第四款系統 TPU 8i Max ，則是為了解決另一個問題而生：記憶體高牆。

當數十個 AI 代理同時針對整個軟體程式碼庫或長達數小時的影片協同運作時，記憶體頻寬很快就會成為瓶頸。因此，我們將兩顆低延遲的 TPU 8i 晶片整合封裝在單一模組上。

TPU 8i Max 同步擴展了運算與記憶體資源，提供雙倍的運算能力、雙倍的 SRAM，以及雙倍於 TPU 8i 的 HBM 頻寬，確保處理器隨時備妥關鍵資料，避免大型工作負載發生停滯。此外，由於 TPU 8i Max 在現有的機櫃空間容納了兩倍的矽晶片，資料中心每平方英尺與每瓦電力能部署的運算能力也因此大幅提升。

第八代 TPU 的四款系統，不僅能靈活支援各種工作負載，更共同為客戶在代理式生命週期的每個階段，提供了專用的加速器：TPU 8t 用於大規模訓練，TPU 8i 用於低延遲推論，TPU 8tx 用於機密運算（confidential computing），而 TPU 8i Max 則用於處理龐大脈絡視窗與提供最高單機櫃運算密度。

將 TPU 開放給所有開發者

十多年前當我們剛推出第一代 TPU 時，僅有少數幾家公司執行的工作負載需要用到 TPU 等級的運算能力。當時的應用情境具備高度專業性，因此工程師會使用經過最佳化的框架並手動調校程式碼。

多年來，隨著 AI 技術不斷進步，越來越多企業開始採用加速器。如今，AI 的普及程度，已讓 TPU 成為廣泛企業與多元應用情境的絕佳選擇。因此，我們持續有系統地消除採用門檻，讓 TPU 變得和通用硬體一樣易於使用。

這項投入在今天透過以下關鍵領域全面展現：

• 向每位 PyTorch 開發者開放 TPU 開發環境，無需改寫程式碼：上個月我們開源了 TorchTPU，讓 PyTorch 程式碼與 Hugging Face 模型現在可原生執行在 TPU 上，同時為 vLLM 與 SGLang 等主流開源推論引擎提供開箱即用的 TPU 後端支援。為了讓硬體最佳化更加輕鬆，我們全新的開源 TPU agent suite（現已開放預覽）可直接串接至 Claude Code、Cursor 與 Google Antigravity 等程式編寫工具，在短短幾分鐘內自動完成 TPU 導入設定、診斷效能瓶頸，並使用自然語言自動調校客製化核心（custom kernels）。針對實際生產環境的部署，我們全新的開源 XLA Serving Engine 可讓使用者在 Python 中訓練模型，並直接在低延遲的 C++ 執行環境中，跨 TPU、GPU 與 CPU 提供模型服務。
• 在 InferenceX 與 AgentX 基準測試中展現業界領先的生產環境效能：在實際生產環境中，真正重要的是真實 AI 工作負載的執行成果，而非理論上的晶片峰值速度。在測試真實代理式程式編寫與長脈絡作業的業界標準 InferenceX 與 AgentX 基準測試中，我們在 TPU 上執行的原生 vLLM-TorchTPU 軟體堆疊創下了頂尖的性價比表現。最新的實測結果顯示，這些優勢能延伸至廣泛的前沿開放模型與開源服務堆疊，同時維持高度模型準確度。未來針對相同硬體推出的軟體最佳化更新，還將進一步推升這些表現。
• 為自主 AI 代理消除閒置運算浪費：由於 AI 代理具備狀態性（stateful），在等待資料庫查詢、外部軟體工具回應或人工回饋時，經常會暫停數秒甚至數小時。為了讓我們的加速器在這些暫停期間更具能源效率，我們全新的 Agent Compute Engine 軟體會在自動暫停並重啟閒置的代理工作階段，從而降低營運基礎設施成本。。
• 透過模型狀態層（TPU Sync）突破記憶體高牆：圍繞晶片打造電腦系統也意味著要在軟體層面統一記憶體、儲存空間與網路。當 AI 代理跨越百萬詞元的脈絡和持續的強化學習（Reinforcement Learning，RL）迴圈進行推理時，記憶體很快就會成為瓶頸。因此，我們開源了專為 TPU 叢集打造的模型狀態層 TPU Sync。TPU Sync 將晶片的 HBM、主機的 DRAM、共用儲存空間與資料中心網路，整合為單一且共同設計的記憶體階層（memory hierarchy），能在幾毫秒內自動將龐大的 KV 快取（KV cache）分層移出晶片，跨越分散的預填充（prefill）與解碼（decode）節點串流傳輸脈絡，並同步強化學習權重（RL weights），使得 KV 傳輸延遲與第一個詞元生成時間（TTFT）大幅縮減 90% 以上。
• 從單一控制器跨越 TPU 擴展分散式工作負載：現已於 Google Kubernetes Engine（GKE）上正式推出的 Cloud Pathways ，將驅動 Gemini 的 Google DeepMind 執行環境帶給每一位 Google Cloud 客戶。透過使用單一控制器（single-controller）架構與 pathwaysutils，使用者可以跨越多個切片（slices）調度大規模 TPU 系統，讓它們進行預訓練、強化學習與多主機推論時，宛如單一本地機器般運作。Cloud Pathways 結合了共置的 Python 附屬容器（sidecar）、一分鐘內的切片熱插拔（hot-swapping）以及彈性重新分片（elastic resharding）技術，讓長時間執行的工作在面對硬體發生中斷時仍可以持續運作。
• 透過 GKE 動態切片功能按需求拼接客製化 TPU 拓樸：現已全面推出的 GKE 動態切片（GKE dynamic slicing）功能，利用光路交換（optical circuit switching，OCS）技術，將實體硬體佈建與邏輯切片配置徹底解耦（decouple）。透過即時將多個 TPU 立方體（TPU cubes）動態組裝成更大的拓樸（超級切片，super-slicing），或是將其分割為較小、彼此獨立的工作負載（子切片，sub-slicing），這項更新能徹底消除過往僵化且需要手動重建節點集區（nodepool）的漫長週期。這種拓樸靈活性將作業啟動時間大幅縮短了高達 5 倍，並將故障復原速度提升達 4.5 倍，全面最大化所有 TPU 的整體機隊使用率與工作負載有效產出率。

結合十年經驗的共同設計

能夠在同一年內推出四款 TPU 系統以及一個統一且開放的軟體堆疊，歸功於晶片架構師、網路工程師、編譯器（compiler）團隊與 Google DeepMind 研究人員並肩合作的成果。

現在，我們也越來越常運用 AI 來構思並打造下一代的 AI 基礎設施。從使用 Google DeepMind 的 AlphaChip 強化學習系統，到運用 Gemini 在短短幾小時（而非幾週）內完成晶片佈局，我們正透過 TPU 驅動的 AI 服務，快速推進下一代 TPU 硬體的開發進程。這才是真正的共同設計，也是 Google 獨有的差異化優勢。

歡迎收看影片內容，了解更多有關我們全新 TPU 系統的資訊。