讓 Vertex AI 成為最適合企業使用的生成式 AI 平台

Google Cloud 宣布企業用 AI 平台 Vertex AI 在模型和功能上的重大進展與升級。數十項的新功能，將用於調整、強化、自訂、擴展，以及提升平台的可靠度及安全性，協助企業能更快推出強大的 AI 虛擬服務專員。

Gemini 1.5 Flash ：領先市場的性價比與低延遲性

我們在五月時 發布 輕量級模型 Gemini 1.5 Flash 的公開預覽版，現在已能夠全面開放使用。Gemini 1.5 Flash 結合了低延遲、極具競爭力的價格，以及擁有 100 萬個詞元（token）的脈絡長度（context window）的優勢，成為各種大規模應用案例的最佳模型選擇，包括零售客服虛擬專員、文書處理，甚至是能夠整合整個倉儲（repositories）的研究虛擬專員。最重要的是，Gemini 1.5 Flash 基於其強大功能、低延遲和成本效益，很快地成為我們客戶的最愛。與 GPT 3.5 Turbo 等同類模型相比，Gemini 1.5 Flash 具有許多強大的優勢：

• 100 萬個詞元的脈絡長度，比 GPT-3.5 Turbo 所提供的脈絡長度多了約莫 60 倍
• 處理 1 萬個字元時， 平均速度比 GPT-3.5 Turbo 快 40% [註一]
• 啟用脈絡快取（context caching）功能處理超過 32,000 個字元的輸入時，與GPT-3.5 Turbo 相比，輸入成本最高可降低 4 倍

企業及開發人員可以點選 此處 立即開始使用 Vertex AI 上的 Gemini 1.5 Flash。

Gemini 1.5 Pro：業界領先的 200 萬個詞元脈絡處理能力

從現在開始，Gemini 1.5 Pro 提供高達 200 萬個詞元的脈絡長度，能解鎖其他模型無法處理的獨特多模態應用案例。

由於處理一部短短 6 分鐘的影片就需要超過 10 萬個詞元，而處理大型程式庫更可能需要超過 100 萬個詞元。因此，無論是關於從無數的程式碼中找出錯誤、從研究資料庫中尋找正確的資訊，或是分析數小時的音訊或影片的應用案例，Gemini 1.5 Pro 都能幫助企業和組織開闢新天地。企業和開發人員可以點擊此處立即開始使用具有 200 萬個詞元處理能力的 Gemini 1.5 Pro。

Imagen 3：更快的圖像生成，更優異的提示理解能力 

Imagen 3 是 Google 最先進的圖像生成基礎模型，提供出色的影像品質，且較 Imagen 2 擁有更多強化功能，例如：生成速度提升 40% 以上，可支援快速原型製作和迭代；更佳的提示理解和指令遵循能力；生成高度擬真的團體照片；以及更妥善控制圖像中的文字算繪。

Imagen 3 預覽版目前開放給申請早期實驗階段的 Vertex AI 客戶試用。Imagen 3 也包括多語言、多種畫面比例的支援，並內建安全功能（例如 Google DeepMind 的 SynthID 數位浮水印）。客戶可以點擊此處申請體驗 Vertex AI 上的 Imagen 3。

第三方和開放式模型：透過 Vertex AI 提供更多模型選擇

Google Cloud 致力於提供客戶多元選擇以強化他們的創新能力，因此在 Vertex AI 上提供其精選的第一方、開放和第三方模型。最近，Google Cloud 在 Vertex AI 中新增了 Anthropic 新推出的 Claude 3.5 Sonnet 模型。客戶可以開始使用在 Google Cloud 上的 Claude 3.5 Sonnet 模型來開展實驗或將其部署到生產環境。預計在今年夏末，Google Cloud 也將深化與 Mistral 的合作關係，將 Mistral Small、Mistral Large 和 Mistral Codestral 新增到 Vertex AI Model Garden 中。

Google 在今年稍早推出了 Gemma，這是一系列使用與 Gemini 模型相同的研究成果和技術打造而成的先進輕量級開放式模型。Google 現也正式向全球的研究及開發人員宣布推出 Gemma 2。Gemma 2 提供 90億（9B）和 270 億（27B）兩種參數規格選擇，比第一代更強大、更有效率，同時更大幅強化內建系統的安全性。下個月起，客戶可在 Vertex AI 上體驗 Gemma 2。

更低成本：Gemini 1.5 Pro 和 Flash 的脈絡快取 （Context Caching）

為了幫助我們的客戶有效利用 Gemini 龐大的脈絡長度（context windows），Google Cloud 現針對 Gemini 1.5 Pro 和 Flash 模型推出公開預覽版的脈絡快取功能。隨著脈絡長度增加，可能得付出高昂的成本才能取得脈絡較長的應用程式的回應，而且速度又緩慢，因而難以部署到生產環境中。而 Vertex AI 脈絡快取利用常用脈絡的快取資料，能幫助客戶大幅降低 75% 的成本。Google 是目前唯一提供脈絡快取 API 的供應商。

可預測的效能：Gemini 模型預先配置處理量（provisioned throughput）

即日起，我們將為授權可用名單用戶提供 Gemini 模型預先配置處理量。預先配置處理量可協助客戶以負責任的方式擴大使用 Google 的第一方模型（例如 1.5 Flash），藉此得到容量和價格的穩定性。此 Vertex AI 功能為客戶提供生產工作負載的可預測性和可靠性，讓他們能放心地積極擴展生成式 AI 的工作負載。

傳遞「企業真理」（enterprise truth）：以 Google 搜尋和第三方資料作為連結 （grounding) 基石

要讓企業的 AI 就緒，需要的不僅是模型而已。為了最大程度地確保事實的真實性並將 AI 「幻覺」降至最低，企業需要將模型輸出的結果建立在網路、第一方和第三方事實和資料的基礎上，同時還要滿足資料治理及主權等嚴格的企業就緒標準。

在 Google I/O 大會上，Google 宣布全面開放使用在 Vertex AI 中連結 Google 搜尋（Grounding with Google Search）。此外，Google Cloud 更宣布從下一季開始，Vertex AI 將提供一項新服務，讓客戶能利用專業的第三方資料來強化自家的 AI 虛擬服務專員。如此一來，將有助於企業將專業的第三方資料整合到自家的生成式 AI 虛擬服務專員，解鎖獨特的應用案例並提升其整個 AI 體驗中的真實資料可信度。Google Cloud 正在與 Moody’s、MSCI、Thomson Reuters 和 Zoominfo 等主要供應商合作，將他們的資料導入此服務中。

「Google Cloud 的第三方資料連結服務將使 KPMG 和我們的客戶開創新的應用商機。將來自產業領導者的專業第三方資料流暢整合到我們的生成式 AI 產品中，我們能縮短洞察時間，做出更明智的決策，最終更可以運用擁有高信賴度的資料來源，為客戶提供更大的價值。」- KPMG 全球稅務與法律技術長 Brad Brown

提供更貼近事實的回應：採用高度傳真（high-fidelity）模式連結資料 

金融服務業、醫療保健業以及保險業等資料密集型產業，生成式 AI 的應用案例通常需要嚴格依照客戶提供的資訊脈絡來生成回應，而不是從內部模型對世界認知的知識庫來生成回應。我們現推出高度傳真（high-fidelity）模式連結的實驗預覽版本，這個功能正是專門為支援此類應用案例所建構，包括橫跨多文件的摘要生成、針對財務資料語料庫的資料擷取，或跨一組經預先定義的文件進行處理。高度傳真模式由 Gemini 1.5 Flash 其中一個版本提供支援，這個經過微調的版本，將只會使用客戶提供的脈絡來產生答案，並確保回應更貼近事實。

現在就開始使用 Vertex AI

歡迎點選此處進一步瞭解 Vertex AI 能為你的組織提供哪些幫助，若要進一步瞭解 Google Cloud 客戶如何運用生成式 AI 進行創新，請參閱 101 個來自全球頂尖組織的生成式 AI 應用案例。

本文作者：Google Cloud 機器學習、系統和 Cloud AI 副總裁暨總經理 Amin Vahdat

[註一] 援引自 Gemini 團隊於 2024 年 6 月 14 日發布的 Gemini 1.5 研究：Unlocking multimodal understanding across millions of tokens of context