商傳媒｜葉安庭／綜合外電報導
開源 Python 函式庫 LiteLLM 已原生支援 Oracle Generative AI Infrastructure，這項整合讓開發者能透過單一 OpenAI 相容閘道，存取部署於 Oracle Cloud Infrastructure（OCI）上的多樣化大型語言模型。
根據《Oracle 官方部落格》報導，LiteLLM 成為 Oracle Generative AI Infrastructure 的第一級供應商，使開發者能夠將請求路由至 Meta Llama、xAI Grok、Cohere Command、Cohere Embed、Gemini 及 OpenAI gpt-5 等多款模型，所有操作都透過單一的 OpenAI 相容端點進行。現代人工智慧系統常需要整合多種模型，例如用於路由的快速模型、用於檢索的長語境模型、用於規劃的推理模型、用於文件理解的視覺模型，以及用於記憶的嵌入模型（Embedding Model）。LiteLLM 的主要優勢在於消除整合這些模型時的複雜性，因這些模型可能各有不同的軟體開發工具包（SDK）、驗證機制、請求格式及速率限制政策。
LiteLLM 自動處理所有支援的驗證路徑所需的 OCI Signature v1 請求簽名，包括實例主體（Instance Principal）和 OKE 工作負載身分（OKE Workload Identity）。應用程式可沿用熟悉的 OpenAI Chat Completions 或嵌入（Embeddings）介面與 LiteLLM 互動。LiteLLM 會負責解析憑證、選擇正確的供應商轉接器、轉換請求以符合 Oracle Generative AI Infrastructure 規範、進行簽名，並統一回應格式。這項新的供應商指南與實作，讓 Oracle Generative AI Infrastructure 的整合度與其他主要的雲端推理平台達到同等水準。
此次更新還涵蓋代理配置、工具呼叫（Tool Calling）、視覺輸入、推理參數、環境驗證以及目前的 OCI 模型目錄。所有在 OCI 上託管的模型，都可透過「oci/<模型名稱>」的格式來定址。同時，LiteLLM 可完全部署在客戶管理的 OCI 環境內，確保提示詞、憑證和應用程式資料都保留在客戶的租戶邊界內。企業團隊也能運用 LiteLLM 提供的多項生產控制功能，包括虛擬密鑰、預算管理、路由、備援機制（Fallback）、快取、安全護欄（Guardrails）及成本追蹤等。
其中，虛擬 API 密鑰能提供單一密鑰的預算、每分鐘請求數（RPM）和每分鐘 Token 數（TPM）限制、模型允許清單、過期日期，以及團隊或使用者歸屬。成本追蹤則能對每個請求，依密鑰、團隊、使用者、模型或標籤進行歸屬。快取機制支援記憶體內、Redis、Amazon S3 和 Qdrant 等後端，並提供語意或精確匹配模式。無論使用哪種供應商，安全護欄與稽核日誌都能統一適用。
這項整合讓既有的 OpenAI 相容應用程式無需替換 SDK，即可重新指向 Oracle Generative AI Infrastructure。OpenAI Agents SDK 也能在 LiteLLM 的支援下，運用其內建的 OpenAI 相容模型類別，集中管理模型治理、成本歸屬和身分識別。此外，混合路由設定還能讓 LiteLLM 在 Oracle Generative AI Infrastructure 與其他供應商之間進行故障轉移，且應用程式程式碼無需修改。
相關新聞推薦
正在載入相關新聞...
