什麼是Message Batches API？
在處理大量數據時，成本和效率是開發者最大的考量之一。為了應對這一挑戰，Anthropic 推出了全新的Message Batches API，這是一個強大且具成本效益的數據處理解決方案。它允許開發者以批次模式處理大規模的查詢，每個批次最多可提交 10,000 個查詢，並且在 24 小時內完成處理。
更重要的是，Message Batches API 的成本相比標準API調用降低了50%，使得處理非即時需求的任務更加經濟高效。
支援的模型和平台
目前，Message Batches API 已進入公開測試階段，並支援多種 Claude 模型版本，包括：
Claude 3.5 Sonnet
Claude 3 Opus
Claude 3 Haiku
使用者可以在 Anthropic API 中使用這些模型來進行批次推理。除此之外，Amazon Bedrock 的使用者也可以使用這項功能，而 Google Cloud 的 Vertex AI 支援即將推出。
為什麼選擇Message Batches API？
大規模數據處理，例如客戶反饋分析或語言翻譯，通常不需要即時回應。對於這類非即時的任務，Message Batches API 讓開發者能夠以更高效、更低成本的方式進行批次處理，無需擔心複雜的隊列系統或速率限制問題。
Message Batches API的主要優勢包括：
提高吞吐量：享受更高的速率限制，無需擔心標準API的限流問題。
大規模擴展性：適合用於大規模數據集分析、分類或模型評估，無需關注基礎設施問題。
成本效益高：相比即時處理，批次處理不僅能夠節省運營成本，還能解鎖更大規模的數據處理可能性，例如整個企業文件庫的分析。
定價方案
Message Batches API 的另一大亮點在於其具備競爭力的定價。使用者可以以50%的折扣享受輸入和輸出代幣的成本優勢，讓大規模數據處理變得更加經濟。
各模型的定價如下：
模型 | 描述 | 批次輸入 (每百萬代幣) | 批次輸出 (每百萬代幣) |
Claude 3.5 Sonnet | 我們最智能的模型，200K 窗口 | $1.50 | $7.50 |
Claude 3 Opus | 適合複雜任務的強大模型，200K 窗口 | $7.50 | $37.50 |
Claude 3 Haiku | 最快、最具成本效益的模型，200K 窗口 | $0.125 | $0.625 |
客戶案例：Quora
著名的問答平台 Quora 已經採用 Anthropic 的 Batches API 來進行數據摘要和提取工作。這不僅幫助 Quora 降低了查詢處理成本，還簡化了大規模數據查詢的過程。
Quora 產品經理 Andy Edmonds 表示：「Anthropic 的 Batches API 不僅提供了成本節省，還減少了運行大量查詢的複雜性。提交批次並在24小時內下載結果的便利性，讓我們的工程師能專注於更有趣的問題。」
如何開始使用Message Batches API？
想要體驗 Message Batches API 的用戶，可以立即訪問 Anthropic API 的文件和定價頁面，開始使用這一公開測試中的新功能。
Comments