近日,AWS 正式宣布其云對象存儲服務 S3 Vectors 全面上線。
該服務原生支持向量數據的存儲與查詢。此次正式發布將單索引容量提升 40 倍,最高可容納 20 億條向量,并實現低于 100 毫秒的查詢延遲。
該服務于今年七月曾開放預覽。根據 AWS 披露,預覽期間用戶已創建超過 25 萬個向量索引,并累計處理逾 400 億條向量。預覽階段單索引上限為 5000 萬條向量,而AWS首席開發者 Sebastian Stromacq 表示:
“
現在單索引可支持高達 20 億條向量的存儲與檢索……用戶可將全部向量數據集整合至單一索引,無需再通過分片或復雜的聯合查詢邏輯管理多個小型索引。
此外,該服務提升了查詢性能:低頻查詢可在 1 秒內返回結果,高頻查詢延遲則控制在100毫秒以內,這對對話式 AI 等交互應用尤為有利。
官方數據顯示,單次查詢最多可獲取 100 條結果,增強了檢索增強生成(RAG)應用的上下文質量。寫入性能方面,單向量更新最高支持每秒 1000 次 PUT 操作,支持小批量高吞吐寫入,并能實時檢索來自多并發源的新數據。
儲存優先,節省成本
AWS 同時宣布兩項關鍵集成結束預覽、全面開放:用戶可將 S3 Vectors 用作 Amazon Bedrock 知識庫的向量存儲引擎;其與 Amazon OpenSearch 的集成也已正式上線,用戶可在使用 OpenSearch 進行搜索分析的同時,將 S3 Vectors 作為底層向量存儲層。
開發者 Jalaj Nautiyal 在 LinkedIn 發文評價:S3 Vectors 將向量搜索從“計算優先”模式轉變為“存儲優先”方案。這一“無服務器”轉型意味著用戶不再需要管理集群、容器或分片,可像處理普通S3對象一樣管理向量,輕松實現數十億向量的存儲。
成本方面,預計可將總擁有成本降低高達 90%,僅需支付 S3 存儲費用(成本較低)與查詢費用,無需承擔閑置計算資源開銷。
他進一步指出,對于 80% 的內部 RAG 應用與自主智能體場景,或許無需追求頂級配置的向量數據庫。一個可靠且容量無限的“后備箱”已足夠——S3正成為這樣的存在。
目前S3 Vectors已在14個AWS區域上線(預覽階段為5個)。服務定價基于三個維度計算:
上傳定價:按用戶上傳向量的邏輯GB量計費(每向量包含邏輯向量數據、元數據及鍵值)
存儲成本:取決于各索引邏輯存儲總量
查詢費用:包含每次API調用費用,以及按索引規模(不含不可過濾元數據)折算的每TB數據查詢費
生態集成
作為 AWS 數據生態的核心,它與 Amazon Bedrock 知識庫、Amazon OpenSearch 服務均實現了原生集成。這意味著用戶可以在構建 RAG 應用時,直接從托管的向量存儲中受益。
在 Amazon Bedrock 中創建知識庫時,可以選擇 S3 Vectors 作為向量存儲。此集成有四大優點:
對于使用大型向量數據集的 RAG 應用程序,可節省成本
與 Amazon Bedrock 的完全托管式 RAG 工作流程無縫集成
由 Amazon Bedrock 服務處理的自動向量管理
知識庫檢索操作的查詢延遲為亞秒級
Amazon Bedrock 知識庫提供了完全托管式的端到端 RAG 工作流程。使用 S3 Vectors 創建知識庫時,Amazon Bedrock 自動從 S3 數據來源獲取數據,將內容轉換為文本塊,生成嵌入,并將其存儲在向量索引中。然后,可以查詢知識庫,并根據從源數據中檢索的分塊生成響應。
參考資料:
https://docs.amazonaws.cn/zh_cn/AmazonS3/latest/userguide/s3-vectors-bedrock-kb.html
https://www.infoq.cn/article/xb5VDXD96B8sdi8dcqp0