7月4日，騰訊云正式發(fā)布AI 原生（AI Native）向量數(shù)據(jù)庫Tencent Cloud VectorDB。該數(shù)據(jù)庫能夠被廣泛應(yīng)用于大模型的訓(xùn)練、推理和知識庫補(bǔ)充等場景，是國內(nèi)首個(gè)從接入層、計(jì)算層、到存儲(chǔ)層提供全生命周期AI化的向量數(shù)據(jù)庫。

(資料圖)

向量數(shù)據(jù)庫專門用于存儲(chǔ)和查詢向量數(shù)據(jù)，業(yè)界稱之為大模型的“海馬體”。據(jù)介紹，騰訊云向量數(shù)據(jù)庫最高支持10億級向量檢索規(guī)模，延遲控制在毫秒級，相比傳統(tǒng)單機(jī)插件式數(shù)據(jù)庫檢索規(guī)模提升10倍，同時(shí)具備百萬級每秒查詢（QPS）的峰值能力。

騰訊云定義AI Native向量數(shù)據(jù)庫

大模型時(shí)代的到來，擁抱大模型成為企業(yè)的剛需。

向量數(shù)據(jù)庫通過把數(shù)據(jù)向量化然后進(jìn)行存儲(chǔ)和查詢，可以極大地提升效率和降低成本。它能解決大模型預(yù)訓(xùn)練成本高、沒有“長期記憶”、知識更新不足、提示詞工程復(fù)雜等問題，突破大模型在時(shí)間和空間上的限制，加速大模型落地行業(yè)場景。

統(tǒng)計(jì)顯示，將騰訊云向量數(shù)據(jù)庫用于大模型預(yù)訓(xùn)練數(shù)據(jù)的分類、去重和清洗相比傳統(tǒng)方式可以實(shí)現(xiàn)10倍效率的提升，如果將向量數(shù)據(jù)庫作為外部知識庫用于模型推理，則可以將成本降低2-4個(gè)數(shù)量級。

值得關(guān)注的是，騰訊云重新定義了AI Native的開發(fā)范式，提供了接入層、計(jì)算層、存儲(chǔ)層的全面AI化解決方案，使用戶在使用向量數(shù)據(jù)庫的全生命周期，都能應(yīng)用到AI能力。

具體而言，在接入層，騰訊云向量數(shù)據(jù)庫支持自然語言文本的輸入，同時(shí)采用“標(biāo)量+向量”的查詢方式，支持全內(nèi)存索引，最高支持每秒百萬的查詢量（QPS）；在計(jì)算層，AI Native開發(fā)范式能實(shí)現(xiàn)全量數(shù)據(jù)AI計(jì)算，一站式解決企業(yè)在搭建私域知識庫時(shí)的文本切分（segment）、向量化（embedding）等難題；在存儲(chǔ)層，騰訊云向量數(shù)據(jù)庫支持?jǐn)?shù)據(jù)智能存儲(chǔ)分布，助力企業(yè)存儲(chǔ)成本降低50%。

企業(yè)原先接入一個(gè)大模型需要花1個(gè)月左右時(shí)間，使用騰訊云向量數(shù)據(jù)庫后，3天時(shí)間即可完成，極大降低了企業(yè)的接入成本。

據(jù)了解，騰訊云向量數(shù)據(jù)庫的向量化能力（embedding）曾多次獲得權(quán)威機(jī)構(gòu)認(rèn)可，2021年曾登頂MS MARCO榜單第一、相關(guān)成果已發(fā)表于NLP頂會(huì)ACL。

騰訊云數(shù)據(jù)庫副總經(jīng)理羅云表示，AI Native（AI原生）時(shí)代已經(jīng)到來，“向量數(shù)據(jù)庫+大模型+數(shù)據(jù)”，三者將產(chǎn)生“飛輪效應(yīng)”，共同助力企業(yè)步入AI Native（AI原生）時(shí)代。

騰訊云向量數(shù)據(jù)庫助力數(shù)據(jù)接入效率提升10倍

騰訊云向量數(shù)據(jù)庫基于騰訊集團(tuán)每日處理千億次檢索的向量引擎（OLAMA），經(jīng)過騰訊內(nèi)部海量場景的實(shí)踐，數(shù)據(jù)接入AI的效率也比傳統(tǒng)方案提升10倍，運(yùn)行穩(wěn)定性高達(dá)99.99%，目前已經(jīng)應(yīng)用在了騰訊視頻、QQ瀏覽器、QQ音樂等30多款國民級產(chǎn)品中。

騰訊云向量數(shù)據(jù)庫能有效助力產(chǎn)品提升運(yùn)營效率。數(shù)據(jù)顯示，使用騰訊云向量數(shù)據(jù)庫后，QQ音樂人均聽歌時(shí)長提升3.2%、騰訊視頻有效曝光人均時(shí)長提升1.74%、QQ瀏覽器成本降低37.9%。

以騰訊視頻的應(yīng)用為例，視頻庫中的圖片、音頻、標(biāo)題文本等內(nèi)容使用騰訊云向量數(shù)據(jù)庫，月均完成的檢索和計(jì)算量高達(dá)200億次，有效滿足了版權(quán)保護(hù)、原創(chuàng)識別、相似性檢索等場景需求。

大模型加速向量數(shù)據(jù)庫進(jìn)入飛速發(fā)展期，據(jù)東北證券預(yù)測，到2030年，全球向量數(shù)據(jù)庫市場規(guī)模有望達(dá)到500億美元，國內(nèi)向量數(shù)據(jù)庫市場規(guī)模有望超過600億人民幣。

向量數(shù)據(jù)庫可以幫助企業(yè)更高效、便捷地使用大模型，將數(shù)據(jù)的價(jià)值釋放到最大，隨著大模型的不斷發(fā)展和普及，AI Native向量數(shù)據(jù)庫將成為企業(yè)數(shù)據(jù)處理的標(biāo)配。

標(biāo)簽：