開放搜索簡(jiǎn)介
開放搜索是阿里集團(tuán)搜索業(yè)務(wù)中臺(tái)AIOS體系打造的智能搜索云平臺(tái)。 目前阿里集團(tuán)內(nèi)500+業(yè)務(wù)接入，主要包括釘釘、盒馬、菜鳥口碑等，整個(gè)集群在索引的文檔數(shù)量已經(jīng)超過(guò)了600億 ，日均的PV已經(jīng)超過(guò)了百億。在雙十一當(dāng)天查詢的QPS分值超過(guò)了百萬(wàn)，文檔實(shí)時(shí)更新TPS峰值15萬(wàn)+ ，并且整個(gè)服務(wù)非常平穩(wěn)，沒(méi)有任何降級(jí)。在2014年開放搜索正式通過(guò)阿里云進(jìn)行商業(yè)化輸出。
一站式智能搜索業(yè)務(wù)開發(fā)平臺(tái)
開放搜索產(chǎn)品優(yōu)勢(shì)：
- 相比于開源和自建的搜索，在核心引擎上面更穩(wěn)定，更高性能；
- 達(dá)摩院多年在NLP領(lǐng)域相關(guān)積累，通過(guò)查詢分析和排序搜索等形式開放，使用戶在初始階段就具備了一個(gè)高質(zhì)量搜索效果；
- 搜索引導(dǎo)功能支持千人千面；
- 強(qiáng)開放性，支持多種定制的手段，可以有內(nèi)置的模型，也可以回流用戶自己的模型。
- 免運(yùn)維，無(wú)需做運(yùn)維操；
AI.OS引擎系統(tǒng)
阿里巴巴搜索推薦事業(yè)部自研的AI.OS技術(shù)體系服務(wù)于阿里集團(tuán)內(nèi)部90%以上的搜索業(yè)務(wù)，AI.OS系統(tǒng)天生具有彈性擴(kuò)縮容，故障快速恢復(fù)的能力，比自建或開源的系統(tǒng)更加穩(wěn)定、更加高效，能夠支持海量的數(shù)據(jù)處理。
電商/O2O場(chǎng)景搜索常見(jiàn)問(wèn)題
電商行業(yè)智能搜索系統(tǒng)
query處理流程
用戶在搜索框中輸入查詢?cè)~，然后后端的系統(tǒng)根據(jù)對(duì)它進(jìn)行分析，分析的結(jié)果發(fā)送給搜索引擎，找到用戶想要的商品做排序返回用戶最想要的商品，最后將這些商品做一些人工干預(yù)，或者是直接最終返回的搜索結(jié)果頁(yè)給用戶展示出來(lái)。
如何構(gòu)建電商行業(yè)智能搜索系統(tǒng)
如果我們從零開始去構(gòu)建一個(gè)電商行業(yè)的智能搜索系統(tǒng)，我們需要解決哪些問(wèn)題那？
- 商品如何建庫(kù)？ 如何準(zhǔn)確的理解用戶的查詢意圖？
- 如何為用戶提供個(gè)性化的搜索體驗(yàn)？
- 如何根據(jù)用戶的查詢返回最匹配的結(jié)果？
- 常見(jiàn)的功能怎么構(gòu)建？比如下拉提示、熱詞、底紋等；
- 相關(guān)技術(shù)人員問(wèn)題；
開放搜索電商行業(yè)模板搜索架構(gòu)
商品建庫(kù)
電商行業(yè)模板在應(yīng)用結(jié)構(gòu)和索引結(jié)構(gòu)上面為用戶提供了一個(gè)默認(rèn)的模板。 比如說(shuō)將商品常用的字段抽象成了它的應(yīng)用結(jié)構(gòu)，并且根據(jù)搜索積累，為這些為電商搜索應(yīng)用創(chuàng)建的對(duì)應(yīng)的，默認(rèn)的索引結(jié)構(gòu)，用戶可能不需要有相關(guān)的領(lǐng)域知識(shí)就可以創(chuàng)建出搜索系統(tǒng)應(yīng)用，查詢分析和用意圖理解方面，并且結(jié)合行業(yè)的特征做針對(duì)性的分詞的優(yōu)化，行業(yè)實(shí)體識(shí)別的優(yōu)化，同義詞糾錯(cuò)的優(yōu)化和類目預(yù)測(cè)的優(yōu)化。
查詢分析鏈路
電商行業(yè)分詞
分詞是影響搜索效果的最基礎(chǔ)的模塊。開放搜索集成了淘寶搜索同款的電商分詞器，訓(xùn)練語(yǔ)料來(lái)自淘寶搜索多年積累的百萬(wàn)級(jí)有標(biāo)注的電商行業(yè)數(shù)據(jù)。
分詞效果對(duì)比：
電商語(yǔ)義理解
命名實(shí)體識(shí)別
電商N(yùn)ER問(wèn)題定義
對(duì)電商Query和標(biāo)題進(jìn)行實(shí)體詞打標(biāo)識(shí)別其中的品牌、品類、品類修飾、型號(hào)、款式等40種類別 ；
難點(diǎn)
- 品牌更新快歧義大；
例：播（女裝品牌）、老爸（食品品牌
- 品類存在修飾關(guān)系 ；
例：華為手機(jī)（品類修飾）透明手機(jī)殼（品類）
解決思路
- 現(xiàn)有框架知識(shí)庫(kù)更新
基于老模型鏈路重新構(gòu)建全量知識(shí)庫(kù)，F(xiàn)1 69 -> 74
- 標(biāo)注訓(xùn)練數(shù)據(jù)，使用神經(jīng)網(wǎng)絡(luò)模型
標(biāo)注10萬(wàn)條數(shù)據(jù)，耗時(shí)4個(gè)月，BiLSTM-CRF模型，F(xiàn)1 74 -> 78
- 神經(jīng)網(wǎng)絡(luò)模型結(jié)合知識(shí)庫(kù)
技術(shù)創(chuàng)新GraphNER框架結(jié)合監(jiān)督模型與知識(shí)庫(kù)，F(xiàn)1 78 -> 82
查詢分析行業(yè)增強(qiáng)版效果
query改寫
- 文本query
針對(duì)查詢?cè)~處理之后改寫的query
- 個(gè)性化query
在查詢?cè)~改寫基礎(chǔ)之上引入個(gè)性化信息，比如u2i，i2i，u2s2等
- 向量query
在查詢?cè)~改寫基礎(chǔ)之上引入向量信息，需要對(duì)查詢?cè)~進(jìn)行向量化
多路召回技術(shù)
電商排序
支持兩輪排序機(jī)制，粗排和精排
粗排參與的文檔數(shù)量比較多，可能是幾萬(wàn)到幾十萬(wàn)量級(jí)，所以對(duì)排序的耗時(shí)要求比較嚴(yán)格，從而導(dǎo)致它能使用的特征就比較少。
精排參與的排序的數(shù)量比較少，所以打分使用特征可以多一些。
定制排序-Cava腳本
Cava與排序表達(dá)式相比有更高的靈活性和開放性，方便用戶自由的定制自己的排序規(guī)則，它是開放搜索自己研發(fā)的一個(gè)類java 的語(yǔ)言，性能和C++相當(dāng)，支持面向?qū)ο蟮某毯图磿r(shí)編譯；不同的數(shù)據(jù)類型支持類的定義，多種運(yùn)算符和一些簡(jiǎn)單的控流程控制語(yǔ)句。
另外一個(gè)很重要的部分是在開發(fā)語(yǔ)言的基礎(chǔ)之上，開放搜索封裝了通用的排序特征和為了方便用戶開發(fā)排序新的排序特征，也封了一些框架類的相關(guān)特征。 通過(guò)這些特征，用戶可以直接在腳本中引用，從而開發(fā)出自己新的排序腳本，大大簡(jiǎn)化了開發(fā)成本。
搜索引導(dǎo)功能
內(nèi)置熱搜、底紋、下拉提示多樣搜索引導(dǎo)算法模型，無(wú)需開發(fā)系統(tǒng)每天自動(dòng)訓(xùn)練模型，對(duì)用戶搜索意圖起到重要的引導(dǎo)作用，大大降低后續(xù)查詢意圖理解、相關(guān)性、排序、運(yùn)營(yíng)干預(yù)等環(huán)節(jié)的調(diào)優(yōu)難度，對(duì)提升整體業(yè)務(wù)目標(biāo)可以起到非常好的鋪墊作用。
搜索前引導(dǎo)：
搜索中引導(dǎo)：
電商行業(yè)模板實(shí)踐案例
案例1客戶情況：
某電商購(gòu)物平臺(tái)， 與淘寶天貓等一線商家合作，每日選擇優(yōu)惠券供用戶領(lǐng)取使用,導(dǎo)購(gòu)電商行業(yè)排名前TOP5；
行業(yè)模板應(yīng)用效果：
-
- 功能和性能遠(yuǎn)超同類競(jìng)品，無(wú)結(jié)果率下降20%，CTR絕對(duì)值提升3%；
- 工程架構(gòu)類開發(fā)和系統(tǒng)運(yùn)維人力成本降低，團(tuán)隊(duì)成員專注業(yè)務(wù)開發(fā)，幫助業(yè)務(wù)發(fā)展速度更快；
- 搜索引導(dǎo)成交的GMV顯著提升；
案例2客戶情況：
某上市的電商分期購(gòu)物平臺(tái)，為年輕人提供正規(guī)化、透明化、個(gè)性化的消費(fèi)金融產(chǎn)品與服務(wù)；
行業(yè)模板應(yīng)用效果：
-
- 商品交易額增長(zhǎng)：通過(guò)搜索服務(wù)增加了商品曝光率，帶動(dòng)商品下單轉(zhuǎn)化，轉(zhuǎn)化率同比增長(zhǎng)15% 訂單轉(zhuǎn)化提升：
- 從商品詳情頁(yè)到下單頁(yè)的轉(zhuǎn)化率同比增長(zhǎng)20% 接口性能大幅提升；
- 搜索接口耗時(shí)從100ms降低到20ms 使企業(yè)能夠?qū)①Y源精力著重投入到用戶拉新、升級(jí)現(xiàn)金業(yè)務(wù)等的核心業(yè)務(wù)上；
- 彈性擴(kuò)容，預(yù)估容量峰值，滿足雙十一大促等特殊時(shí)段的搜索服務(wù)需求；
聲明：本文由網(wǎng)站用戶香香發(fā)表，超夢(mèng)電商平臺(tái)僅提供信息存儲(chǔ)服務(wù)，版權(quán)歸原作者所有。若發(fā)現(xiàn)本站文章存在版權(quán)問(wèn)題，如發(fā)現(xiàn)文章、圖片等侵權(quán)行為，請(qǐng)聯(lián)系我們刪除。
