開(kāi)放搜索簡(jiǎn)介

開(kāi)放搜索是阿里集團(tuán)搜索業(yè)務(wù)中臺(tái)AIOS體系打造的智能搜索云平臺(tái)。目前阿里集團(tuán)內(nèi)500+業(yè)務(wù)接入，主要包括釘釘、盒馬、菜鳥(niǎo)口碑等，整個(gè)集群在索引的文檔數(shù)量已經(jīng)超過(guò)了600億，日均的PV已經(jīng)超過(guò)了百億。在雙十一當(dāng)天查詢的QPS分值超過(guò)了百萬(wàn)，文檔實(shí)時(shí)更新TPS峰值15萬(wàn)+ ，并且整個(gè)服務(wù)非常平穩(wěn)，沒(méi)有任何降級(jí)。在2014年開(kāi)放搜索正式通過(guò)阿里云進(jìn)行商業(yè)化輸出。

一站式智能搜索業(yè)務(wù)開(kāi)發(fā)平臺(tái)

阿里大數(shù)據(jù)官網(wǎng)（盤(pán)點(diǎn)阿里大數(shù)據(jù)查詢平臺(tái)有哪些）

開(kāi)放搜索產(chǎn)品優(yōu)勢(shì)：

相比于開(kāi)源和自建的搜索，在核心引擎上面更穩(wěn)定，更高性能；
達(dá)摩院多年在NLP領(lǐng)域相關(guān)積累，通過(guò)查詢分析和排序搜索等形式開(kāi)放，使用戶在初始階段就具備了一個(gè)高質(zhì)量搜索效果；
搜索引導(dǎo)功能支持千人千面；
強(qiáng)開(kāi)放性，支持多種定制的手段，可以有內(nèi)置的模型，也可以回流用戶自己的模型。
免運(yùn)維，無(wú)需做運(yùn)維操；

AI.OS引擎系統(tǒng)

阿里巴巴搜索推薦事業(yè)部自研的AI.OS技術(shù)體系服務(wù)于阿里集團(tuán)內(nèi)部90%以上的搜索業(yè)務(wù)，AI.OS系統(tǒng)天生具有彈性擴(kuò)縮容，故障快速恢復(fù)的能力，比自建或開(kāi)源的系統(tǒng)更加穩(wěn)定、更加高效，能夠支持海量的數(shù)據(jù)處理。

電商/O2O場(chǎng)景搜索常見(jiàn)問(wèn)題

電商行業(yè)智能搜索系統(tǒng)

query處理流程

用戶在搜索框中輸入查詢?cè)~，然后后端的系統(tǒng)根據(jù)對(duì)它進(jìn)行分析，分析的結(jié)果發(fā)送給搜索引擎，找到用戶想要的商品做排序返回用戶最想要的商品，最后將這些商品做一些人工干預(yù)，或者是直接最終返回的搜索結(jié)果頁(yè)給用戶展示出來(lái)。

如何構(gòu)建電商行業(yè)智能搜索系統(tǒng)

如果我們從零開(kāi)始去構(gòu)建一個(gè)電商行業(yè)的智能搜索系統(tǒng)，我們需要解決哪些問(wèn)題那？

商品如何建庫(kù)？如何準(zhǔn)確的理解用戶的查詢意圖？
如何為用戶提供個(gè)性化的搜索體驗(yàn)？
如何根據(jù)用戶的查詢返回最匹配的結(jié)果？
常見(jiàn)的功能怎么構(gòu)建？比如下拉提示、熱詞、底紋等；
相關(guān)技術(shù)人員問(wèn)題；

開(kāi)放搜索電商行業(yè)模板搜索架構(gòu)

商品建庫(kù)

電商行業(yè)模板在應(yīng)用結(jié)構(gòu)和索引結(jié)構(gòu)上面為用戶提供了一個(gè)默認(rèn)的模板。比如說(shuō)將商品常用的字段抽象成了它的應(yīng)用結(jié)構(gòu)，并且根據(jù)搜索積累，為這些為電商搜索應(yīng)用創(chuàng)建的對(duì)應(yīng)的，默認(rèn)的索引結(jié)構(gòu)，用戶可能不需要有相關(guān)的領(lǐng)域知識(shí)就可以創(chuàng)建出搜索系統(tǒng)應(yīng)用，查詢分析和用意圖理解方面，并且結(jié)合行業(yè)的特征做針對(duì)性的分詞的優(yōu)化，行業(yè)實(shí)體識(shí)別的優(yōu)化，同義詞糾錯(cuò)的優(yōu)化和類(lèi)目預(yù)測(cè)的優(yōu)化。

查詢分析鏈路

電商行業(yè)分詞

分詞是影響搜索效果的最基礎(chǔ)的模塊。開(kāi)放搜索集成了淘寶搜索同款的電商分詞器，訓(xùn)練語(yǔ)料來(lái)自淘寶搜索多年積累的百萬(wàn)級(jí)有標(biāo)注的電商行業(yè)數(shù)據(jù)。

分詞效果對(duì)比：

電商語(yǔ)義理解

命名實(shí)體識(shí)別

電商N(yùn)ER問(wèn)題定義

對(duì)電商Query和標(biāo)題進(jìn)行實(shí)體詞打標(biāo)識(shí)別其中的品牌、品類(lèi)、品類(lèi)修飾、型號(hào)、款式等40種類(lèi)別；

難點(diǎn)

品牌更新快歧義大；

例：播（女裝品牌）、老爸（食品品牌

品類(lèi)存在修飾關(guān)系；

例：華為手機(jī)（品類(lèi)修飾）透明手機(jī)殼（品類(lèi)）

解決思路

現(xiàn)有框架知識(shí)庫(kù)更新

基于老模型鏈路重新構(gòu)建全量知識(shí)庫(kù)，F(xiàn)1 69 -> 74

標(biāo)注訓(xùn)練數(shù)據(jù)，使用神經(jīng)網(wǎng)絡(luò)模型

標(biāo)注10萬(wàn)條數(shù)據(jù)，耗時(shí)4個(gè)月，BiLSTM-CRF模型，F(xiàn)1 74 -> 78

神經(jīng)網(wǎng)絡(luò)模型結(jié)合知識(shí)庫(kù)

技術(shù)創(chuàng)新GraphNER框架結(jié)合監(jiān)督模型與知識(shí)庫(kù)，F(xiàn)1 78 -> 82

查詢分析行業(yè)增強(qiáng)版效果

query改寫(xiě)

文本query

針對(duì)查詢?cè)~處理之后改寫(xiě)的query

個(gè)性化query

在查詢?cè)~改寫(xiě)基礎(chǔ)之上引入個(gè)性化信息，比如u2i，i2i，u2s2等

向量query

在查詢?cè)~改寫(xiě)基礎(chǔ)之上引入向量信息，需要對(duì)查詢?cè)~進(jìn)行向量化

多路召回技術(shù)

電商排序

支持兩輪排序機(jī)制，粗排和精排

粗排參與的文檔數(shù)量比較多，可能是幾萬(wàn)到幾十萬(wàn)量級(jí)，所以對(duì)排序的耗時(shí)要求比較嚴(yán)格，從而導(dǎo)致它能使用的特征就比較少。

精排參與的排序的數(shù)量比較少，所以打分使用特征可以多一些。

定制排序-Cava腳本

Cava與排序表達(dá)式相比有更高的靈活性和開(kāi)放性，方便用戶自由的定制自己的排序規(guī)則，它是開(kāi)放搜索自己研發(fā)的一個(gè)類(lèi)java 的語(yǔ)言，性能和C++相當(dāng)，支持面向?qū)ο蟮某毯图磿r(shí)編譯；不同的數(shù)據(jù)類(lèi)型支持類(lèi)的定義，多種運(yùn)算符和一些簡(jiǎn)單的控流程控制語(yǔ)句。

另外一個(gè)很重要的部分是在開(kāi)發(fā)語(yǔ)言的基礎(chǔ)之上，開(kāi)放搜索封裝了通用的排序特征和為了方便用戶開(kāi)發(fā)排序新的排序特征，也封了一些框架類(lèi)的相關(guān)特征。通過(guò)這些特征，用戶可以直接在腳本中引用，從而開(kāi)發(fā)出自己新的排序腳本，大大簡(jiǎn)化了開(kāi)發(fā)成本。

搜索引導(dǎo)功能

內(nèi)置熱搜、底紋、下拉提示多樣搜索引導(dǎo)算法模型，無(wú)需開(kāi)發(fā)系統(tǒng)每天自動(dòng)訓(xùn)練模型，對(duì)用戶搜索意圖起到重要的引導(dǎo)作用，大大降低后續(xù)查詢意圖理解、相關(guān)性、排序、運(yùn)營(yíng)干預(yù)等環(huán)節(jié)的調(diào)優(yōu)難度，對(duì)提升整體業(yè)務(wù)目標(biāo)可以起到非常好的鋪墊作用。

搜索前引導(dǎo)：

搜索中引導(dǎo)：

電商行業(yè)模板實(shí)踐案例

案例1客戶情況：

某電商購(gòu)物平臺(tái)，與淘寶天貓等一線商家合作，每日選擇優(yōu)惠券供用戶領(lǐng)取使用,導(dǎo)購(gòu)電商行業(yè)排名前TOP5；

行業(yè)模板應(yīng)用效果：

- 功能和性能遠(yuǎn)超同類(lèi)競(jìng)品，無(wú)結(jié)果率下降20%，CTR絕對(duì)值提升3%；
- 工程架構(gòu)類(lèi)開(kāi)發(fā)和系統(tǒng)運(yùn)維人力成本降低，團(tuán)隊(duì)成員專(zhuān)注業(yè)務(wù)開(kāi)發(fā)，幫助業(yè)務(wù)發(fā)展速度更快；
- 搜索引導(dǎo)成交的GMV顯著提升；

案例2客戶情況：

某上市的電商分期購(gòu)物平臺(tái)，為年輕人提供正規(guī)化、透明化、個(gè)性化的消費(fèi)金融產(chǎn)品與服務(wù)；

行業(yè)模板應(yīng)用效果：

- 商品交易額增長(zhǎng)：通過(guò)搜索服務(wù)增加了商品曝光率，帶動(dòng)商品下單轉(zhuǎn)化，轉(zhuǎn)化率同比增長(zhǎng)15% 訂單轉(zhuǎn)化提升：
- 從商品詳情頁(yè)到下單頁(yè)的轉(zhuǎn)化率同比增長(zhǎng)20% 接口性能大幅提升；
- 搜索接口耗時(shí)從100ms降低到20ms 使企業(yè)能夠?qū)①Y源精力著重投入到用戶拉新、升級(jí)現(xiàn)金業(yè)務(wù)等的核心業(yè)務(wù)上；
- 彈性擴(kuò)容，預(yù)估容量峰值，滿足雙十一大促等特殊時(shí)段的搜索服務(wù)需求；