Yandex的多模態(tài)搜索支持圖片、物體及實(shí)時(shí)場景識別。用戶可拍照或上傳圖片搜索信息、商品、文本內(nèi)容(OCR),或通過AR功能識別地標(biāo)、植物等,實(shí)現(xiàn)“所見即所得”的智能信息獲取,提升搜索便捷性與直觀性。

功能定義: 超越傳統(tǒng)關(guān)鍵詞搜索,允許用戶使用圖片、攝像頭實(shí)時(shí)畫面或手機(jī)拍攝的物體/場景作為搜索輸入,Yandex利用計(jì)算機(jī)視覺技術(shù)識別內(nèi)容并返回相關(guān)信息。
核心能力:
圖片搜索: 上傳圖片或輸入圖片URL,查找相似圖片、圖片來源、相關(guān)商品或信息。
物體識別: 用攝像頭對準(zhǔn)物體(如書籍、商品、植物、寵物、藝術(shù)品),即時(shí)識別并提供詳情、購買鏈接或百科知識。
實(shí)時(shí)AR搜索: 通過手機(jī)攝像頭掃描周圍環(huán)境,可識別地標(biāo)建筑、商店招牌、海報(bào)信息等,疊加顯示相關(guān)搜索結(jié)果。
OCR文本提取: 自動(dòng)識別圖片或?qū)嵨镏械挠∷⒒蚴謱懳淖?如文檔、名片、菜單、路牌),支持提取、翻譯或搜索該文本內(nèi)容。
關(guān)鍵應(yīng)用場景:
購物比價(jià): 拍下心儀商品,直接查找在線購買渠道及價(jià)格。
旅行探索: 識別陌生地標(biāo)、植物、菜單文字,獲取翻譯或背景信息。
信息溯源: 查找網(wǎng)絡(luò)圖片出處或驗(yàn)證信息真?zhèn)巍?/p>
文檔處理: 快速掃描并提取文件、名片上的文字信息。
學(xué)習(xí)研究: 識別書籍封面獲取資料,或翻譯外文文獻(xiàn)片段。
技術(shù)優(yōu)勢:
深度集成AI: 基于Yandex先進(jìn)的計(jì)算機(jī)視覺和深度學(xué)習(xí)模型,識別精度高、響應(yīng)速度快。
跨模態(tài)轉(zhuǎn)換: 無縫連接視覺輸入與文本、鏈接、知識圖譜等搜索結(jié)果。
本地化優(yōu)化: 對俄語及東歐地區(qū)常見的物體、場景、文字識別有特別優(yōu)化。
用戶體驗(yàn)提升: 極大地簡化了搜索流程,尤其適用于難以用文字描述的對象或場景,讓搜索更直觀、高效,是Yandex區(qū)別于其他搜索引擎的核心特色功能之一。