反向图像搜索
反向圖像搜索（以图搜图）是一種基於圖像檢索(CBIR)的查詢技術，它涉及為 CBIR 系統提供樣本圖像，然後系統將基於該樣本圖像進行搜索；在信息檢索方面，樣本圖像在其方式上非常有用。特別是，反向圖像搜索的特點是缺少搜索詞。這有效地消除了用戶猜測可能會或可能不會返回正確結果的關鍵字或術語的需要。反向圖像搜索還允許用戶發現與特定樣本圖像相關的內容，圖像的流行度，並發現操縱版本和衍生作品。
在熱門搜索系統中的應用
[编辑]Google圖片搜尋
[编辑]
Google圖片搜尋的Search by Image是一種使用反向圖像搜索的功能，允許用戶通過上傳圖像或複製圖像 URL 來搜索相關圖像。谷歌通過分析提交的圖片並為其構建數學模型來實現這一點。然後將其與穀歌數據庫中的其他圖像進行比較，然後返回匹配和相似的結果。如果可用，Google 還會使用有關圖像的元數據，例如描述。2022 年，該功能被Google Lens取代，成為 Google 的默認視覺搜索方法。
TinEye
[编辑]TinEye是專門用於反向圖像搜索的搜索引擎。提交圖像後，TinEye 會為該圖像創建一個“獨特且緊湊的數字簽名或指紋”，並將其與其他索引圖像進行匹配。這個過程甚至能夠匹配提交圖像的非常編輯版本，但通常不會在結果中返回相似的圖像。
eBay
[编辑]eBay ShopBot 使用反向圖像搜索通過用戶上傳的照片查找產品。eBay 使用 ResNet-50 網絡進行類別識別，圖像哈希存儲在Google Bigtable中；Apache Spark作業由Google Cloud Dataproc運營，用於圖像哈希提取；圖像排名服務由Kubernetes部署。[1]
SK Planet
[编辑]SK Planet使用反向圖像搜索在其電子商務網站上查找相關時尚商品。它基於TensorFlow inception-v3開發了視覺編碼器網絡，具有生產使用的收斂速度和泛化能力。循環神經網絡用於多類分類，時尚產品感興趣區域檢測基於Faster R-CNN。SK Planet 的反向圖像搜索系統是在不到 100月的工時內建成的。[2]
阿里巴巴
[编辑]阿里巴巴於 2014 年發布了拍立淘應用程序。拍立淘允許用戶通過拍攝查詢對象的照片來搜索阿里巴巴電子商務平台上的商品。Pailitao 應用程序使用帶有分支的深度 CNN 模型進行聯合檢測和特徵學習，以在沒有背景干擾的情況下發現檢測掩碼和準確的判別特徵。GoogLeNet V1 被用作類別預測和特徵學習的基礎模型。[3][4]
Pinterest於 2014 年收購了初創公司VisualGraph，並在其平台上引入了視覺搜索。[5] 2015年，Pinterest在ACM Conference on Knowledge Discovery and Data Mining大會上發表論文，公開了系統的架構。該管道使用Apache Hadoop、開源Caffe 卷積神經網絡框架、用於批處理的Cascading 、用於消息傳遞的PinLater和用於存儲的Apache HBase 。提取圖像特徵，包括局部特徵、深度特徵、顯著顏色特徵和顯著像素來自用戶上傳。該系統由Amazon EC2運行，只需要一個由 5 個 GPU 實例組成的集群來處理所有每天上傳到 Pinterest 的圖像。通過使用反向圖像搜索，Pinterest 能夠從時尚物品（例如鞋子、裙子、眼鏡、包、手錶、褲子、短褲、比基尼、耳環）中提取視覺特徵，並提供看起來相似的產品推薦。[6][7]
京東
[编辑]京東在Middleware '18大會上公開了其實時視覺搜索系統的設計與實現。同行評議的論文重點介紹了京東的分佈式分層圖像特徵提取、索引和檢索系統所使用的算法，該系統擁有 3 億日活躍用戶。該系統在 2018 年部署到生產環境時，每小時能夠維持 8000 萬次數據庫更新。[8]
微軟Bing
[编辑]微軟Bing在KDD'18大會上公佈了他們的反向圖片搜索系統架構。該論文指出，用戶提交的查詢圖像的各種特徵用於描述其內容，包括使用深度神經網絡編碼器、類別識別特徵、人臉識別特徵、顏色特徵和重複檢測特徵。[9]
亞馬遜的Amazon Shop the Look
[编辑]亞馬遜公司在 KDD'22 大會上發表一篇描述 Amazon Shop the Look 的時尚和家居產品視覺搜索引擎架構的論文。 該論文還描述亞馬遜在生產環境中部署時的經驗教訓，包括基於圖像合成的數據增強以優化檢索性能和提高準確性。[10]
開源實現
[编辑]2007 年，Puzzle 庫以ISC許可證發布。Puzzle 旨在提供視覺上相似圖像的反向圖像搜索，即使圖像已調整大小、重新壓縮、重新著色和/或稍作修改。[11]
image-match 開源項目於 2016 年發布。該項目在 Apache 許可證下獲得許可，實現了一個用Python編寫的反向圖像搜索引擎。[12]
Puzzle 庫和image-match項目都使用在 2002 年 IEEE ICIP 會議上發布的算法。[13]
2019 年，歐萊禮媒體出版的一本書描述如何在幾個小時內構建一個簡單的反向圖像搜索系統。這本書涵蓋了圖像特徵提取和相似性搜索，以及更進階的主題，包括使用 GPU 加速和搜索準確性改進調整。[14] 該系統的代碼在GitHub上開源發放。[15]
參見
[编辑]
參考文獻
[编辑]- ^ Yang, Fan; Kale, Ajinkya; Bubnov, Yury; Stein, Leon; Wang, Qiaosong; Kiapour, Hadi; Piramuthu, Robinson. Visual Search at eBay. acm.org. 2017: 2101–2110 [2023-02-05]. ISBN 9781450348874. S2CID 22367645. arXiv:1706.03154
. doi:10.1145/3097983.3098162. （原始内容存档于2019-03-10）.
- ^ Visual Fashion-Product Search at SK Planet. [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ Zhang, Yanhao; Pan, Pan; Zheng, Yun; Zhao, Kang; Zhang, Yingya; Ren, Xiaofeng; Jin, Rong. Visual Search at Alibaba. acm.org. 2018: 993–1001 [2023-02-05]. ISBN 9781450355520. S2CID 50776405. arXiv:2102.04674 . doi:10.1145/3219819.3219820. （原始内容存档于2019-03-10）.
- ^ Shopping With Your Camera: Visual Image Search Meets E-Commerce at Alibaba. Alibaba Tech. September 2020 [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ Josh Constine. Pinterest Acquires Image Recognition And Visual Search Startup VisualGraph. TechCrunch. AOL. 6 January 2014 [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ Jing, Yushi; Liu, David; Kislyuk, Dmitry; Zhai, Andrew; Xu, Jiajing; Donahue, Jeff; Tavel, Sarah. Visual Search at Pinterest. acm.org. 2015: 1889–1898 [2023-02-05]. ISBN 9781450336642. S2CID 1153609. doi:10.1145/2783258.2788621. （原始内容存档于2019-03-10）.
- ^ Building a scalable machine vision pipeline. Pinterest Engineering. （原始内容存档于2015-09-06）.
- ^ Li, Jie; Liu, Haifeng; Gui, Chuanghua; Chen, Jianyu; Ni, Zhenyuan; Wang, Ning; Chen, Yuan. The Design and Implementation of a Real Time Visual Search System on JD E-commerce Platform. acm.org. 2018: 9–16. ISBN 9781450360166. S2CID 53713854. arXiv:1908.07389 . doi:10.1145/3284028.3284030.
- ^ Hu, Houdong; Wang, Yan; Yang, Linjun; Komlev, Pavel; Huang, Li; Chen, Xi (Stephen); Huang, Jiapei; Wu, Ye; Merchant, Meenaz; Sacheti, Arun. Web-Scale Responsive Visual Search at Bing. acm.org. 2018: 359–367 [2023-02-05]. ISBN 9781450355520. S2CID 3427399. doi:10.1145/3219819.3219843. （原始内容存档于2023-02-05）.
- ^ Amazon Shop the Look: A Visual Search System for Fashion and Home. [2023-06-18]. （原始内容存档于2023-06-06）.
- ^ The Puzzle library. [2023-02-05]. （原始内容存档于2023-02-05）.
- ^ ProvenanceLabs / image-match. [2023-02-05]. （原始内容存档于2022-08-14）.
- ^ An image signature for any kind of image. [2023-02-05]. （原始内容存档于2022-10-07）.
- ^ Koul, Anirudh. Chapter 4. Building a Reverse Image Search Engine: Understanding Embeddings. Practical Deep Learning for Cloud, Mobile, and Edge. O'Reilly Media. October 2019 [2023-02-05]. ISBN 9781492034865. （原始内容存档于2023-01-29）.
- ^ Practical-Deep-Learning-Book source repository. [2023-02-05]. （原始内容存档于2023-02-09）.
