エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。
エムスリー のAI・機械学習チームでは情報検索論文輪読会を隔週で行っています。MLエンジニアだけでなく、ソフトウェアエンジニアも参加しているのが弊社の論文読み会の特徴で、専門関係なくチーム全体で情報検索/推薦に関する知識を高めていく場になっています。
最近、情報検索論文輪読会の特別企画としてSIGIR'21ワイワイ祭を開催しました。各々が1つのセッションを選び、そのセッション内の全ての論文をまとめて発表する祭です。今回はAI・機械学習チームメンバーが担当したセッションごとに、推し論文の紹介をしていきます。
- Optimizing Dense Retrieval Model Training with Hard Negatives
- Clicks can be Cheating: Counterfactual Recommendation for Mitigating Clickbait Issue
- PreSizE: Predicting Size in E-Commerce using Transformers
- Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
- Bootstrapping User and Item Representations for One-Class Collaborative Filtering
- An Image is Worth a Thousand Terms? Analysis of Visual E-Commerce Search
- まとめ
- We are hiring!
Optimizing Dense Retrieval Model Training with Hard Negatives
- セッション: IR Models
- 論文リンク: https://dl.acm.org/doi/abs/10.1145/3404835.3462880
- 紹介者: 中村(ソフトウェアエンジニア/主に検索基盤担当)
推しポイント
検索におけるランキング学習時のネガティブサンプリングについてあまり深く考えたことがなかった人は必見です。 ランキング学習には様々なネガティブサンプリング手法がありますが、この論文ではRandam Negative Samplingや現在主流のStatic Hard Negative Samplingの問題点を指摘した上で、その問題を解決するネガティブサンプリング手法を提案した論文です。
この論文ではStatic Hard Negative Sampling(warm-up時にネガティブサンプリングを固定する手法)にNegative Random Samplingを合わせて学習を安定させる方法や、学習中にNegative Samplingを動的に変えていくDynamic Hard Negative Samplingを使った学習モデルADOREを提案しています。
ADOREでは事前にトレーニングされたドキュメントエンコーダーを使って、クエリエンコーダーをトレーニングすることにより短いクエリでもドキュメントの埋め込みに近い分散表現の獲得に成功しています。下はADOREの概要図です。
ランキング学習におけるNegative Samplingを数式で丁寧に問題点を指摘しているので、今後ネガティブサンプリングを考えるときの支えになるでしょう。
Clicks can be Cheating: Counterfactual Recommendation for Mitigating Clickbait Issue
- セッション: Click models and prediction
- 論文リンク: https://dl.acm.org/doi/10.1145/3404835.3462962
- 紹介者: 池嶋 (機械学習エンジニア)
誇大タイトルや過剰に興味を引くようなサムネイル画像を使ってクリックを誘発するクリックベイト記事に「騙されて」クリックしてしまうことはよくあることです。クリックベイト記事はユーザーの体験を損ねるだけでなく、クリック傾向を学習するレコメンドモデルにユーザーの間違った嗜好を学習させる点でも問題になっています。この論文では因果グラフによるconterfactualな手法を用いることで、クリックデータからクリックベイトの影響を軽減したレコメンドを提案しています。
この論文では、誇大タイトル・サムネイルといったExposure特徴の影響をconterfactualな手法を使って定式化し、それをキャンセルするようなレコメンドを実現している点が面白いと感じました。ニュース記事などのレコメンドモデルを開発している方には参考になる考え方だと感じました。
PreSizE: Predicting Size in E-Commerce using Transformers
- セッション: Applications 1
- 論文リンク: https://arxiv.org/abs/2105.01564
- 紹介者: 北川(ソフトウェアエンジニア)
推しポイント
このセッションではApplicationというだけあって、Resultに実際に運用してみた結果を載せているものが多かったので、この分野の素人の僕でもすごいと分かるものが多かったです。 その中で今回選んだ論文はeBayの衣服のサイズ予測の研究です。 この研究ではアイテムに対してTransformerを導入し、ブランドやカテゴリのようなコンテンツベースの属性と購入者の購入履歴の両方を用いてサイズを予測しています。
Transformerを導入することによって、新規のアイテムのコールドスタート問題にも対応できます。
この研究ではアイテムに対してTransformerを導入するというシンプルなアイデアから予測精度をあげること。 また、eBayという大きなプラットフォームでサイズ予測が売り上げに貢献するという意外性があって今回この論文を推させてもらいました。
Adapting Interactional Observation Embedding for Counterfactual Learning to Rank
- セッション: Bias and Counterfactual Learning 2
- 論文リンク: https://dl.acm.org/doi/10.1145/3404835.3462901
- 紹介者: id:Hi_king
CTRから逆算して記事の人気度・評価を出すときに、"上に出てるからクリックされる"などのバイアスを除いて真の人気度を出すための反実仮想機械学習。その中でも、ポジションバイアスだけでなく、"その記事より上に他の記事が何でてるか・クリックされたか"までをモデリングしようという取り組み。
エムスリーでも、記事同士のランキングを作るために、"いつ・どこで・何番目に"出してクリックされたか、というのをコントロールしながらオンライン最適化を行っているが、バイアスを除くことでいろいろな出面のログを統合して活用したいと感じさせる研究。
Bootstrapping User and Item Representations for One-Class Collaborative Filtering
- セッション: Recommendation 2
- 論文リンク:
- 紹介者: 河合(機械学習エンジニア)
「clickした」など単一のフィードバックしか得られないOne-Classなレコメンデーションタスクに対し、SimCLRの拡張であるBUIRフレームワークを提案した論文。
BUIRでは、上図のように2つのEncoder層を用意しSelf-Supervised Learning(SSL)を行う。この枠組はICML 2020にてTing Chenらが提案したSimCLR*1から着想を得ている。
SimCLRは、画像におけるSSLモデルとして、少ない教師ラベル付き学習データから類似する潜在空間を得るよう学習する手法*2である。少ない教師データから学習できるが、画像データの線形変換といったUpsamplingを必要とするだけでなく、そのアーキテクチャ上モデルの学習が難しい事も知られている。BUIRでは、Neighbor Augmentationと呼ばれる、ItemとUserの入力を近傍のデータと確率的に入れ替える事でデータを拡張し、疎結合なデータに対応する*3。また、SimSiam*4やBYOL*5で提案されている、2つのエンコーダを別の更新則を用いて相互に学習させる手法を用いる事で学習の崩壊を防ぐ。BUIRフレームワークを用いる事で、One-Class CFにおいて定番となっている学習データのSamplingなしで既存のCFと同等の精度になる他、より少ないハイパーパラメータを持つDNNモデル等の適用も期待できる。
学習データが少ないOne-Classのタスクに絞らず、SSLのレコメンデーション応用自体発展途上である。しかし、利用シーンは容易にイメージができ、今後が期待されるカテゴリであると思う。 実験で利用しているlight weight GCN以外のDNNモデルや、負の相互作用の仮定が明確な場合などでも高い精度が出せるようになると良さそう。
BUIRは実装が公開されており、以下のGitHub Repositoryより参照できる。実装の公開ありがたい。
An Image is Worth a Thousand Terms? Analysis of Visual E-Commerce Search
- セッション: Searching and Ranking
- 論文リンク: https://dl.acm.org/doi/abs/10.1145/3404835.3462950
- 紹介者: 浮田(機械学習エンジニア)
推しポイント
eBayのアプリ上でのテキスト検索と画像検索に関する大規模なデータを、さまざまな切り口で比較した論文です。例えば
- 時間帯ごとの検索クエリの量を調べると、テキスト検索は日中より夕方のほうが多かったのに対し、画像検索は日中に多かった
- 画像検索の方がテキスト検索よりclick-through rate (CTR) が低い
など、興味深い結果が提示されていました。読み会では、なぜこのような結果が生じているのか、交絡因子が無いかなどの点で議論が盛り上がりました。
この論文は、機械学習を使った解析をする部分は少ないものの、画像とテキスト検索に関する大量の統計データが紹介されており、かなり読み応えがありました。実際に画像検索機能を作っている人はもちろん、そうでない人にとっても面白い論文だと思います。
まとめ
今回はAI・機械学習チームメンバーが面白いと思った推し論文を中心に紹介しました！論文読み会ではいつも気づかないような視点の質問や、着眼点が飛んできたりと、非常に勉強になりました。社内のレコメンドや検索をより良いものにするために今後とも論文読み会を行っていく予定です。
We are hiring!
AI・機械学習チームでは情報検索/推薦分野のタスクが多く、今回紹介したように社内の論文発表会なども活発です。「ちょっと話を聞いてみたいかも」という人はこちらから！ jobs.m3.com
*1:Ting Chen, Simon Kornblith, Mohammad Norouzi, and Geoffrey Hinton. 2020. A simple framework for contrastive learning of visual representations. In ICML
*2:Contrastive Learning
*3:慣用としてのテーブルデータのBootstrapにあたる
*4:Xinlei Chen and Kaiming He. 2021. Exploring Simple Siamese Representation Learning. In CVPR
*5:Jean-Bastien Grill, Florian Strub, Florent Altché, Corentin Tallec, Pierre H Richemond, Elena Buchatskaya, Carl Doersch, Bernardo Avila Pires, Zhaohan Daniel Guo, Mohammad Gheshlaghi Azar, Bilal Piot, Koray Kavukcuoglu, Rémi Munos, and Michal Valko. 2020. Bootstrap your own latent: A new approach to self-supervised learning. In NeurIPS. 21271–21284.
