[2024/05/15]推薦・機械学習勉強会

[Hayashi-Yudai]

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週水曜日に

• 推薦の評価指標について議論したい
• 〇〇っていうライブラリ / フレームワークを導入してみたい
• 他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
• もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。
この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！
会の間に話した内容もここにメモしましょう！

prev: #245

[Hayashi-Yudai]

グラフニューラルネットワーク(GNN)徹底解説！用途と仕組みからPyGでの実装まで

DeNAのkamiさんのGNNに関する包括的な解説記事。グラフに関する導入から始まり

• SpectralなGNN
• SpatialなGNN
• サンプリングを利用したGNN

について先行研究を紹介しながら解説されている。記事の最後には PyTorch Geometric を使った簡単な実装例が紹介されている。

Embeddingモデルを使ったベクトル化のしくみ、fine-tuning手法を解説

文章のベクトル表現の品質を上げるための手法がまとめられているスライド。

[chimuichimu]

RAPIDS cuDF Instantly Accelerates pandas up to 50x on Google Colab

Google Colab で cuDF が使えるようになったらしい

実際に試してみたが、以下の手順だけで使えてかなり簡単だった

• colab で gpu を有効にする
• %load_ext cudf.pandas を実行する
• あとは普通に import pandas as pd して pandas を書く

[hakubishin3]

これまでの検索と生成AI時代の検索

検索のこれまでの歴史の紹介と、生成AIの登場により検索がどう変わっていくかを考察している記事

生成AIの登場によって、検索機能に求められる要求が従来の「関連情報の検索」から「回答の生成」に変わっていく

• 従来：ユーザーのニーズ→知りたいことの入力→検索結果の取得→Webサイトの閲覧→最終的に知りたい情報に到達
• これから：ユーザーのニーズ→クエリの入力→目的の達成

筆者が主張している内容のうち、特にデータ化と滑らかなネクストアクションという部分に共感した。すなわち、データがあるかどうかで体験の実現性に対して強い優位性が生まれること、そしてユーザーのニーズ（真の目的）を達成することを検索を起点に実現することが今後の生成AI時代に対して重要になるのではないか

[nogawanogawa]

Sakana.aiが公開した「Evolutionary Model Merge」手法を「mergekit」で実施してみる

merge-kitなるツールを使うと進化的マージがいじれちゃうらしい、すごい。

感動的なのは、私のマシン構成であるRTX3090x2の構成で十分動いたので、7Bをそのまま学習するよりは簡単だったことです。すごいです。推論だけならまだしも7Bの重み全ての学習は通常GPUメモリが不足し、動きません。

すごい

RAG評価ブログ

Beatrustさんのブログ

• RAGの評価：評価の必要性と問題点
• RAGの評価：RAGの計算指標とRagasでの計算方法
• RAGの評価：Ragasの有用性の評価

[KKaichi]

レコメンデーションにおける平準化を考慮した2段階最適化

背景

• 従来の推薦方法: 商品のクリック確率などのスコアに基づいて商品を推薦する。
• 問題点: 人気商品ばかりが推薦され、販売を促進したい商品の露出が少なくなる。

提案手法

• 平準化を考慮しながら、商品を推薦する方法。

1. 最初の最適化問題

• 目的: 商品毎に事前に定めた目標を満たしつつ、期待利得の合計を最大化する。
• 方法: 各広告枠に商品を割り当てる際に、平準化を考慮した最適な割り当てを求める。

2. 次の最適化問題

• 目的: 1つ目の最適化結果を反映する各商品のスコアの調整係数を求める。
• 方法: 最適な割り当てを再現するようなスコアの調整係数を計算。

実行方法

• 事前に調整係数を計算: カスタマーが訪問する前に、各商品のスコアの調整係数を求めておく。
• システムへの導入: 調整係数を使って、リアルタイムで最適化問題を解くことなく、平準化を考慮した推薦結果を得る。

メリット

• 現行システムのほとんど変更が不要: 新たに大規模なシステム変更を行わずに、平準化を考慮した推薦が可能。
• 目標の達成: 目標を達成する商品の数を最大化することができる。

調整係数の役割

• 調整係数を事前に計算し、その場でリアルタイムに最適化を行う必要がないため、現行の推薦システムに簡単に組み込むことが可能。