[2024/09/04]推薦・機械学習勉強会

[Hayashi-Yudai]

Why

推薦・機械学習勉強会は、推薦や機械学習、その周辺技術を通じてサービスを改善することにモチベーションのある人達の集まりです。ニュースやブログから論文まで、気になったものについてお互い共有しましょう！

発信のため、ここは public にしてあります。外部からの参加をご希望の方は合田/hakubishin3、角川/nogawanogawa、林/python_walker まで DM を送るか、Wantedly Visit の募集（https://www.wantedly.com/projects/391912） よりご連絡ください！

What

Wantedly では隔週水曜日に

• 推薦の評価指標について議論したい
• 〇〇っていうライブラリ / フレームワークを導入してみたい
• 他社の基盤事例をみんなにシェアして自社の基盤開発に活かしたい
• もっと推薦を良くするためにどんなものが必要か議論したい

といった話をする「推薦・機械学習勉強会」を開催しています。
この ISSUE はその会で話すネタを共有するための場所です。

話したいことがある人はここにコメントしましょう！
会の間に話した内容もここにメモしましょう！

prev: #261

[hakubishin3]

Indeed uses OpenAI to deliver contextual job matching to millions of job seekers

Indeed の、OpenAI の GPT を利用した求職者と求人のマッチング体験の向上の取り組み

求人情報を求職者に案内する「Invite to Apply」機能の文言のパーソナライズを強化、OpenAIのGPTモデルとファインチューニングを使って求職者の経歴や過去の職務経験がその求人に適している理由を提示することによって、求人の応募率 +20% 向上、応募以降の成功率が +13% 向上した。

[Hayashi-Yudai]

Redshift Serverless + dbtでデータ品質テストを100倍高速化した話

大量のデータの品質チェック(Quality Check; QC)にRedshiftとdbtを用いたサーバーレス体制を導入したことにより、処理の大幅な高速化と、コスト削減を実現したという話。

• これまで：QC対象のデータをEC2インスタンスに落としてきてpandasでチェック。1回の処理に数日~数十日かかっていた
• アップデート後：
  • dbtを用いてQCのチェック項目を定義
  • RedShift上で処理を実行
• 大きな変更点：
  • Redshift上でデータの分散処理をできるようになった→ 処理の高速化
  • 処理実行時だけサーバーが立つような体制になった → コスト削減 (数10 %ほどの削減効果を見積もっているらしい)

RAGにベクトルDBは必要ない！DBも不要で運用めちゃ楽な RAG Chatbot を作った話

Slack APIの検索機能を活用してRAGを作った話。プロンプトで、ユーザーの要求に対する答えを探すためのクエリを生成させて、それをもとに情報を引っ張ってくるという方法を取っている。スライドの例を見る感じ、性能は結構良さそうに見える。

[nogawanogawa]

8年間の進化！CARTA MARKETING FIRMが機械学習基盤を刷新した理由とその成果

• 2015年〜2021年: Luigiベース
  • 既存の知識・経験を活かしてLuigiベース
  • ETLとMLのタスクの両方をLuigiでカバーできるとして採用
• 2022年〜2023年: Sagemaker + StepFunction
  • データパイプラインと機械学習パイプラインとで、データエンジニアとDSの責務の分離
• 2024年 ~ Prefect
  • PythonだけでMLパイプラインを完結
    • Step Funtionの複雑な記法からPythonへ
  • IaCについても必要最低限の知識で済むように
    • DSがモデリングに専念できる