AI技術者は泥臭い努力まみれでした。「データ王に俺はなる！！！」「大規模言語モデルに必要な子守りと学校教育」「泥臭い努力でデータの泥を取り除く」など、大規模言語モデル研究者たちの努力について話しました。
この回の内容
- 0:00データ王に俺はなる！！！
- 1:02コモン・クロールは海賊王の上位互換
- 5:30データの泥を取り除く
- 16:58大規模言語モデルの子守りは大変
- 20:54大規模言語モデルにも学校教育が必要
- 25:23泥臭い努力が大きなものを生む
- 29:51一番恥ずかしい思いをしたのはどっち？
この回で紹介された本・参考文献
- 大規模言語モデル入門
- 大規模言語モデル開発における日本語 Web 文書のフィルタリング手法の検証榎本 et al., 言語処理学会 2024
- ONE PIECE
- ichikara-instruction LLMのための日本語インストラクションデータの作成
- ゲンロン戦記