「明日からLLMアプリの評価・監視を作って」と言われたときに取り組んだこと：LLMアプリの最初（CI）から最後（CD・運用）まで面倒を見る！

セッション概要

LLMアプリの監視基盤を作るとなったとき、何から手をつければいいか不明な方は多いと思います 同じ状況だった発表者が、 - 何の情報を取るのか - どうやって取るのか - どんなソフトウェアを使うのか など、取り組むきっかけを共有できる発表をします 振り返り、試行錯誤も交えてお伝えします 本発表では、設計・構築中のシステムについても発表する予定です 発表に含む内容 - 取りたい情報の設計と理由 - トレースの振り分け - Langfuseを活用するためのトレース属性の設定 - K8s OperatorやHelmを活用したLangfuseのセルフホスト この発表を聞いてほしい人 - LLMアプリの監視・評価をする - LLMアプリ自体の監視だけでなく、アプリ全体の監視もしたい - LLMアプリの監視・評価で途方にくれている 直近で急激に需要が高まっている領域であり、どなたにも大きな収穫のある発表になると考えています

キーワード