Model選定 — AI口コミ生成
| 項目 | 内容 |
|---|---|
| ステータス | 🟡 検討中 |
| 関連 | AI口コミ生成 |
1. 選定概要
システムは2つのModelを2つの目的で使用し、APIキーは1つのみ:
| 目的 | Model | 選定理由 |
|---|---|---|
| 口コミ生成 (generate) | Claude Sonnet 4 | 価格帯で最高の日本語品質 |
| 品質チェック (quality check) | Claude Haiku 4.5 | 高速・低コスト、JSON判定に十分 |
2. Model詳細比較
2.1 比較表
| Model | Provider | Input | Output | コスト/件 | 日本語品質 | Latency | 推奨 |
|---|---|---|---|---|---|---|---|
| Claude Sonnet 4 | Anthropic | $3.00/1M | $15.00/1M | ~¥0.5 | ◎ 優秀 | ~5-10s | 生成用 |
| Claude Haiku 4.5 | Anthropic | $0.80/1M | $4.00/1M | ~¥0.1 | ○ 良好 | ~1-2s | 品質チェック用 |
| Claude Opus 4 | Anthropic | $15.00/1M | $75.00/1M | ~¥2.5 | ◎ 優秀 | ~10-15s | 本ユースケースには高すぎる |
| GPT-4o | OpenAI | $2.50/1M | $10.00/1M | ~¥0.4 | ◎ 優秀 | ~3-5s | プロバイダー変更時の代替 |
| GPT-4o mini | OpenAI | $0.15/1M | $0.60/1M | ~¥0.03 | △ 普通 | ~1s | 日本語品質が不十分 |
| Gemini 2.5 Flash | $0.15/1M | $0.60/1M | ~¥0.03 | ○ 良好 | ~1-2s | より低コストが必要な場合のHaiku代替 |
2.2 生成にClaude Sonnet 4を選んだ理由
| 基準 | Sonnet 4 | GPT-4o | Sonnet選定理由 |
|---|---|---|---|
| 日本語品質 | ◎ | ◎ | 同等だが、Sonnetは文体の多様性に優れる |
| 敬語 (丁寧語) | 正確 | 時々エラー | 丁寧トーンに重要 |
| Prompt遵守 | 非常に良い | 良い | 制約（文字数、キーワード）を飛ばしにくい |
| コスト | $3+$15/1M | $2.5+$10/1M | Sonnetは約20%高いが品質が安定 |
| Prompt caching | あり (input cost約90%削減) | あり | 両方対応 |
結論: Sonnet 4は敬語の品質とPrompt遵守が優れているため選定 — 日本語口コミ生成で最も重要な2つの要素。
2.3 品質チェックにClaude Haiku 4.5を選んだ理由
| 基準 | Haiku 4.5 | Sonnet 4 | Haiku選定理由 |
|---|---|---|---|
| Latency | 1-2s | 3-5s | 品質チェックは同期フロー内、高速性が必要 |
| コスト | ¥0.04/件 | ¥0.2/件 | チェックは生成ごとに呼ばれる（リトライ含む） |
| 判定に十分か | ○ | ◎ | JSONスコアを返すだけで文章は不要 |
結論: Haikuは「正誤判定」とJSON返却に十分。チェックにSonnetを使うと5倍のコストで大幅な改善なし。
3. 運用コスト
3.1 口コミ1件あたりのコスト
| ステップ | Model | Token数（推定） | コスト |
|---|---|---|---|
| 口コミ生成 | Sonnet | Input ~150 + Output 400 | ~¥0.4 |
| 品質チェック (LLM部分) | Haiku | Input 500 + Output 150 | ~¥0.04 |
| 合計 (リトライなし) | ~¥0.44 | ||
| 合計 (平均1.2回リトライ) | ~¥0.55 |
Input ~150 tokens（項目名 + 星数 + キーワード + トーン）— 旧設計（~800 tokens）と比較して大幅削減。プロンプトにアンケート全体ではなく1項目のみを送信するため。
3.2 月間コスト
| 規模 | 件数/月 | コスト/月 | 備考 |
|---|---|---|---|
| 小 | 50 | ~¥28 | 1-2店舗 |
| 中 | 200 | ~¥110 | 5-10店舗 |
| 大 | 1,000 | ~¥550 | 20+店舗 |
3.3 コスト最適化
| 方法 | 削減効果 | 適用済み？ |
|---|---|---|
| ハイブリッド品質チェック (ルールベース失敗時LLMスキップ) | チェックコスト約20%削減 | ✅ 済 |
| 最小限のプロンプト（1項目 + キーワード + トーンのみ、アンケートは送らない） | 生成のinput cost約80%削減 | ✅ 済 |
| Prompt caching (同一system prompt) | 生成のinput cost約90%削減 | ⬜ 今後対応 |
4. 環境別設定
| 環境 | Generate | Quality Check | 備考 |
|---|---|---|---|
| Production | Sonnet 4 | Haiku 4.5 | 品質最適 |
| Staging | Haiku 4.5 | Haiku 4.5 | コスト削減、フローテスト |
| Development | Haiku 4.5 | Haiku 4.5 | 高速・低コスト、繰り返し多い |
php
// .env.production
REVIEW_GENERATE_MODEL=claude-sonnet-4-20250514
REVIEW_CHECK_MODEL=claude-haiku-4-5-20251001
// .env.staging / .env.development
REVIEW_GENERATE_MODEL=claude-haiku-4-5-20251001
REVIEW_CHECK_MODEL=claude-haiku-4-5-202510015. Model変更が必要なケース
| 状況 | 対応 |
|---|---|
| Anthropicが新Sonnet（例: Sonnet 4.5）をリリース | REVIEW_GENERATE_MODELを変更し、日本語品質をテスト |
| コストが予算超過 | 生成をHaikuに切替、品質低下を許容 |
| 日本語品質が不十分 | GPT-4oを生成Modelとして試す |
| プロバイダーを完全変更 | AnthropicApiService → OpenAIApiServiceのみ修正、ロジックは変更不要 |
| Latencyが遅すぎる | チェックをGemini Flashに切替 |
設計はconfigでModel変更可能、コードロジックの修正は不要。
.envのModel IDを差し替えるだけ。
6. API Key
| 項目 | 内容 |
|---|---|
| 必要なキー数 | 1キーのみ |
| 用途 | 全Model (Sonnet, Haiku, Opus...) |
| 設定 | .envのANTHROPIC_API_KEY |
| 作成場所 | console.anthropic.com |
| 請求 | 1アカウント共通、Model別usage課金 |