第4章 検証
第4章 検証:測定とシミュレーション
tiktokenやAPIログを用いた測定と、コスト・精度の最適化を図るためのシミュレーション手法を紹介します。
1. 測定ツールの使い方
tiktoken(Python)
import tiktoken
enc = tiktoken.encoding_for_model("gpt-4o") # モデルに合わせる
text = "これはテストです。"
print(len(enc.encode(text)))
APIログ
APIのレスポンスには prompt_tokens と completion_tokens が含まれます。これを記録してダッシュボード化しましょう。
2. シナリオ別シミュレーション
| シナリオ | 想定入力 | 想定出力 | 合計トークン例 |
|---|---|---|---|
| 短文Q&A | 100 | 120 | 220 |
| 要約 | 600 | 300 | 900 |
| 長文生成 | 800 | 1,200 | 2,000 |
3. 精度とコストのバランス
- まずは短く作る → 必要なら追加質問で深掘り
- 出力形式を固定(表/JSON) → ムダな文章を防ぐ
- 要件を 箇条書き に → 誤読を防ぎ精度↑
要点まとめ
・数えて管理するのが第一歩。
・シナリオ別に上限を決める。
・形式指定で精度とコストを同時に最適化。
・数えて管理するのが第一歩。
・シナリオ別に上限を決める。
・形式指定で精度とコストを同時に最適化。