ChatGPTトークン最適化マニュアル|第6章:運用と自動テスト
第6章 チェック

第6章:運用と自動テスト

中学生にも分かる言葉を使いながら、AIコンサルタントを目指す人に必要な深さまで解説します。

1. チェックリスト(配布可)

  • 目的・対象・評価基準が明確か?
  • 見出しと箇条書きで構造化したか?
  • 繰り返し部分を変数・テンプレ化したか?
  • 出力形式・文字数上限を指定したか?
  • 禁止事項(やってはいけないこと)を明記したか?

2. 改善サイクル(PDCA)

  1. Plan: ゴールと評価指標(例:正確性90%・コスト30%削減)
  2. Do: テンプレで実行、ログ保存
  3. Check: トークン/コスト/品質をダッシュボードで確認
  4. Act: 重複削除・形式固定・追加例の強化

3. 自動テストの提案

# 疑似コード(概念)
cases = [("短文Q&A", prompt1, expect1), ("要約", prompt2, expect2)]
for name, p, expect in cases:
    tokens_in = count_tokens(p)
    resp = call_model(p)
    tokens_out = count_tokens(resp)
    score = evaluate(resp, expect)
    log(name, tokens_in, tokens_out, score)

要点まとめ

要点
・チェックリストで品質を守る。
・数値で見る→直すの繰り返し。
・小さな自動化から始める。