第6章 チェック
第6章:運用と自動テスト
中学生にも分かる言葉を使いながら、AIコンサルタントを目指す人に必要な深さまで解説します。
1. チェックリスト(配布可)
- 目的・対象・評価基準が明確か?
- 見出しと箇条書きで構造化したか?
- 繰り返し部分を変数・テンプレ化したか?
- 出力形式・文字数上限を指定したか?
- 禁止事項(やってはいけないこと)を明記したか?
2. 改善サイクル(PDCA)
- Plan: ゴールと評価指標(例:正確性90%・コスト30%削減)
- Do: テンプレで実行、ログ保存
- Check: トークン/コスト/品質をダッシュボードで確認
- Act: 重複削除・形式固定・追加例の強化
3. 自動テストの提案
# 疑似コード(概念)
cases = [("短文Q&A", prompt1, expect1), ("要約", prompt2, expect2)]
for name, p, expect in cases:
tokens_in = count_tokens(p)
resp = call_model(p)
tokens_out = count_tokens(resp)
score = evaluate(resp, expect)
log(name, tokens_in, tokens_out, score)
要点まとめ
要点
・チェックリストで品質を守る。
・数値で見る→直すの繰り返し。
・小さな自動化から始める。
・チェックリストで品質を守る。
・数値で見る→直すの繰り返し。
・小さな自動化から始める。