モデルを比べる前に入力、出力、制約を定めましょう。目的を絞ったテストは、手当たり次第に試すより有益です。
必要な成果物を定義する
出力の種類、サイズや長さ、保持したい内容、許容できない変更を記録します。画像・動画・テキストでは評価基準が異なり、ひとつの「最高」という評価ですべてのモデルを表せません。
機能と入力要件を確認
モデル紹介と例から、受け付ける入力、対応仕様、制限を理解しましょう。既存画像の編集とテキストからの画像生成には異なる機能が必要です。
同じタスクで比較する
代表的な少数の入力で候補モデルを試し、品質、所要時間、実費を記録します。比較時は入力と出力の要件をできる限り揃えましょう。
再現可能な流れを記録
有用なプロンプトとパラメータを、適するタスクとともに保存します。モデルやバリアントが変わったら既存テストを再確認し、異なるモデルで同じパラメータが同じ意味を持つとは考えないでください。