AWS認定資格 無料問題集

解答

正しい解答：Ａ. 人間による質的評価を実施して、創造性や自然さなどを総合的に判断する。

　URL を直接入力して「解答・解説」画面を表示した場合、何を選択・解答したかを特定できないため、解答の正誤判定ができません。必要に応じて「同じ問題に再挑戦」ボタンをクリックして、この問題に再チャレンジしてみてください。

徹底解説

　創造的な文章生成タスクにおいて、自動評価がテキストの品質やニュアンスを十分に捉えられない場合、モデルの性能をより正確に評価するための最も適切なアプローチは、「人間による質的評価を実施して、創造性や自然さなどを総合的に判断する」 ことです。ROUGE や BLEU などの自動評価の指標を利用することは効率的ですが、創造性、自然さ、一貫性、文脈の適切さといった質的な側面を十分に評価できないことがあります。そういった場合には、人間による評価（Human Evaluation）が最も信頼性の高い方法とされており、詳細な質的評価をすることが有効なアプローチとなります。特に、正解がひとつに定まらないオープンエンドな生成タスクでは、信頼性の高い人間による評価が不可欠な評価手法となります。

　その他の選択肢は、このユースケースにおいては有効なアプローチではありません。「ベンチマーク評価のデータセットを追加して、評価の客観性を高める」 について、翻訳や要約などの正解が比較的明確なタスクではモデル同士を客観的に比較することができますが、対象のタスクのように、本質的な創造性や表現の豊かさを十分に評価することには適していません。「ROUGE、BLEUなどの自動評価指標の組み合わせを増やして評価する」 について、自動評価の指標は、対象のテキストの類似度を測るには有効ですが、指標の種類や数を増やしても、モデルが生み出す創造性や微妙なニュアンス、文脈の自然さといった質的な要素を正確に評価できるわけではありません。「モデルの推論温度（temperature）を調整して創造性を制御する」 について、推論温度の調整は、モデルの出力の多様性や創造性の度合いを変えるための生成側のパラメータであり、評価手法ではありません。

Keep it up！
　問題文で、創造性や自然さなど自動評価では測れない要素を判断することを問うている場合には、人間による質的評価が必要と解答することが求められていると認識してよいでしょう。