AWS認定資格 無料問題集

解答

正しい解答：Ｄ. 確率上位トークンから累積確率を加算して一定割合までランダム選択する手法

　URL を直接入力して「解答・解説」画面を表示した場合、何を選択・解答したかを特定できないため、解答の正誤判定ができません。必要に応じて「同じ問題に再挑戦」ボタンをクリックして、この問題に再チャレンジしてみてください。

徹底解説

　与えられた選択肢の中で、Top-p サンプリングを正しく説明しているものは、「確率上位トークンから累積確率を加算して一定割合までランダム選択する手法」 です。生成AIモデルは、次に出力するトークンを選ぶ際に、それぞれのトークンに確率（出現する可能性）を割り当てています。たとえば、謝意の表現する場合にも、文脈に応じて「ありがとう」「感謝します」「助かりました」などの候補があり、それぞれに異なる確率が設定されています。Top-p サンプリングは、確率分布からトークンを確率の高い順に並べ、累積確率がpを超えるまでの集合を取り出し、その中からランダムに1つを選ぶ手法です。これにより、確率が極端に低い（文脈にそぐわない）トークンは除外され、出力の品質が保たれます。同時に、確率の合計に基づく柔軟な選択により、多様性も確保されます。文脈の中で次のトークンの候補が選定されるイメージを下図に示します。

　その他の選択肢は、Top-p サンプリングの正しい説明ではありません。「生成するすべてのトークンの確率を均等にして、出力の多様性を高める手法」 に記載されている 「すべてのトークンの確率を均等にする」 は、Top-p サンプリングではないばかりか、人工知能が文脈に沿って語を選ぶのではなく、単純に、ランダムに選ばれることを意味します。その結果、意味が通りにくい語が選ばれる可能性が高まり、自然な文章の生成が難しくなり、出力の品質は低下するでしょう。
　「最も有望な上位p個のモデルを組み合わせて、出力の頻度を向上させる手法」 について、Top-p サンプリングは、モデルではなくトークンを対象とした確率的選択の手法です。
　「確率の高い上位p個のトークンの中からランダム選択する手法」 は、Top-p サンプリングではなく、Top-k サンプリングの手法です。Top-k サンプリングは、次に出力する候補のトークンに割り当てられた出現確率が最も高い順に上位p個（k個）のトークンを取り出して、その集合の中からランダムに1つを選ぶ手法です。

Step Up！
　その他、Top-p サンプリング以外の生成手法をいくつか示します。なお、Top-p サンプリングは他の手法（Top-k サンプリングや温度調整サンプリング）と組み合わせて使われることも多く、確率分布の累積値が一定の閾値（p）を超えるまでの選択肢からランダム性を導入したい場合に適した手法です。閾値 p は、0.9~0.95 程度の高さの値とすることが一般的です。

1. 温度（Temperature）調整サンプリング
   　出力の確率分布を滑らかにすることで、創造性や一貫性を調整する手法。
2. Top-k サンプリング
   　出現確率が高い順に並べたトークンの上位k個の集合からランダムに選択する手法。
   　Top-p サンプリングより制約が明確で、実装がシンプルな一方で、柔軟性はやや低い。
3. Greedy Search（貪欲法）
   　最も確率の高いトークンを逐次選択する方法。多様性が低いが、一貫性は高い。
4. Beam Search
   　複数の候補を並行して探索し、最終的に最もスコアの高い系列を選ぶ手法。
   　翻訳などでよく使われる。