AWS認定資格 無料問題集

解答

正しい解答：Ｂ. モデルの出力品質とレスポンスの信頼性を評価する。

　URL を直接入力して「解答・解説」画面を表示した場合、何を選択・解答したかを特定できないため、解答の正誤判定ができません。必要に応じて「同じ問題に再挑戦」ボタンをクリックして、この問題に再チャレンジしてみてください。

徹底解説

　Amazon SageMaker で展開している基盤モデルの技術的なパフォーマンスを評価する際の重要な指標として適切に記載されているのは、「モデルの出力品質とレスポンスの信頼性を評価する」 ことです。本問題では、Amazon SageMaker の活用やモデル評価に関する知識が問われています。Amazon SageMaker は、機械学習（ML：Machine Learning）モデルを迅速に構築して、学習するためのモジュールが用意されたマネージド型のサービスであり、MLプロジェクトの課題を解決するための環境を起動・活用する多くのツールを提供しています。基盤モデルの技術評価において、出力品質とは、同様の入力に対して一貫性のある、正確な予測を行えるかどうかを示す指標です。また、レスポンスの信頼性は、予測リクエストに対して安定した応答時間を確保できているか、タイムアウトや処理失敗が発生していないかなどを評価するものです。これらの要素は、ユーザー体験やシステムの可用性に直結するため、技術的なパフォーマンス、すなわち、モデルの予測精度・応答時間・安定性の評価では非常に重要です。

　その他の選択肢は、Amazon SageMaker で展開している基盤モデルの技術的なパフォーマンスを評価する際の指標として最も適切に記載されたものではありません。「モデルのトレーニングに使用したデータセットのサイズを比較する」 ことは、既に展開されたモデルの推論パフォーマンス（＝技術的パフォーマンス）を評価することに直接関係しません。トレーニング・データセットのサイズは、モデルの学習プロセスに関係する情報であり、精度や汎化性能に影響を与えることはありますが、それを比較しても実際の動作速度やリソース効率を判断する材料にはなりません。
　「モデルの推論時に使用するインスタンスタイプのCPUスペックを検討する」 ことは、基盤モデルそのもののパフォーマンスを直接評価する指標を記載したものではありません。高性能なCPUを採用すれば応答は速くなる可能性はありますが、それは環境の最適化に関する検討事項であり、モデル自体の品質や技術的なパフォーマンスを評価するものではありません。
　「Amazon CloudWatch でモデルの使用頻度を分析する」 ことは、パフォーマンス改善につなげるヒントにはなるかもしれませんが、直接的な品質や性能評価をするものではありません。使用頻度は、例えば、利用状況やリクエスト回数を示していますが、頻繁に使われているからといって、モデルが技術的に優れているとは限りません。なお、Amazon CloudWatch は、インスタンスのメトリクス（対象サービスのリソース情報）やネットワークの通信状態、アプリケーションを監視することができる統合監視サービスです。

Step Up！
　Amazon SageMaker の機能で、MLモデルの品質・透明性・ガバナンスを支援するツールとしては、Amazon SageMaker Clarify や 同 Model Monitor があります。Clarify は、MLモデルの公平性を評価して、バイアスを検出するためのツールであり、Model Monitor は、デプロイされたMLモデルに対する推論リクエストやその結果を継続的にモニタリングするツールです。