AWS認定資格 無料問題集

解答

正しい解答：Ａ. 異物検出モデルの評価には、正解率や適合率、F1スコア、AUC などの指標が有効であり、SageMakerのビルトイン・アルゴリズムでも取得可能である。

　URL を直接入力して「解答・解説」画面を表示した場合、何を選択・解答したかを特定できないため、解答の正誤判定ができません。必要に応じて「同じ問題に再挑戦」ボタンをクリックして、この問題に再チャレンジしてみてください。

徹底解説

　撮影画像から異物混入や形状異常を検出する際に、Amazon SageMaker のビルトイン・アルゴリズムを活用する場合において、この SageMaker の機能や評価指標に関して正しく記載されているのは、「異物検出モデルの評価には、正解率や適合率、F1スコア、AUC などの指標が有効であり、SageMakerのビルトイン・アルゴリズムでも取得可能である」 の選択肢となります。Amazon SageMaker は、機械学習（ML：Machine Learning）モデルを迅速に構築して、学習するためのモジュールが用意されたマネージド型のサービスであり、MLプロジェクトの課題を解決するための環境を起動・活用する多くのツールを提供しています。ビルトイン・アルゴリズムは、デフォルトで組み込まれたアルゴリズムのことであり、初心者がMLを始めるための手順から、専門家による高度なデータ活用のための機能まで、幅広いニーズに対応しています。Amazon SageMaker には、分類タスクに適した複数のビルトイン・アルゴリズムが用意されており、異物検出のような2値分類問題にも活用できます。これらのアルゴリズムを使用して、モデル訓練後に自動的に主要な評価指標を取得することができます。具体的な評価指標は、アルゴリズムに応じて、正解率（Accuracy）や適合率（Precision）、F1スコア、ROC曲線下面積（AUC：Area Under the Curve）などの指標が利用可能です。参考までに主なビルトイン・アルゴリズムと評価指標の一覧を下表に示します。

　その他の選択肢は、Amazon SageMaker やビルトイン・アルゴリズムの機能や評価指標に関して誤った記載がされています。「SageMakerのビルトイン・アルゴリズムは、異物検出のような画像分類タスクにおいては、カスタムモデルよりも常に高い精度となることが保証されている」 の記載は誤りです。SageMakerの画像分類用ビルトイン・アルゴリズムは、ResNetベースの事前トレーニング済みモデルを活用しており、画像分類タスクを高速に処理することができます。ただし、すべてのビルトイン・アルゴリズムが、ResNetベースというわけではなく、用途に応じて異なるアーキテクチャが採用されています。また、特殊な対象領域では、個別に、畳み込みニューラルネットワーク（CNN：Convolutional Neural Network）アーキテクチャやファインチューニングが必要になることもあります。「SageMakerのビルトイン・アルゴリズムには、画像分類に対応したものは含まれておらず、利用者の独自実装が必要である」 の記載も誤りです。例えば、Image Classification というビルトイン・アルゴリズムが提供されており、ResNetベースの事前トレーニング済みモデルを利用することができます。また、「SageMakerのビルトイン・アルゴリズムは、特殊な異物や形状異常にも完全に対応できるため、カスタムモデルの必要はない」 の記載も誤りです。ビルトイン・アルゴリズムは、多くの一般的なユースケースをカバーしていますが、すべてのMLユースケースに対応しているわけではありません。特定のユースケースでは、カスタム・アルゴリズムの実装が必要な場合があります。試験問題あるあるとして、「完全に対応できる」 といった過剰な表現には注意したほうがよいでしょう、

ちなみに...
　評価指標は、アルゴリズムに応じて、モデル訓練後に自動的に算出されたり、あるいはカスタムで定義することも可能です。主な指標として、クラス分布が均等な場合には正解率が使用され、異物検出のように偽陽性（False Positive）を削減するには適合率が有効です。F1スコアは、正解率と再現率（Recall）のバランスが重要な場合、AUCはクラス間の識別能力を評価する場合に利用されます。再現率は、偽陰性（False Negative）を削減したい場合に有効な指標です。問題文では触れていませんが、異常検出においては偽陰性の削減、すなわち異常を見逃さないようにすることが、品質管理上の最重要事項のひとつとなります。