出典：Ian Goodfellow, Jonathon Shlens, Christian Szegedy, "Explaining and Harnessing Adversarial Examples", ICLR2015
図表1：AIがノイズを加えたパンダ画像を「テナガザル」と認識した

出典：ソフトウェア品質シンポジウム2023「AI搭載プロダクトの品質保証に関する国内外の動向と検証技術」小川秀人氏講演資料より（2023年9月8日）
図表2：ISO/IEC JTC 1/SC42 WG3 Trustworthiness

出典：ソフトウェア品質シンポジウム2023「AI搭載プロダクトの品質保証に関する国内外の動向と検証技術」小川秀人氏講演資料より（2023年9月8日）
図表3：青字がAIのために追加された部分

出典：産業技術総合研究所「機械学習品質マネジメントガイドライン 第2版」図6を基に、一部改変
図表4：AIプロダクトの開発全体における「品質アセスメント」、品質検査・統合検査に当たる「メタモルフィックテスティング」、データ準備・整備に当たる「データ増幅」を紹介する

AI品質保証の軸

品質アセスメントのベースになっているものは、AIプロダクト品質保証コンソーシアムがリリースしている「 AI プロダクト品質保証ガイドライン（以下 QA4AIガイドライン）」です。
QA4AIガイドラインでは次の5つをAIプロダクトの品質保証の軸としています（図表5）。

出典：AIプロダクト品質保証コンソーシアム「AIプロダクト品質保証ガイドライン2023.06版」より
図表5：5つの軸に対してチェックリスト（質問項目）が用意されている

1. ・Data Integrity（データの完全性）
2. ・Model Robustness（モデルの頑健性）
3. ・System Quality（システム全体の品質確保）
4. ・Process Agility（開発プロセスの機動性）
5. ・Customer Expectation（顧客期待の高さ）

この5つの軸には、それぞれチェックリスト（質問項目）が用意され、個々にチェックしていくことでレーダーチャートを描き、各項目（軸）が十分に検討・対処されているかを視覚的に判断できるようになっています（図表6）。

左側のチャートでは、5つの軸についてバランスよく品質が担保されていることが分かります。また、右側のチャートでは、PoC～βリリース～継続的実運用と、各フェーズによって品質アセスメントの結果が段階的に向上していく様子を示しています。

出典：AIプロダクト品質保証コンソーシアム「AIプロダクト品質保証ガイドライン2023.06版」より
図表6：レーダーチャートで表現することで、５つの軸のバランスが取れているか確認できる

フェーズごとの重要度の違い

このレーダーチャートにおいては、すべての軸が高評価となることがベストではありません。フェーズによって必要となる軸もあり、またプロダクトの特性によって必要になってくる軸も変化していきます。

フェーズごとの重要度の違いを各軸ごとに示したものが図表7です（重要なものほど濃い色で表現）。 例えば、PoC 設計のフェーズでは「Data Integrity（データの完全性）」や「Customer Expectation（顧客期待の高さ）」が重要となるので、そこに着目してアセスメントの取り組みを行っていきます。また、PoC評価のフェーズでは「Model Robustness（モデルの頑健性）」や「Process Agility（開発プロセスの機動性）」に注力してアセスメントの検討を行うことが求められます。

これを参考に、自分たちが今どこのフェーズにいるか、どこに着目してやっていくかを考えるベースとなるのがこのガイドラインです。

図表7：濃い部分の重要度が高い

メタモルフィックテスティングの基本

メタモルフィックテスティングとは、複数の異なる入力に対する出力結果を比較することで、テストオラクルなし、もしくは少ないテストオラクルで、プログラムのテストを行う手法です。テストオラクルとはテストケースの期待値を決めるための入力情報ですが、ソフトウェアによってはテストオラクルが用意できない場合があります。こうしたことからメタモルフィックテスティングは「オラクル問題の解決策」ともいわれます。

メタモルフィックテスティングの基本ですが、テストケースを増幅するという手法を取ります。 例えば、モデルにおいて、 x という 入力に対して f（x）という出力があると仮定します。これに対して x から g（x） へと変換を行ってモデルに入力し、f（g（x））という結果を得ます。そしてこのf（g（x））と 元のf（x） を比較することでテストケースを増幅します（図表8）。

出典：国立情報学研究所「データ品質を利用したメタモルフィックテスティングによる 機械学習・深層学習モデルの評価」を基に当社作成
図表8：f（x）とf（g（x））はメタモルフィック関係となる

入力に対して変化を加えることで、入力を変換しない場合の出力＝f（x）と、変換した場合の出力＝f（g（x））を比較するわけですが、このf（x）とf（g（x））の関係性をメタモルフィック関係と呼びます。

例えば、人の顔を認識するようなソフトウェアにおいて、顔の画像（x）をモデル入力した場合に正しい認識結果・出力（f（x））が得られるのに対して、顔の角度が5度傾いた画像（ g（x））を入力して同じ結果を得られるかどうかを比較します。この5度傾けても結果が変わらないというのがメタモルフィック関係であり、この手法を使ってテストを行うのがメタモルフィックテスティングということになります。

ここからはメタモルフィックテスティングに関する当社の取り組み事例を紹介します。

当社事例～自然言語処理に対するメタモルフィックテスティング

1つ目は、自然言語処理のモデルに対するメタモルフィックテスティングの適用です。
昨今では ChatGPT や LLM の流行によって、自然言語処理の AI モデルに対する品質保証の議論が盛んに行われるようになりました。

例えば、複数のテキスト間の類似度判断、あるいはテキストの要約・分類、さらに翻訳といったタスクに対し、メタモルフィックテスティングが有用かどうかといった研究もすでに行われています。 また、自然言語処理におけるメタモルフィック関係の一例を以下にまとめました。

当社でも自然言語処理（テキスト要約のモデル）に対し、メタモルフィック関係の有用性について、「要約」のモデルを基に評価実験を行っています。その結果、以下のように現状では良い結果は出ていません。３つのメタモルフィック関係の定義については、いずれも精度が低くなっています。

基本的に人の解釈に大きく左右される自然言語を機械的に判断することは困難と言えます。一方で、倫理や公平性といった比較的客観的な基準が作れるようなテキストであれば、メタモルフィックテスティングが作りやすくなる可能性はあると考えます。いずれにしても自然言語処理モデルにおけるテスト手段の研究は今後も重要な課題となります。

当社事例～データ処理に対するメタモルフィックテスティング　

2つ目は時系列データを処理するモデルに対して「モデル」と「学習プログラム」、それぞれに対する2種類のメタモルフィックテスティングを組み込んだ取り組みです（図表9）。

月ごとに学習データを使ってモデルを作るプロセス（図表9左側の破線）があり、これに対してメタモルフィックテスティングを組み込んでパイプラインを作っています。 また、途中で仕様変更があった場合などに、その学習プログラムの変更に対して走るパイプライン（図中央部の破線）にメタモルフィックテスティングを適用した事例になっています。ある意味、MLOps^※的なものと考えられます。

図表9：2つの種類のメタモルフィックテスティングを両方組み込む取り組みを行った

出典：SinGAN: Learning a Generative Model from a Single Natural ImageICCV 2019Tamar Rott Shaham, Tali Dekel, Tomer Michaeli
図表10：1枚の画像データから似たような画像を多数生成し、異常データとして学習させる