テストで分かりやすく品質状況を可視化するには 〜カバレッジパネルの活用法

読者にも普段テストケースを設計する際には、「テスト観点」という言葉を意識したことがある方がいると思います。どの機能を対象としたテストか、どういう不具合を見つけることを目的としたテストかなど、テストを導出する元となる概念をひっくるめ、テスト観点という言葉が用いられています。

カバレッジパネルは、まさにこのテスト観点、つまり利用者がテストを導出する元とした観点を軸に、テストケース件数のバランスや、テスト実行時の品質状況の可視化を支援するために実現された機能です。

カバレッジパネルは、端的に言うと、テストケースやテスト実行結果を、特定の分析軸で分類し、その分類要素間でのテストケース数（多過ぎるところ、少な過ぎるところはないか？）や、テストの失敗率（不具合が多く発見されたところはどこか？）の比較・分析するための機能です。このため、本機能を効果的に使うには、「特定の分析軸」に何を設定するかがポイントになります。

とはいえ、必ずしもテスト観点は一つの軸に固定されることはありません。前述のとおり、機能軸や目的軸をはじめとする、さまざまな軸が考えられます。そこで、カバレッジパネルは、柔軟に軸を切り替えながら、多様な視点で分析ができるようになっています。

次に、実際にカバレッジパネルの具体的な活用シーンを説明します。カバレッジパネルは以下の三つのシーンで活用できます。

• テストケースのレビュー
• テスト実行中の品質状況の考察
• テスト実行完了後の振り返り

テストケースのレビュー時には、レビュー対象のテストスイートが特定の観点に偏っていないか、件数のバランスが適切かどうかを視覚的に把握することができます。

実際のツール画面は以下のように、いわゆるツリーマップを活用して可視化しています。（開発時には、ツリーマップの他に、円形のパイチャートなども検討しましたが、分類要素の数が多くなると、かなり視認性が悪くなってしまう問題がありました。いろいろ比較した結果、相対的に一番視認性の良かったツリーマップを採用しました。）

画面上部のセレクトボックスでテストケースの分類軸を指定することで、その軸でリアルタイムに分析・集計ができます。

テスト実行が進行している最中にも、カバレッジパネルを活用することができます。先ほどのレビュー時では、カバレッジパネルは全体的に灰色一色の見え方をしていましたが、テスト実行が始まると、テスト実行レポートでは、色付きのカバレッジパネルが表示されます。

テスト実行開始時、まだ1件もテストが実行されていない状態では、カバレッジパネルは全体が赤一色の状態で初期表示されます。

そして、該当する要素のテストケースがテスト成功するたびに色がどんどん緑色に近づいていく、という仕様となっています。

日々、この色の変化をモニタリングすることで、相対的に赤色寄りで停滞している要素が、すなわち品質に問題のある可能性が高い観点であることが分かり、開発への早期フィードバックが可能となります。

テスト実行が完了し、不具合修正と再テストを経て、全てのテストケースが成功となると、最終的にカバレッジパネルは全体が緑一色となります。

この状態では振り返りとして得られる知見がないわけですが、QualityForwardのテスト実行レポートには、レポート分析対象のテストのスコープをフィルターして表示する機能があります。このフィルターを駆使して、不具合修正後の再テストは対象外にし、1周目のテストだけをスコープにレポート表示することで、カバレッジパネルも、不具合がなかった要素は緑色、不具合のあった要素は赤色寄りの表示となります。

こうすることで、要素間で相対的に不具合の多かった部分、つまり当該テストフェーズにおいて、テスト対象プロダクトの品質で弱かった部分が分かり、次の開発に向けての改善すべきポイントが明確となります。

本記事では、テストが進行する中で品質を分かりやすく可視化する道具の一つとしてQualityForwardの特徴的な機能であるカバレッジパネルの活用法をご紹介しました。より高度なテスト活動に挑戦する際の参考にしていただけると幸いです。

まだQualityForwardに触れたことがない方は、無償版を用意していますので、ぜひお気軽に試してみてください。

テスト管理ツール「QualityForward」