テストで「バグが収束している」と簡単に判断してはいけない理由
ソフトウェアのテストでは、x軸を日付、y軸を累積バグ数にしてバグ収束曲線のグラフを作成し、グラフが収束傾向を示しているかによって、ソフトウェアの品質が十分良好なレベルに達しているかを判断したりしてます。著者のブログ「 ソフトウェアのバグ摘出モデルとバグの収束性、テストの網羅性について 」で記述しているように、ランダムにテストを実行する場合は累積バグ数は収束曲線を描きますが、テストケースを順に実行する場合は累積バグ数と実行パスの累積数（累積テストケース数に相当）は直線的な比例関係であるため、一般に累積バグ数のグラフは収束傾向を示しません。そのためテストでは累積バグ数が収束傾向を示すグラフになっても直ちに「バグが収束している」と判断してはいけません。この点について少し詳しく説明します。
目次
１．はじめに
ソフトウェア開発におけるテストでは、テスト計画を立案し、実施する多くのテストケースを作成した後、実際にテストを開始します。通常はこのテストケースを記載順に実行していきます。 このテストの実行方法は以下のページに記載したように逐次実行モデルのようになります。
逐次実行モデルでは、累積バグ数の平均$\bar{x}$は、実行パスの総数$N_{p}$、バグの総数$a$、実行パスの実行回数$n$とした時、 \[ \bar{x} = \frac{a}{N_{p}}n \qquad \ldots \text{(1)} \] になります。テストではテストケースを順に実行するため、実行パスの実行回数$n$は実施したテストケースの累積数（累積テストケース数）になります。従ってこの式から、累積バグ数の平均は累積テストケース数に比例することがわかります。 （逐次実行モデルでは、「１つの実行パスには１つのバグしか含まれない」という仮定を設定しているため、実際のテストとは差異が生じますが、概ね直線の傾向になると考えられます。）
一方、テストでバグ収束曲線（ソフトウェア信頼度成長モデルなど）1)2)を作成する場合、x軸を日付（時間）、y軸を累積バグ数にしたグラフがよく作成されています。図１にバグ収束曲線の例を示します。このバグ収束曲線がテストの終盤までに収束する（曲線の接線の傾きがほぼ水平になる）と残存バグがほぼゼロになっていると判断しています。
図１ バグ収束曲線の例
バグ収束曲線は様々な形状があり、図１に示すようなS字型の指数曲線になることがあります。 累積バグ数と累積テストケース数は前述のように直線の傾向があるとすると、なぜ図１のような指数曲線のようなグラフになるか疑問ですが、この理由について以下で考えてみます。
２．累積テストケース数のグラフの形状と累積バグ数
累積バグ数と累積テストケース数が図２のようなグラフであったとします。図２は実際のデータではないですが、概ねこのような直線的なグラフになることがあります。
図２ 累積バグ数と累積テストケース数
一般にテストで実施されたテストケース数は日々異なります。例えば、テスト開始当初はバグによってテストがあまり進まないということがあります。バグの修正にも当初は時間がかかる場合があります。また、複数のサブシステムやサブ機能と結合テストを実施する場合、それらの開発状況によってテスト開始が遅れる場合があります。このような理由によってテストの開始当初は毎日のテストケース数は少ないことがあり、テストが順調に進むようになって、ほぼ一定のテストケース数を毎日実行できるようになる場合があります。
テストの終盤では、機能間の連携テストや業務シナリオに基づいた機能の確認など時間がかかるテストを実施する場合があるため１日のテストケース数が少なくなります。また、テストケースが多いサブシステムは他のサブシステムよりもテスト期間が長くなる場合があり、そのため１日のテストケース数が少なくなります。
このようにソフトウェアの品質状況やどのようなテストをいつ実施するかなどによって日々のテストケース数は変化します。
図３に日々のテストケース数とその累積数をグラフにした例を示します。図３は表１の日ごとのテストケース数合計と累積テストケース数の列を使ってグラフにしています。図３のテストケース数合計の列は、サブ１〜サブ３の合計になっており、サブごとにテストの開始時期が異なっています。
図２は、表１の累積バグ数の列を使ってグラフにしたものです。この表１の累積バグ数を日ごとにグラフにした結果を図４に示します。累積バグ数と累積テストケース数が図２のように直線的な傾向を示していても、毎日のテストの進み具合によって、日ごとの累積バグ数は図４のような形状になります。
表１は実際のデータの傾向を参考にして作成したもので実績値ではないのですが、毎日のテストで実行されたテストケース数によってグラフの形状はかなり影響されることがわかります。
図３ テスト消化項目数と経過日数
表１ テストにおける日々のテストケース数とバグ数
図４ 累積バグ数と経過日数
３．まとめ
参考文献
1) 独立行政法人 情報処理推進機構 ソフトウェア・エンジニアリング・センター：“定量的品質予測のススメ”, P149, 2008/10/1
2) 山田茂, 大寺浩志著：“ソフトウェアの信頼性 ～理論と実践的応用～”, ソフト・リサーチ・センター, (1990)
本ブログの記載内容に関する免責事項
- 本ブログの内容の利用により生じた損害に対して、いかなる理由であっても著者は一切の責任を負いませんので予めご了承ください。
- 本ブログの内容は、予告なく変更・削除する場合がありますのでご了承ください。
