ファイナリストになることが優勝とイコールではない
a1qa は、2025 年 10 月に、ベスト テスト自動化プロジェクト (機能) および AI ドリブン オートメーションの最終候補に残ったと報告しました。このコミュニケーションの中で、同社は、スピードの向上、手作業の削減、コストの削減がその実践のおかげであると考えています。これらはその成果に関する企業の主張であり、比較グループとの独立した測定値を公表したものではありません。
North American Software Testing Awards 2025 の公式受賞者ページには、AI 駆動オートメーションとは異なるカテゴリーである AI を活用した品質保証の受賞者として、Infosys – Healthcare プロジェクトがリストされています。 a1qa は後者の最終候補者であり、前者の勝者ではありませんでした。ファイナリストは表彰されたものですが、受賞と同等ではなく、それ自体がリスクやコストの削減率を検証するものでもありません。
受賞歴、カンファレンス、ベンダーの事例は、テスト設計、欠陥分析、視覚的自動化、データ準備、AI システムの評価など、AI がどの分野でテストされているかを示しています。キャップジェミニ、ソゲティ、オープンテキストが作成した世界品質レポート 2025 ～ 26 によると、調査対象の組織の 89% がソフトウェア品質において生成 AI をテストまたは使用していたそうです。会社全体に使用を拡大したのはわずか 15% でした。
このレポートでは、結果を報告した組織では、平均して 19% の生産性の向上が観察されたことも示しています。 3 分の 1 は、改善はわずかだったと言っています。この調査はこの分野の企業によって作成されたものであるため、これらの組織が報告している内容を知るのに役立ちますが、すべての企業で同じ結果が保証されるわけではなく、独立した比較として機能するものでもありません。
加速の約束を評価する方法
明確な比較を求めます。配信のどの段階がより速くなりましたか?欠陥はどの程度深刻に測定されましたか?レビュー、テスト保守、インシデント時間はカウントされましたか?分析されたプロジェクトの数と期間はどれくらいですか?誰がデータを収集したのか?一般的なパーセンテージだけでなく数量と比率を尋ね、テストの実行で節約された時間をツールの統合と監視のコストから分離します。
有用な管理されたテストでは、狭いタスク、事前の成功基準、エージェントが処理できるデータ、タスクを停止するメカニズム、独立したレビュー、および総所有コストを特定します。これらの要素がなければ、ケースはチームの財務予測ではなく、インスピレーションとして機能します。
小売企業向けの回帰テストに関する公開された事例では、a1qa では約 5,000 のテストのセットと、製品の一部に限定された最初の段階について説明しています。同社によれば、バージョンを公開できるかどうかを決定するまでの時間が、約 2 週間から 5 営業日以内に短縮されました。また、一部の変換済みテストの準備にかかる時間が 30% 以上短縮されたことも報告されています。 AI は、要件からテストを提案し、ギャップを見つけ、ダミーデータを準備し、バグを分類するのに役立ちました。誰かがテストを組み込む前に承認した。
この事例は、作業のどの部分がどのように変更されたのかを説明しているため、単一の割合よりも有益です。ただし、これはベンダーによって公開されたものであり、独立した評価でも、他のチームが同じ評価を得るという保証でもありません。別のプロジェクトと比較するには、どのようなテストが測定されたか、どれくらいのレビュー時間が含まれているか、本番環境とその後のメンテナンスに至った欠陥に何が起こったかを知る必要があります。
調達時や管理されたテストで使える評価シート
比較するための 5 つの情報を尋ねます。プロジェクトに含まれるものと省略されたもの。初期の状況はどのようなものか、測定はどのくらいの時間続いたのか。 「貯蓄」と「デフォルト」の意味。人々のスクリーニングを含むすべてにかかる費用。また、次のバージョンのセキュリティ、安定性、メンテナンスはどうなったか。期待される結果が明確なタスクを選択し、同等の例を使用して現在のプロセスと支援されたプロセスを比較します。どのような結果があれば最初のテストを延長、修正、または中止するかを事前に決定してください。
外部からの評価は、実験を行っているチームや尋ねる価値のある質問を見つけるのに役立ちます。ただし、導入の決定には、再現可能な結果、関連性の低いリスク、または目に見えない作業を QA、開発、または運用に移すことなく総コストを削減するなど、自社の製品からの証拠が必要です。
賞は、ノミネートが特定のカテゴリ、エディション、および審査員内で評価され、認められたことを証明できます。研究する価値のあるサプライヤー、技術、プロジェクトを発見するのに役立ちます。このソリューションがすべての代替案よりも優れていること、結果が他のコンピューターでも再現可能であること、またはコストに見合った利益が得られることを自動的に証明するものではありません。正確なカテゴリが重要です。「AI 主導の自動化」、「AI を活用した品質保証」、および「テスト自動化」は同義語ではありません。バッジを証拠として使用する前に、その企業がファイナリストか優勝者か、正式なカテゴリは何なのか、どのプロジェクトに授与されたのかを確認してください。
また、裁定を運用上の事件から切り離すこともお勧めします。企業は有効な認知を得て、実際の利益を伴うビジネスストーリーを公表することはできますが、その利益には範囲、期間、方法が必要です。生産性のパーセンテージでは、どのような活動が測定されたのか、準備とレビューが含まれるのか、生産での欠陥で何が起こったのかが明確になっていません。厳密なメモは、たとえば「サプライヤーの報告」など、ありのままの記述を提示するものであり、それを独立した事実にするものではありません。この区別により読者が保護され、見出しを繰り返すのではなく比較を決定するのに役立ちます。
a1qa の事例を検証可能な仮説として捉える
a1qa が公開した小売業向けの回帰に関する事例では、数千件のテストの在庫と限られた初期段階について説明しています。同社は、リリースの決定が約 2 週間から 5 営業日以内に短縮され、一部の変換されたケースの準備に必要な時間が 30% 以上短縮されたと報告しています。また、人間の承認を得た、要件からのテスト提案、ギャップ発見、ダミーデータ、障害トリアージについても説明します。どのタスクを変更したかがわかるため、一般的なフレーズよりも有益です。これはプロバイダーによって作成されたケースのままであり、独立した比較グループは示されていません。
その経験をチームに反映するには、どのような種類のテストが行われたのか、どれだけのテストが変換されたのか、人的時間はどのくらいカウントされたのか、修正が必要な割合はどれくらいなのかを尋ねます。改善が複数のリリースに続いたかどうか、機器や受け入れ規則が変更されたかどうか、回避された欠陥が安定したままであるかどうかを確認します。成功だけでなく、失敗した例も尋ねてください。プロバイダーが機密保持のためにデータを共有できない場合は、集約方法を説明したり、管理されたデータに対する管理されたテストを許可したりできます。何が測定されたかを明確にするために機密コードを開示する必要はありません。
対照試験の前に、問題、症例数、ベースライン、および下す決定を記載した 1 ページのカードを作成します。頻繁なフローと高リスクのケースを含む代表的なサンプルを定義します。ベンダーに、自社のツールが最適に見える例だけを選ばせないでください。同等のルールを使用して、現在のプロセスと支援されたプロセスを実行します。検出結果の正確さ、リスク範囲、重複ケース、セットアップ作業、トリアージ、メンテナンス、および合計時間を記録します。ライセンス、モデルの使用量、インフラストラクチャ、サポート、および内部レビューのコストを分離します。
結果を確認する前に、成功と停止のしきい値について合意します。管理されたテストは、ツールの適合性の低さ、コンテキストの不十分さ、セキュリティの制限、または統合が原因で失敗する可能性があります。これらの原因は同等ではありません。速度は向上しますが、重大な欠陥やメンテナンス作業が増加する場合、バランスはプラスではありません。賞品が商品を見る動機になれば、それは良いことです。購入は、独自のプロセスで再現可能な証拠と、コンピューターをロックしたままにせずにデータをエクスポートしてソリューションを非アクティブ化できる出力に依存する必要があります。
ベンダーの製品デモで確認したい質問
デモ中は、証拠を生成する画面を見るだけでなく、要件から結果までの変化を追跡するように依頼してください。テストされている製品のバージョンは何ですか?それぞれの基準はどこから来たのでしょうか?システムは実行が失敗したとみなす理由を示すことができますか?ページが遅れたり変更されたりした場合はどうなりますか?環境上の欠陥と欠陥をどのように区別しますか?提案を保存する前にレビューして修正できますか?これらの質問により、ツールが日常業務に適合するかどうか、またはサンプルが事前に準備されたデータに依存しているかどうかが明らかになります。
出力と移植性もチェックしてください。チームが保持できる形式でケース、結果、証拠をエクスポートするようリクエストします。誰がデータにアクセスできるのか、どのくらいの期間保存されるのか、対照試験終了時にどのように削除されるのかを尋ねます。プロバイダーが変更された場合、またはライセンスがキャンセルされた場合にどうなるかを確認してください。アンケートは相談できる企業を見つけるのに役立ちますが、役立つ評価には、使用条件、運用制限、責任、撤退計画が含まれます。たとえ受賞がニュースにならなくなったとしても、最終決定は正当化されるべきである。
市場広告を読む際にも同じ基準が使用されます。最終候補者のリストは、一定のルールに従って応募と評価があったことを示しています。参加したソリューションの数や、言及を受けなかった候補者のパフォーマンスは示されません。受賞者のページでは、正式な結果を確認することができ、サプライヤーは自社の製品またはプロジェクトのどの部分を発表したかを明確にすることができます。各文書は異なる質問に答えます。それらを比較することで、企業の評判とすべての商業上の数字の独立した検証とを混同することを避けられます。