BuildInsightsで統計をテストします

InsightsProのみ

Build Insightsのテスト統計は、InsightsProでのみ使用できます。 今すぐプロアクセスをリクエスト

Build Insightsは、Bitrise Testレポートと統合して、すべてのテストにわたる過去のパフォーマンス追跡を提供します。テスト統計を使用すると、パフォーマンスの低いテストと安定性の問題を見つけることができます。これに加えて、改善を測定するためにあなたが持っているテストの数を追跡し、あまりにも多くのスキップされたテストや失敗したテストがすり抜けないようにします。

テスト統計へのアクセスの設定

Build Insightsでテスト統計を表示できるようにするには、ワークフローに少なくとも2つのステップが必要です。

  • テストケースを実行するテストステップ。

  • The Bitrise.ioにデプロイします ステップ。

結果を自動的にエクスポートする5つのテストステップがあります。 Bitrise.ioにデプロイします ステップ:これらのステップのいずれかを使用し、Build Insightsにアクセスできる場合は、テスト統計にアクセスするために何も構成する必要はありません。手順は次のとおりです。

  • iOS用Xcodeテスト

  • Androidユニットテスト

  • iOSデバイスのテスト

  • Android用の仮想デバイステスト

  • フラッターテスト

他のステップを使用する場合は、テスト結果が最終的に $BITRISE_TEST_RESULT_DIR、自動的に公開されます 環境変数 正しいパスを指しています。

テスト統計ダッシュボードへのアクセス

テスト統計ダッシュボードにアクセスするには:

  1. Bitriseアカウントにログインします。

  2. 右上隅にあるアカウントセレクタのドロップダウンメニューを開き、ワークスペースを選択します。

  3. ヘッダーで、をクリックします インサイト。これにより、選択したワークスペースのInsightsダッシュボードに移動します。

  4. クリック テスト統計 タブ。

テスト統計のフィルタリング

ダッシュボードの右上で、時間範囲とテストケースのプロパティをフィルタリングできます。

test-stats-filter.png

テストケースプロパティのフィルタリングとは、次のことをフィルタリングできることを意味します。

  • 状態:合格、不合格、スキップ、不確定のテスト統計のフィルター。

  • ブランチ:特定のブランチセットのテスト統計をフィルタリングします。

  • モジュール:特定のモジュールまたはパッケージのテスト統計をフィルタリングします。

  • テストスイート:特定のセットテストスイートのテスト統計をフィルタリングします。

テスト数とテストの概要

テスト統計ダッシュボードでは、以前に選択した時間範囲でのテストの数を、テストのステータスごとに分類して確認できます。可能なステータスは次のとおりです。

  • 合格しました

  • 失敗した

  • スキップ

  • エラー

test-counts.png

グラフを使用して、テストケースのパフォーマンスを経時的に追跡できるため、テストカバレッジの変化を簡単に見つけることができます。

テストカウントグラフの下に、以前に選択した時間範囲内の個々のテストケースを表示するテスト概要ウィジェットがあります。テストケースを並べ替えて、面倒なテストを見つけることができます。

test-summary.png

以下を介した並べ替えをサポートします。

  • 合計実行時間:各テストケースの実行に費やされた時間とクレジット。

  • 実行:各テストケースの実行の総数。

  • 再実行:各テストケースが合格するために再実行を必要とした回数。これは、テストの薄片性の指標です。

  • 成功率:合格した完了したテスト実行のパーセンテージ。中止されたテスト実行は含まれません。

  • 典型的な期間:各テストケースの実行時間の50パーセンタイル(中央値)。

  • 最も遅い期間:各テストケースの95パーセンタイル実行時間。

テストケースごとに、最近のパフォーマンスを示す最近の履歴チャートも表示されます。テストケースをクリックすると、テストケースの履歴ページに移動します。

テストケースの履歴

Build Insightsは、各テストケースのメトリックを経時的に追跡し、各テストケースの過去のパフォーマンスを分析できるようにします。

テストケース履歴ページの上部に、その特定のテストケースの集計統計を表示できます。これらは、テスト統計ダッシュボードのテストサマリーウィジェットの各テストケースに表示されるものと同じ統計です。

test_case_stats.png

テストケースのパフォーマンスをより詳細に調べるには、以下を参照してください。

  • 期間の傾向:テストケースの過去のパフォーマンスを示します。グラフには、50パーセンタイル(中央値)と95パーセンタイルのパフォーマンスが表示され、テストのパフォーマンスが時間の経過とともに良くなるか悪くなるか、および一貫性がどのように変化するかを確認できます。

    duration_trend.png
  • 成功率の傾向:成功率の傾向は、時間の経過に伴うテストケースの成功した実行の割合を示します。

    success_rate_trend.png
  • 最新のテスト:このタイムラインには、この特定のテストケースの最近の実行の履歴と、各実行に関する詳細情報が表示されます。

    run_timeline.png

最新のテスト チャート、実行にカーソルを合わせると、詳細が表示されます。

  • 状態:色で示されるテスト実行のステータス。

  • 繰り返し:必要なテストケースの再実行回数。

  • 間隔:テストの実行にかかった時間。

  • テストスイート:テストケースの親スイート。

  • ブランチ:テストが実行されたコードを含むgitブランチ。

  • ビルド番号:このテストが実行されたBitriseビルド番号。

テスト実行のいずれかをクリックして、テストを実行したビルドのBitriseビルドログを取得します。