Mercari Engineering Blog

We're the software engineers behind Mercari. Check out our blog to see the tech that powers our marketplace.

JIRAで使えるQA用テスト管理ツール「Zephyr」と「TestFLO」を試してみた

f:id:daipresents2:20170804150624p:plain

こんにちは。メルカリでQA-SETチームのマネージャ兼自動化エンジニアとして、スマホアプリのテスト自動化をぶりぶりしている@daipresentsです。 

僕のチームには、QAエンジニアとSET(Software Engineer in Test)が所属していますが、メンバーの人数が増えてくるといろんな問題がでてきます。たとえば、QAエンジニアの場合は、

  1. 開発の流れがプロジェクトごとにばらばらで、プロジェクトをまたいで手伝うときに戸惑ってしまう
  2. テストケースが個人レベルで管理されてしまい、再利用も個人レベルで行われてしまい属人性の高い蛸壺ができてしまう

1については、JIRAを使う文化がメルカリにあるので、徐々にプロセスが整っていますが、2については、QAエンジニアチーム全体の課題として認識されており、スケールする組織を考える上で、今のうちに解決しておきたい課題でもあります。

今回は、2の解決案として、JIRAで使えるテスト管理ツールを調査してみました。

はじめに

検証項目については、以前このブログに書いた以下の記事をベースにしています。

tech.mercari.com

 

なかには探したけど見つからなかった機能があったり、使い方がわかっていなかったりするかもしれませんがご了承ください。

今回選んだツール「Zephyr」と「TestFLO」は、以下の記事を参考にJIRAプラグインで導入できるものを選びました。

www.softwaretestinghelp.com

「Xray」というツールも有名なのですが、クラウド上のJIRAだとインストールできず、断念しています(自分でJIRA環境立てていたらインストールできるそう)。

 

Zephyr for JIRA

f:id:daipresents2:20170920143743p:plain

Zephyr(ゼファー)は、アトラシアンのマーケットプレイスでもっともインストールされているJIRAプラグインです。

 

テストケース

f:id:daipresents2:20170920143626p:plain

JIRAのチケットと同じ感覚でテストケースを作成できるのがJIRAプラグインのいいところだと思います。メニューは英語ですが、ケースの項目見出しは日本語化されている模様。

テストケースは上記のようにステップごとに記述できますが、「説明欄」を使えばシナリオ形式でフリーフォーマットで書けます。

テストを実行する場合は、右上の「Execute」をクリックします。

 

テストの実行開始

f:id:daipresents2:20170920143636p:plain

テスト実行は、予定していたVersion、Test Cycleに紐付けて実行できます。VersionやTest Cycle(テスト計画/Test Plan)は、テストケースをひとくくりにできる単位なので、リリースバージョンごとのテストや、定期的に繰り返すレグレッションテストの単位でまとめると便利そうです。

ただ、テストケースからTest Cycleを選ぶことができても、Test Cycleからテストケースを選ぶ方法が見つからなかったので、「あれと、これと、それと、どれをこのTest Cycleに入れよう」といったテスト計画ができない気がします。これだと、フレキシブルにテストのスコープを設定したいときに辛そうですね。

また、「テスト計画を立てるまでもないけど、ちょっとこのケース試したいなー」ぐらいのときは「Ad hoc」というTest Cycleが使えます。

 

テストの実行画面

f:id:daipresents2:20170920143642p:plain

作成したステップごとに「PASS」や「FAIL」といったステータスを設定できます。バグが見つかった場合は、バグチケットの紐づけも可能です。

 

テスト実行ログ

f:id:daipresents2:20170920143648p:plain

テストの実行ログは、テストケースの画面で確認可能です。ケースを何回も再利用しながら使えそうなのはステキ。

 

フィルター

f:id:daipresents2:20170920143651p:plain

ケースや実行ログの検索もフィルタで簡単にできます。Excelやスプレッドシートも便利ですが、検索性はこういったツールのほうが優秀です。

 

テストメトリクス

f:id:daipresents2:20170920143658p:plain

テストメトリクスもグラフィカルに確認可能です。レイアウトも細かく設定できそうなので、テスト報告も楽ちんにできますね。

 

トレーサビリティレポート

f:id:daipresents2:20170920143703p:plain

面白かったのがこの「トレーサビリティレポート」。「Requirements --> Tests --> Executions --> Defects」か「Defects --> Executions --> Tests --> Requirements」で、どのようにチケットが関連しているのかをグラフィカルに見れます。

 

TestFLO 

f:id:daipresents2:20170920143805p:plain

TestFLOもJIRAプラグインなのでインストールは簡単です。こちらはZephyrと違って、テストケースをJIRAチケットとしてあつかっておらず、あるチケットの中にテストケースを埋め込む形になっています。

 

f:id:daipresents2:20171008163302p:plain

設定画面で有効にすると使えるようになります。

 

f:id:daipresents2:20171008163257p:plain

そして、Global Configuration からTestFLOを紐付けるIssue Typeを選びます。

 

テストケース

f:id:daipresents2:20171008163306p:plain

テストケースは専用のTest Steps Repositoryとよばれるリポジトリに作っていきます。まずはStepの集合であるSetを作成。

 

f:id:daipresents2:20171008163310p:plain

その中にStepと呼ばれる手順を記述していきます。

 

f:id:daipresents2:20171008164053p:plain

作成されるとこのようにSetの一覧が表示されます。これだとケース数が増えると大変そうですね。検索もここで行うので、ケースのフィルタリングなどはJIRAの検索機能を使えません。

 

f:id:daipresents2:20171008163321p:plain

そして、作ったSet/Stepは、開発で使っているチケットに紐付ける形になります。Zephyrはチケットにチケットを紐付ける形ですが、TestFLOは独自のデータをチケットに埋め込む形です。

テストの実行画面

f:id:daipresents2:20171008163327p:plain

Stepごとに実行し、その結果を埋めていきます。実行ログはチケット本体に残すしかなさそう。

ただ、TestFLOのライブデモをみると、Test PlansやRequirements、レポート機能へのリンクが表示されているので、Test FLO ReportsTestFLO Automation for Test Executionといった別プラグインを拡張させないと駄目なのかもしれません。

比較

TestFLOはZephyrと違い、機能が絞られているので比較が難しいですがまとめてみます。

 

  Zephyr TestFLO
簡単なケース管理

JIRAと同じUIで作れる

○ ケースだけ専用リポジトリで管理する形なのでわかりやすいが、ケースが多くなるとつらそう。
自動化されているテストとそうでないテストが簡単に分類できること

○ JIRAのラベルで分類が簡単にできる。

△ カテゴリ別にわけられないが、チケットにケースが紐付く形なので、工夫すればできそう。
ケースのトラッキング/トレーサビリティ ◎ JIRAなので。そしてグラフィカル △ 上に同じ。
簡単なテスト計画づくり(テストスコープ、アサインなど) ☓ テストサイクルにテストを簡単に追加できない。テストからテストサイクルを選ぶしかない? △ 別プラグインで提供されている模様
テストの進捗管理 ◎ サマリー表示、メトリクス表示ともに見やすい △ チケットに紐づくケースの進捗はわかるが、複数チケットがわからない。
テスト結果管理 ○ チケットになるので管理しやすい ☓ そういう機能が見つからなかった。これもチケットでうまくやるしかない。
テスト結果の一括入力 ☓ ひとつづつしかできない? ☓ そういう機能はない。これもチケットでうまくやるしかない。
バグ管理ツール連携 ◎ JIRAと連携できる ◎ JIRAと連携できる
レポート出力 △ TracabilityはHTMLとEXCELに出せる。メトリクスやサマリーはブラウザの印刷を使うしかなさそう △ 別プラグインで提供されている模様
操作性 ○ JIRAなので可もなく不可もなく ○ JIRAなので可もなく不可もなく
通知 ○ JIRAなのでいろいろできる ○ JIRAなのでいろいろできる
カスタムフィールド ○ JIRAなのでいろいろできる ○ JIRAなのでいろいろできる
自動テストからのステータス変更(API) API Docs ☓ そういう機能が見つからなかった。
自動テストとの連携 ☓ そういう機能が見つからなかった。 △ 別プラグインで提供されている模様
インポート/エクスポート ◎ API使えばできそう ☓ そういう機能が見つからなかった。

英語化

◎ 海外製プラグインですので ◎ 海外製プラグインですので

料金プラン

  • Up to 10 users $10 monthly flat fee
  • 11 - 100 users $3.50 per user/month
  • Up to 10 users $10 monthly flat fee
  • 11 - 100 users $2 per user/month

機能が別プラグインにわかれているので全部揃えるとお高め?

 

TestFLOが若干安く感じますが、テスト管理に必要な機能を揃えるとZephyrがよさそうです。

また、JIRAを使われているのであれば、どちらのプラグインもチケット連携できるので、普段見る画面でテスト管理もできるようになります。

スケールする組織を目指す上で、テストケースなどの知識共有の改善は不可欠です。ツールがすべてを解決してくれるわけではないでしょうが、しばらく、Zephyrを試してみたいと思います。