Mercari Engineering Blog

We're the software engineers behind Mercari. Check out our blog to see the tech that powers our marketplace.

機械学習ツールキット KubeflowについてGDG DevFest18 で登壇してきました

メルカリ機械学習エンジニアの @hurutoriya です。 2018/09/01 に開催された GDG Dev Fest 2018 で Kubeflow について登壇してきました。

ML Sessions | GDG DevFest 2018 Tokyo

発表資料

www.slideshare.net

Kubeflowについての基礎的な説明は発表資料で行っているので、ぜひご覧ください。

発表内容は、機械学習をサービスとして提供する際にいろんな壁が存在していますが、その壁をぶっ壊すのが Kubeflow だ! という流れで発表をしてきました。 僕自身が機械学習エンジニアということもあり、k8sを知り尽くしているわけではなく、あくまで機械学習エンジニアとして Kubeflowの所感を共有させていただきました。

僕自身がKubeflowに興味をもった背景としては、メルカリでは機械学習基盤の開発を

  • 機械学習システムの運用の低コスト化
  • 機械学習システムのサービスインまでのハードルを下げる

を目的に行っています。

現在のメルカリの機械学習システムの規模感として、1日数千万回の予測がメルカリの機械学習基盤上で行われています。 参考資料

その関連で機械学習基盤関係の論文や記事を読み漁っているとTensorFlow Extend(以下、TFX)の概念とKubeflowというOSSに出会いました。

  • TFXについての解説資料(メルカリ機械学習チームでの社内セミナー)

www.slideshare.net

所感

現状の Kubeflow 0.2 では、以下のような構成になっています。 f:id:hurutoriya:20180905135037p:plain

Kubeflow で提唱されている End to Endで機械学習システムを構築できるツールキットは難しいですが、各コンポーネントは概念的に非常に面白いものばかりです

Kubeflow 0.2 では、先ほど紹介したTFXと呼ばれるGoogle の機械学習基盤のコンポーネントがOSSとして公開されその一部分が取り込まれいています

上記のTFT, TFMAは Phase1 での公開で、最終的にはPhase3でTFXのすべてをOSSとして公開するとのことです!! - TensorFlow DevSummit2018でアナウンスされたTFXの紹介動画

f:id:hurutoriya:20180905142623p:plain:h300

TFXが提案している機械学習基盤のコンポーネント郡

Kubeflow 1.0 は Kubecon2018 NA(2018.12.16 ) にリリース予定です。 1.0の目標として以下のロードマップが公開されており、非常に期待しています。

  • KubeFlow 上での CI を提供
    • 新しいデータがロードされると、モデルを再学習
    • モデルの評価
    • 評価の結果、良かったモデルをプロダクションへロールアウト

まとめ

メルカリ機械学習チームでは、最新の技術スタックを使いこなすことや、機械学習基盤を作成して社内の機械学習システム構築を加速させることに重きをおいて開発を行っています。