Mercari Engineering Blog

We're the software engineers behind Mercari. Check out our blog to see the tech that powers our marketplace.

メルペイCTOと考える新しい経済学とエンジニアリング

12月1日にhidekさんの記事から始まったメルペイアドベントカレンダーも今日で最後です。締めくくりを私(@sowawa)が務めさせていただきます。私からはメルカリやメルペイの振り返りと「新しい経済学とエンジニアリング」の話をしたいと思います。

はじめに

2019年は兎にも角にも「メルペイのリリース」の年でした。2017年ごろからメルカリの決済基盤をマイクロサービスで作り直していき、メルペイの会社の設立を経て今年2月のリリースに至りました。最初のリリース後もまさに五月雨のようなリリースを五月雨が降る5月、6月まで積み上げていきました。リリースを積み重ねながら改善やキャンペーンが始まり、気づいたら12月を迎えていました。

続きを読む

Data EngineeringとKubernetes Executorの話

こんにちは。Mercari Advent Calendar 2019の24日目は、US版Mercari Machine Learning & Data Engineering Teamのhatoneがお届けします。

USのData Engineering Teamは、データサイエンティスト・マーケティング・会計チームetcの多岐にわたる社内データのパイプラインの構築・運用を行っています。Data Engineeringとは、どんな役割の仕事なのか?を、DIKWピラミッドフレームワークによる情報整理の事例や、実際にAirflowにてKubernetes Executorを用いたデータパイプラインの例をお話しながらご紹介していきたいと思います。

Data Engineeringとは?

普段の業務では"ログを収集して、解析して、何かしらの判断する" このようなプロセスが繰り返されていきます。膨大なデータ量を如何に解釈して扱っていくかを模したフレームワークとして、DIKWピラミッドというモデルがあります。これは、下層から上層に向かって、Data(データ), Information(情報), Knowledge(知識), Wisdom(知恵)と積み上げられていくピラミッドのフレームワークで、この4つの頭文字からDIKW pyramidまたはDIKW hierarchyと呼ばれています。

f:id:hatyone:20191223131914p:plain:w500
DIKWピラミッドの図

続きを読む

機械学習における解釈性について

こんにちは。Merpay Advent Calendar 2019 の24日目は、メルペイ Machine Learning チームの @yuhi が機械学習における解釈性についてお送りします。

  • 機械学習における解釈性とは
  • なぜ解釈性が必要なのか
    • 1. サービスを提供する事業者としての説明責任
    • 2. 推論結果に対する社内外の関係者の理解
    • 3. モデルのデバッグ、精度改善
  • どのようなアプローチがあるのか
  • SHAPについて
    • サマリ
    • 基本的なアイディア
    • 問題設定
      • 説明可能モデルに対して満たしてほしい性質
      • 説明可能モデルを求める
  • SHAPの実装について
  • 最後に
  • References

機械学習における解釈性とは

深層学習をはじめとする機械学習分野の発展に伴って、これまでにないユニークなサービスが開発され、また多くの業界において業務が効率化、高度化されつつあります。メルペイでも機械学習を用いて、与信モデルや不正検知などのサービス開発を行っております。

しかし、一般に機械学習はブラックボックスと言われているように、複雑な仮説集合をもつモデルを用いた場合には、なぜその結果となったのか理解できないことが少なくありません。そのため、機械学習の学習、推論結果を人間が容易に解釈できるようにする研究が盛んに行われています[1]

解釈性の定義について、明確な定義は存在しないようですが、以下を引用します[2]

the degree to which an observer can understand the cause of a decision.

観測者が(機械による)判断の要因を理解できる度合いです。得られたモデルによる推論結果を人間が容易に理解できるような、解釈性が高いということが望ましいのです。

続きを読む

Webの自動テストのこの1年を振り返って

Mercari Advent Calendar 2019も、この記事を入れてあと3個となりました。最後まで読んでくださいね。 23日目はAutomation&QAグループで、Webのテスト自動化を行っている@AHA_oretamaがお送りします。

今回はWebの自動テストについて、この1年やってきたことを振り返ってみようかと思います。

続きを読む

JSFestで登壇してきました

はじめまして。メルペイでフロントエンドエンジニアをしている @sottar です。

今年の11月8,9日 にウクライナのキエフで行われた JSFest というカンファレンスにスピーカーとして登壇してきました。
時間が空いてしまいましたが、その際の登壇内容や感じたことなどを紹介します。

続きを読む