Mercari Engineering Blog

We're the software engineers behind Mercari. Check out our blog to see the tech that powers our marketplace.

Data Processing

メルペイにおける大規模バッチ処理

この記事は MERPAY TECH OPENNESS MONTH の 13日目の記事です。 こんにちは、メルペイ ソフトウェアエンジニアの laughngman7743 です。 メルペイではマイクロサービスにおけるデータストアのデータや、アプリケーションのログを有効活用できるような基盤づ…

メルペイにおける Dataflow Template の活用

この記事は MERPAY TECH OPENNESS MONTH の9日目の記事です。 株式会社メルペイのSolutionチームでデータエンジニアをやっている @orfeon です。 この記事ではGCPのデータストアサービスやプロジェクトをまたいでデータを活用するためにメルペイで活用してい…

Apache Avro に入門した

この記事は MERPAY TECH OPENNESS MONTH の 1 日目の記事です。 メルペイでソフトウェアエンジニアやっている @syu_cream です。 メルペイバックエンドシステムにおけるデータ・ログ収集と活用を促進するためのシステム DataPlatform の仕事をしています。 …

僕たちはどうマイクロサービスのログを収集するのか

Mercari Advent Calendar 2018 の14日目はメルペイ DataPlatform チームの @syu_cream がお送りします。 本記事では表題の通り、メルカリとメルペイにおける、マイクロサービスのログ収集に関する課題と取り組みについて記載します。

GCPでStreamなデータパイプライン始めました

こんにちは、はじめまして。メルカリでデータエンジニアをしている、しゅう (@shoe116)です。Mercari Advent Calendar 2018の3日目を担当することになりました。 メルカリではデータの活用が盛んな一方で、実はデータ処理を専門にやるエンジニアが最近まで存…

メルペイ DataPlatform Team の設立とその背景

こんにちは。入社してかれこれ 1 年経過した @syu_cream です。本記事では、メルペイにおけるログ収集の基盤となるチームの設立と、それに至った背景や課題感についてお伝えできればと思います。 背景 基本的な背景は以前の記事で紹介させて頂いた通りなので…

数百GBのデータをMySQLからBigQueryへ同期する

SRE所属の @siroken3 です。最近はもっぱらパートナー会社様とのデータ連携環境構築を主に、時々プロダクションのMySQL環境と分析基盤との連携インフラの構築が多いです。 本記事は、メルカリに出品された過去すべての商品をBigQueryへ同期するにあたって取…