Mercari Engineering Blog

We're the software engineers behind Mercari. Check out our blog to see the tech that powers our marketplace.

Asia Open Data Hackathon 2018で「最優秀賞」と「HERE International Award」を貰ったXR作品の話

ARアドカレ 9日目の代理投稿です。AR歴5年目のあっしゅ (@ashyanagisawa) がお送りします。

■ はじめに

台湾・韓国・日本の3カ国で同時オンライン中継で開催されたAsia Open Data Hackathon 2018。私が所属したチーム「STANDY」は最優秀賞「Invincible Hackers」とスポンサー賞「HERE International Award」を獲得し、韓国での授賞式に参加しました。

今回、Semantic Segmentationを活用した受賞作品「Sentiments in AR」についてご紹介します。

f:id:ash_yanagisawa:20181225234926j:plainf:id:ash_yanagisawa:20181225234922p:plain
写真左 : STANDYのメンバー | 写真右 : Sentiments in AR

■ ツイートから感情を分析

同国際ハッカソンの今年のテーマは「観光」と「市民安全(防災)」。

観光で見知らぬ土地に赴いたときや災害にあったとき、一般的なWebページで得られる情報だけでは不十分な場合があります。「Sentiments in AR」は、誰かがツイートした内容からその感情を分析し、空に可視化する表現方法です。複数の感情から災害を検知し、最寄りの避難所を示します。避難所から発生する音は空間音響 (Spatial Sound)に対応しているので、耳で瞬時に方向の把握が可能です。

フロントエンドの実装はWebVRフレームワークのA-Frameです。以下のデモは、スマホだけでなく、Oculus GoのWebブラウザ上でも動作します。

■ 顔の表情から感情を分析

別のアプローチとして、スマホやウェアラブル端末のカメラから得たデータに含まれる人の顔をリアルタイムで感情分析するデモも作成しました。以下のVimeo動画は、キャプションで同内容を説明していますので、CCをオンにして再生することを推奨します。

■ Sentiments in ARの仕組み

f:id:ash_yanagisawa:20181226125548g:plain
Semantic Segmentationで空を切り取った360度画像は内側に表示。感情や地図は外側に表示

f:id:ash_yanagisawa:20181226112449j:plain
同国際ハッカソンで使用した技術一覧

■ Asia Open Data Hackathon 2018の感想

グローバルメンバーと英語でコミュニケーションし、同国際ハッカソンをやり終えたことは、私にとって貴重な経験になりました。来年の表彰式は東京です。もし興味がある方は是非参加してみてください!

■ mercari R4DはCES 2019に参加します!