Mercari Engineering Blog

We're the software engineers behind Mercari. Check out our blog to see the tech that powers our marketplace.

初開催 XRDC 2018 参加レポート #XRDC18

f:id:ikkou:20181109141703j:plain

こんにちは。研究開発組織“R4D”のXRチームで、エンジニアとして主にVRの分野やARの分野を研究開発などを行っている、XR Developerの@nakatarotaroです。VRや、ARの技術が毎日のように、普通に使われてる未来がくるように頑張ってます。

10/29と10/30の2日間、GDCのXR特化版であるXRDCに参加するため、サンフランシスコに行ってきました。そのレポートを写真多めでお伝えします。

XRDCとは

XRDCはAR(Augmented Reality:拡張現実感)、VR(Virtual Reality:人工現実感)、MR(Mixed Reality)をテーマとした大規模カンファレンスです。その前進としてGDC(Game Developers Conference)に併催されてきたVRDC(Virtual Reality Developers Conference)があり、その成功を受けて具体的な活用事例に焦点を当てられたのがXRDCです。

www.xrdconf.com

XRDCとしての開催は今回が初めてで、Westin St. Francis Hotelを会場として2日間に渡って50程度のセッションと、複数のデモコンテンツが用意されていました。

出発および到着

10月29日の20:00頃に日本を出発し、サンフランシスコには28日の13:00、つまり日本時間で29日の早朝5:00に到着しました。

f:id:ikkou:20181109141706j:plain

会場のホテルはなかなか歴史のありそうな建物で、日本の国旗とアメリカの国旗がなびいていました。滞在中、会場のホテルの周りではOculus Connect 5のときにも見かけた”One Job Should Be Enough”のデモをずっとやっていていました。バケツなどを太鼓がわりにして、叩いていて非常に騒がしかったです。

f:id:ikkou:20181109141711j:plain

サンフランシスコ市内にはAmazon Goがあります。専用アプリをダウンロードし、QRコードを表示して、それを読み取らせてゲートから入場します。そして、商品だけを持ってゲートを出て、手にした商品を紙袋に入れて外にでることができました。支払いはAmazon Goを出たあと、街を歩いていると決済の通知が来ました。ちなみに、店内には複数の店員がいて、商品の数などを細かくチェックしていました。

会場内への入場

f:id:ikkou:20181109141715j:plain

会場内の受付でレジストレーションの証明書と、パスポートを見せると、裏に電極がついている入場カードを渡されました。それをセッション毎にスタッフがスマホで読み取っていました。このカードで読み取った情報はWebのマイページと連動していて、受けたセッションが自動で登録されて感想をかけるようになっていました。

また、会場では朝食が振る舞われていて、セッションを受ける前に朝食をすませてました。

セッションの様子

前述の通り、会期中の2日間で50程度のセッションがあり、同時に3セッション程度が複数の部屋で行われていました。また、初日のセッションの最後にはMeetUpのようなパーティーが催されていて、スポンサーが出展しているデモを見たり話をしたり食事をしたりしていました。

すべてのセッションに参加することは不可能なため、参加したセッションについて紹介します。

1日目

Intro to Facebook's Spark AR: Immersive Experience Workflows in Spark AR

FacebookがリリースしているSpark ARについてのセッションです。

schedule.xrdconf.com

2018年からVRとARが別々に発展してくるようになってきて、VRの頭に装着し、それに合わせて動く技術がARにも(スマートグラスのようなメガネ型など)適応されて技術が融合するようになるだろうという見通しから話されました。

f:id:ikkou:20181109141721j:plain

その後、Sparkc ARの様々な機能のデモ映像を流していました。

f:id:ikkou:20181109141726j:plain

Opening the Curtain on VR Success

HTCによるVive Portの状況を説明するセッションです。

schedule.xrdconf.com

まず、Viveportのマーケット状況について話していました。

f:id:ikkou:20181109141730j:plain

2017年に比べて、支払いおよびサブスクリプションのMAUは10倍になっているとのことでした。また、成功しているタイトルの話をされており、VRChatBeat Saberの状況が発表されていました。

f:id:ikkou:20181109141736j:plain

既報の通り、VRChatは300万ダウンロードという話をしていました。

その後、現在のVIVEの取り組みの話をしていて「6DOFのコントローラーのDevkitを出す」という話や、「VIVE Proでの指のトラッキングの研究もしている」という話が挙がりました。

f:id:ikkou:20181109141739j:plain

Mixed Reality Guidance for Medical Procedures

スタンフォード大学のメディカル系の取り組みについてのセッションです。

schedule.xrdconf.com

f:id:ikkou:20181109141743j:plain

スタンフォード大学で医療のMixed Realtiyの取り組みをしているらしく、MRIでとった情報をHoloLensを使い、患者を確認しながら患部の位置を確認できるようなビューアを開発しているなどの話でした。また、骨の動きのシミュレーションや、手術用のチューブの動きのシミュレーションなどの表示などもHoloLensで行っている様子をみることができました。

Haptics for XR

XRにおけるHaptics(触覚)についてのセッションです。

schedule.xrdconf.com

指にそれぞれ、フィードバックがかかる機器を装着して、VRと組み合わせる装置のデモを行っていました。セッション会場でもデモが行われて、実際の機器を見れて面白いセッションでした。

f:id:ikkou:20181109141751j:plain

UX Design Guidelines for Building AR Cloud Apps

Placenote CEOによるAR CloudのUXデザインについてのセッションです。

schedule.xrdconf.com

ARクラウドとは

ARクラウドとは、フィジカルな現実世界と、その位置・モノなどに紐付く情報をデータとしてクラウドに保存する概念です。2009年にリリースされ、現在はクローズしているセカイカメラを想像すると分かりやすいかもしれません。セカイカメラはARクラウドと言い切ることは出来ませんが、概念を理解するには分かりやすい例です。

このセッションはARについて結構重要なことが話されていて、個人的にはとてもためになりました。

まずはじめに、やってはだめなUXデザインについて「画面を覆うようなデザインはだめだよ」というジョークから始まりました。

f:id:ikkou:20181109141754j:plain

その後、簡単なUIデザインの例の提示されました。例えば、ARの平面検出を構築するのに端末をいろいろと動かして検出するのは不自然な動作になるため、キャラクタを動かしてそれをカメラで追うようなUXを定義して、楽しみながら平面検出できるユニークなUXデザインが提示されていました。

f:id:ikkou:20181109141757j:plain

その後、六本木ヒルズで開催されていたNitanticのイベントにあったゲームのようなサンプルの動画が流されていました。

f:id:ikkou:20181109141801j:plain

Top 5 Things VR Developers Need to Know Based on Data

1日目の最後にはVRのデータ解析を行っている方から、VRのプレイ解析についてのセッションを聞きました。

schedule.xrdconf.com

まずは、テレポーテーションで、移動するプレイタイプの移動範囲と実際に動いてプレイするタイプの位置移動範囲のヒートマップデータが示されました。また、リプレイしてもらえるVRアプリは、最初のセッションで31%決まってしまうということがわかっているそうです。そして、VRのリテンションの割合も示してくれました、最後にリテンションについてのまとめが挙げられました。

f:id:ikkou:20181109141808j:plain

f:id:ikkou:20181109141813j:plain

f:id:ikkou:20181109141817j:plain

パーティー

初日の夜の最後にパーティーがあり、各メーカーのデモなども見学できました。特に目新しいものはありませんでしたが、プロジェクションマッピングを簡単にできるようにするKitのデモや、モバイルVR用端末でも6DOFを実現するNOLOというデバイスのデモなどがありました。そして最後にShadow Motion Capture Systemというデモを見ました。

f:id:ikkou:20181109141821j:plain

www.motionshadow.com

帰り際にノベルティとしてVIVEの帽子とコップクーラーを頂いて1日目は終了しました。

f:id:ikkou:20181109141824j:plain

2日目

The Holodeck is Here...Now What? Advanced Interactions for Room-Scale VR

2日目の最初に受けたのはJobSimulatorで有名なOwlchemy Labsの方によるセッションです。VRでのインタラクションのデザインパターンというものでした。

schedule.xrdconf.com

VRのアプリのUXデザインや操作性など盛々な内容で、まずはVR空間内での移動についての内容が話されてました。

f:id:ikkou:20181109141828j:plain

移動に関して非常に気を遣った結果、移動方法としてテレポーテーションを使うようになったそうです。最近のFPSのゲームや第三者視点のものによく使われています。テレポーテーションにも種類があって、初期のものは「細かいテレポーテーション」で、どこにでも移動できるテレポートでデフォルトとして多くのゲームでサポートされています。

f:id:ikkou:20181109141832j:plain

f:id:ikkou:20181109141842j:plain

f:id:ikkou:20181109141846j:plain

「細かいテレポーテション」には初めてのユーザーが正確に移動できないという問題がありました。そこで考え出されたのが「ゾーンベースのテレポーテーション」でした。

f:id:ikkou:20181109141849j:plain

リリースを控えているVacation Simulatorではゾーンベースのテレポートを使っているようです。テレポートするときの地面の種類による音にもこだわっていて、それぞれ違う音になり、実際に歩いて移動しているように感じられるよう工夫されてるそうです。

f:id:ikkou:20181109141853j:plain

また、次に話されたテーマはアタッチで物の設置についてでした。JobSimulatorの「物の積み重ね」は位置を小数点で決めていたため、きれいに積み重なりませんでしたが、Vacation Simulatorのハンバーガは改善してうまく積み重なるようになりました。アタッチについても改善してアタッチ位置をうまく調整できるようになり、アタッチの場所の幅に対してもアタッチする側のオブジェクトの大きさ調整をいれることにより、うまくアタッチできるようになりました。

f:id:ikkou:20181109141857j:plain

f:id:ikkou:20181109141901j:plain

f:id:ikkou:20181109141904j:plain

f:id:ikkou:20181109141909j:plain

f:id:ikkou:20181109141916j:plain

VR内でのキャラクタの使い方にも様々な知見があり、そのあたりの説明もされていました。VRでのフィジカルな動作に対するリミテーションにおいて、アイテムを拾い上げる動作を簡単にするため、アイテムをホバーさせる工夫などもしているという話もありました。

f:id:ikkou:20181109141919j:plain

Rendering Quill Art on Oculus Quest

QuillというFacebookがリリースしているTitle Brushのようなペイントアプリのセッションです。

schedule.xrdconf.com

まずはアプリの紹介から始まり、どのようなツールがあるか、どのようなデータ構造でやっているかなどの込み入った話を聞きました。そしてMobile VR にも同じアプリを移植した話、Oculus Questでも動作するように最適化した話など、多伎にわたる内容を取り扱っていました。

f:id:ikkou:20181109141925j:plain

f:id:ikkou:20181109141929j:plain

Mixed Reality and Magritte: Bringing an Immersive Space to SFMOMA

SFMOMAというサンフランシスコにある美術館の取り組みについてのセッションです。

schedule.xrdconf.com

美術館の紹介から始まり、今回の取り組みのコンセプトのもととなった絵画の紹介コンセプト自体の説明がありました。そして、できた作品、仕組みが紹介されました。

f:id:ikkou:20181109141933j:plain

f:id:ikkou:20181109141937j:plain

f:id:ikkou:20181109141940j:plain

The Dolphin Swim Club: A Healing Underwater VR Experience

水中でイルカを見ることができる水中メガネ型VR機器を使った、セラピーになる取り組みを紹介するセッションです。VR用の映像をとっている様子、実際に水中でどのように見えるかという説明をしていました。

schedule.xrdconf.com

f:id:ikkou:20181109141944j:plain

f:id:ikkou:20181109141953j:plain

Get Ready for the Age of 6DoF Mobile VR

Nolo VRというモバイルVR用の6DOFコントローラを紹介するセッションです。

schedule.xrdconf.com

まず、中国での市場の大きさの説明から始まり、モバイルVRがいかに成長する分野かを力説していました。その後Nolo VRのKickstarterでの取り組み、Nolo VR自体の付属している内容および機器のスペック、SDKのサポート状況などが話されました。

f:id:ikkou:20181109141957j:plain

f:id:ikkou:20181109142002j:plain

Mastering XR for Automotive

最後のセッションとして、さまざまな車メーカーのVR/AR体験アプリを提供しているZeroLightによるセッションを聞きました。

schedule.xrdconf.com

まず、車のXR体験アプリを作ったメーカーのリストをあげてました。有名なところから、年40台しか作ってないメーカーまで様々でした。具体的な例がいくつか示され、例えば日産では「実際には車のないところで車を体験できる」VRコンテンツがあり、外野からみると面白い光景だというお話をされてました。また、他のメーカーでは車の椅子部分だけの場合もあり、その時も面白い光景だったとのことでした。最後に得られた知見のリストをあげていました。

f:id:ikkou:20181109142009j:plain

f:id:ikkou:20181109142012j:plain

まとめ

XRDCは今回が初開催のカンファレンスということもあってか、セッションの内容は全体的に知見の共有というより「こんな取り組みをしているよ」という発表にとどまっているものが多く感じられました。また、展示も大きく場所を確保しているというわけでもなく数社のスポンサーが少しだけ展示してるという感じで、海外のカンファレンスとして参加してみると少し物足りなかったです。ただ、VR/AR/MRの入門者にはちょうどよい内容のセッションも多く、もしかすると運営側はそういった方を対象者として開催したのではないかと感じました。

来年も引き続きXRDCに参加するかはわかりませんが、これからも最新のVR/AR/MR動向を追っていきます。