シン・ショッカソン(第1回)

明田守正

触覚技術のハッカソン

　2017年3月23日、フォーク別館のスペースtablesにて、触覚技術のハッカソン「シン・ショッカソン（第１回）」が開催になりました。

　ハッカソンとはハッキングマラソンの略で、さまざまなバックグラウンドのひとが一つのテーマのために公募で集まり、集中して開発するイベントです。複数の日に渡る場合は合宿のようになりますので、「オープンな開発合宿」と言うとわかりやすいかもしれません。ここ数年、さまざまなハッカソンが開催になり、通常の活動では出会わない人々が集い、あたらしいイノベーションや既存組織のしがらみを越えたチームが生まれる良いきっかけになっています。

　触覚技術をテーマにしたハッカソンとして、毎年夏にさまざまな触覚技術を集めた大きなショッカソンがありますが、不定期に、一つの技術に着目した比較的小さなイベントもあります。2017年3月のシン・ショッカソンはあたらしい振動デバイスを用いたアプリケーションをテーマとしていました。

シン・ショッカソン（第１回） https://sin-tai-sei.connpass.com/event/52872/

今年のシン・ショッカソンは渋谷からはじめます。

題材は簡易テクタイル出力キットです。

フォスター電機さんの振動スピーカーと秋月電子通商のD級アンプを使って作る簡単な触覚デバイスです。

あわせて振動スピーカーの頒布（￥500の予定）もします。

18:00　受付開始~各種触覚デバイス体験

19:00　触覚コンテンツワークショップ

20:00　触覚アイディアソン

21:00　できたとこまで発表会!!

21:00　一旦終了。あとはグダグダ･･･。

ワークショップにはUnityを使いますので 各自UnityがインストールされたPCをお持ちください。

　テクタイルツールキットはオープンソースの触覚記録・再生ツールです。小さなマイクで拾った振動の信号を、小さな振動スピーカーに適切に出力することで、触覚を再現することができます。一つの紙コップの底にマイクを貼り付け、振動スピーカーをもう一つ別の紙コップに貼り付けます。マイクのついた紙コップにビー玉を入れると、その振動を振動スピーカーのついた紙コップで再生することで、あたかも空の紙コップにビー玉が入っているかのような感触を再現できます。テクタイルツールキットを用いて、VRで女の子に歯磨きしたい Why don't u brush the girl's tooth in VR?という変わった作品が生まれています。ショッカソン2014での作品ですね。

　マイクと振動スピーカーを用いて触覚を音声信号として扱うことで強力なリアリティが発生するため、さまざまな触覚アプリケーションを作る良いキットになっています。ただ、研究用製品を購入すると数万円と結構なお値段がするため、なかなか一般には入手しづらいところです。

　テクタイルツールキットはオープンソースなので、振動スピーカーを使えば作ることができますが、アルプス電子がNintendo DSの振動カートリッジ用に生産していたフォースリアクターは残念ながらここ数年は生産終了で入手できない状況でした。一方、スピーカー装置の大手であるフォスター電機は、現在あたらしい小さな振動スピーカーを生産し始めています。シン・ショッカソン(第1回)は、この新しい振動スピーカーを一般発売前に先行して使うことができるイベントです。アンプで駆動すればいいので、秋葉原のD級アンプキットと組み合わせて、振動の再生を実現するキットを用意し、参加者がまずは使ってみることがテーマでした。

触覚デバイス体験

　イベントでは、いくつかの触覚デバイス・コンテンツ展示をしていました。富士ゼロックス竹内さんの触覚マウス、VR作品「シン・カイジュウ」、フォスター電機の触覚グリップ、そしてぼくがつくった触覚フォークです。

　シン・カイジュウは、自分が怪獣になり、街を踏みつぶして壊す体験ができるVR作品です。

　シン・カイジュウで特筆すべきは、NMD(Neck Mounted Display)です。首と肩に掛ける金具にカイジュウのマスクがついていて、マスク裏にはタブレットがあります。カイジュウマスクを備えたNMDを首にかけると、マスクの目を通じて見る想定の仮想空間、カイジュウの視点から見た3Dの町並みが、タブレットの画面に見えています。体を動かしてマスクの向きを変えると、同時に仮想空間の見え方も変化します。

　通常VRと言えばHMD、頭部に装着して視界すべてをリアルタイム合成映像で覆う装置を使うことが一般的ですが、HMD以外のVRもありえます。NMDのように、人の視界の一部にディスプレイがあって仮想世界を表示していればVRを作ることができるのです。

　シン・カイジュウのNMDは首にかけるだけで没入する世界を表示することができますので、装着が容易です。HMDのように、他の人の顔に触れた装置を付けなければならないという不快感はありませんし、視力の安定性から常用には不安がある子供でも安心して装着することができます。

　シン・カイジュウのサンダルには超音波距離センサーとフォスター電機の新型振動スピーカーを内蔵しています。距離センサーで床面との距離を計測することで、距離が0に近づくこと、すなわち踏んでいる状態を検知し、踏みしめたときにビルを壊す振動を発生させるようになっています。安価なセンサーで効率的に足の動きを検知する手法になっています。

フォスター電機さんは、振動素子を装備したテニスラケットのグリップのような装置に映像作品の音声をながし、手に持った触覚振動として音声を体感できる触覚出力グリップを展示していました。椅子に振動スピーカーを仕込んだボディソニックと呼ばれる音声体感装置がある映画館がありますが、ボディソニックをグリップにしたような装置です。異なった振動子を装備したグリップが複数あり、右手と左手で振動子の感触の違いを体験でき、今回テーマとしたフォスター電機の振動スピーカーの良さがわかりました。

　ボディソニックのような、映像作品の音声を振動として提示する装置は他にもあるものですが、フォスター電機の触覚グリップは、触覚振動に、通常とは異なった深みがある印象がありました。この印象のしくみはワークショップで明らかになります。

　ぼくは金属の食品用フォークにフォスター電機の振動スピーカーを貼り、Bluetoothでワイヤレス振動再生できるものを作り、展示していました。単に貼っただけで、何か食べた感触の演出に使えないかと考えている作りかけのものですが、振動フォークを噛み、あごに感じる感触は面白いので今後発展させたいと考えています。

触覚コンテンツワークショップ; フォスター電機さんの発表

　ワークショップでは、最初にフォスター電機さんの発表がありました。振動素子による触覚出力の原理、特性、応用手法についての研究成果を共有していただけました。展示していた振動グリップはとても巧妙な仕組みで振動を再生していることがわかりました。

　等ラウドネス曲線というのがあります。人間の聴覚は、音の高さによって敏感さが違います。100Hz以下の低い音に対しては感度が低いです。周波数が上がるごとに敏感さは上がり、おおよそ人の声の帯域である2000-3000Hzあたりで一番敏感になります。3000Hz以上では感度が下がっていきます。等ラウドネス曲線は、同じ大きさに聞こえる音圧を高さに、周波数を横軸ににグラフにしたものです。

　指先が感じる、つるつる、ざらざら、という感触は、対象の表面と指の皮膚の摩擦で発生する振動によって生まれています。皮膚内にはマイスナー小体、メルケル触盤、ルフィニ終末、パチニ小体の4つの機械的受容器があり、それぞれ振動の周波数の敏感さがありますが、ざっくりまとめると、2Hzまでの低い振動には鈍感で、300Hzあたりで最も敏感になり、300Hz以上ではまた鈍感になります。皮膚の振動検出域のをグラフにすると、敏感さのピークが300Hzにあるのか3000Hzにあるのかの違いはありますが、グラフの形は似ています。

　フォスター電機さんが展示していた触覚グリップでは、映画の音声を振動で再生しているのですが、音声周波数処理により、3000Hzの音声帯域を300Hzに移動して音声を再生しているとのことです。つまり、音声の等ラウドネス曲線の特徴を触覚の振動検出域に合うように調整しているのです。

　映画の爆発音が、リアルというのではないのですが音声とは違った感触を感じたヒミツは、上記の周波数移動にあった、ということです。

　フォスター電機さんの発表は、振動子の構造、原理の説明など、大変貴重で興味深い知見が詰まった発表でしたので、いつかまとまって公開されることを期待しています。

触覚コンテンツワークショップ; Unity + AR + 触覚

　続いて富士ゼロックス竹内さんのワークショップに進みました。ゲーム制作プラットフォームのUnityとARライブラリのVuforiaを用いて、ある条件のときに振動スピーカーに触覚を出力するサンプルを0から作って行きます。

• マーカーのライブラリおよびARエンジン本体のUnityパッケージ、炭酸を注ぐ音、玉が落ちてくる音、位置に応じて指定した音を発生するスクリプトが入ったワークショップ用素材フォルダsozaiを参加者に配布
• sozaiフォルダの2つのパッケージを導入する
• ProjectタブのAssets>Vufonia>PrefabsにあるARCameraとImageTargetをHierarchyにドラッグアンドドロップ
• ARCamera、ImageTargetのをInspectorタブで詳細設定
• ImageTargetにPlaneを追加設定、Scaleを0.1にする(ARマーカーとサイズを合わせる)
• PlaneのInspectorタブのImage Target BeheaviourのDatabaseをプルダウンして今回のマーカー素材であるsin-shockを選択、Image Targetにfork-LOGO3が自動で入る
• 触覚を発生させるふたつのオーディオファイル、ビールの音と枝豆の音、スクリプトsoundctl.csをプロジェクトに追加
• PlaneのInspectorでコンポーネントにAudio->Audio Sourceを追加、soundctl.csを追加
• soundctl.csをスクリプトエディタで調整(音の出るオブジェクト位置を合わせる)

　上記の手順を50分ほどで進めていくと、 forkのロゴを印刷したカードをPCのカメラに撮して、その位置と姿勢をトラッキングするアプリケーションができます。スクリプトsoundctlによって、forkのロゴを右に動かすとコップにビールを注ぐ音、左に動かすとコップに枝豆が落ちてくる音を再生します。

　ARマーカーの動きに応じて、異なった音声を再生することができるアプリケーションができました。アプリケーションを実行するPCにD級アンプ、フォスター電機の振動スピーカーをつなぎ、振動スピーカーを紙コップの底に貼ることで、紙コップにビールか枝豆の触覚を発生させる作品ができました。

　以下のスクリーンショットは、参加者山崎さんが作ったもので、黒いフォークのロゴを検知して全く同じ形の赤いロゴを上に重ねている様子です。ロゴが赤いのではなく、黒いロゴにぴったり重なる状態で赤いロゴを合成しています。

触覚アイディアソン

　ワークショップで触覚コンテンツのしくみとサンプル作成を体験し、どのような触覚コンテンツを作ることができるかをアイディアソンで探求しました。アイディアソンとは、ハッカソンの中でアイディア出しの部分のみ集中しておこなう部分です。

　オープンイノベーションというムーブメントがあります。特定の組織にとらわれず、新しいイノベーションを開かれた環境で積極的に共有して広げていくムーブメントで、ショッカソンはオープンイノベーションのイベントです。アイディアソンも当然オープンになります。

　オープンなアイディアソンでうまれたアイディアは、だれかの専有物ではありません。あるアイディアを出した特定の人はいても、そのアイディアが生まれたのは、アイディアを共有する場があり、みなで惜しみなくアイディアを相互発展させたからで、生まれたアイディアを共有することにオープンイノベーションの価値があります。そのため、オープンイノベーションの場に集まった人々は、真似されると困る、自らが占有して独占したいと考えるアイディアを出すことは控える必要があります。

　アイディアソンにはさまざまな方法がありますが、今回は以下の手順で進めました。

1. 準備

   • 4人ずつのチームを作る。
   • 1人1枚、A3の用紙を配布する。
   • A3の用紙を長辺を半分に、さらに半分に折り、4列の折り目をつける。
   • 長辺を3当分に折り、A3用紙を12分割した枠に分け、アイディアシートとする。

2. アイディア出しセッション

   • 4分のタイマーをセットし、時間内に一人3つのマスにアイディアを記入する。
   • 文字だけでもいいが、イラストで表現したほうが望ましい。
   • 4分以内に必ず3マス書く。

3. アイディア出しセッションの繰り返し

   • チーム内でアイディアシートを時計回りに回す。
   • 4分間で、他の人が書いたアイディアシートの空いているマスに3つアイディアを記入する。
   • 他の人のアイディアに触発を受けつつ、あたらしいアイディアを考える。

　上記の手順を進めることで、一人1枚、他の人のアイディアと連関した12個のアイディアが載ったアイディアシートが手元に生まれます。アイディアシートをさらに練り上げていく方法もありますが、今回はアイディアシートを参加者25名全員で回覧する、というところで終わりました。25 * 12 = 300個のアイディアを見ていくのはそれだけで莫大な情報になります。

　ハッカソン、アイディアソンのよいところは、一つのテーマに興味のあるさまざまな人々が、同じ場を共有して集中して手を動かし、あたらしいイノベーションのタネを作ることです。時間に追われることで、とにかくアイディア出しをしなければならない、という切迫感から、突飛なアイディアが生まれます。

　アイディアは実際に具体化するまではアイディアのままで、アイディアを出すことと手を動かして実装していくことには大きな違いがあります。どのアイディアを具体化することには大きな情熱と手間が必要になりますが、まずはアイディアをオープンに発散的に作って行く手段として、上記のアイディアソンは大変に有効です。

　このイベントのアイデアシートは、こちらで公開しています。

フォスター電機の触覚スピーカー頒布

　今回テーマとしたフォスター電機の触覚スピーカーは、市販前のものですが、フォスター電機さんのご配慮で特別に頒布することができました。1個500円で、フラットなモニタースピーカー的な周波数特性をもつもので、現在のところ大変貴重なものです。触覚スピーカーを入手した参加者の方々が、あたらしい触覚コンテンツを作ることが楽しみです。

参考

竹内神[2017]: 「触覚技術を使った電子工作 / 市販部品で作る簡易触力覚デバイス」、 I/O 2017年1月号、工学舎。

TECHTILE[2007]: http://www.techtile.org/techtiletoolkit/