電気触覚装置

明田守正

ハプティクス: 触覚技術

　ゲーム用コントローラーの中にはフォース・フィードバックという機能を持っているものがあります。敵の攻撃が当たるタイミングでコントローラーが震え、力(フォース)で情報を伝えます。ゲームセンターの自動車のゲームは、ゲーム内での路面状況をハンドルコントローラーの振動で伝えてくれます。人間の手で操作する入力装置が入力を受けつけるだけでなく、力で情報を返す、すなわちフィードバックしているのでフォース・フィードバック、と呼ぶわけです。

　音や映像ではなく触覚刺激によって情報を提示する技術を、フォース・フィードバックも含め、ハプティクス(haptics)と呼びます。携帯電話のバイブレーションは広く使われているハプティクスです。Apple iPhone 6Sの3D touchや、MacBook等に搭載の感圧トラックパッド(Force Touch Trackpad)は、指が触れた圧力を検知し、その強さに応じて精密な振動で触感フィードバックをしています。

　Macの感圧トラックパッドでは、クリック感を振動で伝えています。通常のトラックパッドでは押し込むと物理的にへこんでスイッチが入り、押し下げて得られるクリックの感触が確かにありますが、感圧トラックパッドは、電気モーターによる振動でこのクリック感を再現しています。Macが起動している時には感圧に反応する振動によって確かにへこんだような感触があるのですが、電源を切っているとまったく変化せず、へこまなくなります。へこまなくなっているのではなく、へこんだ感触が発生しなくなっているのです。擬似的なクリック感を極めて巧妙に実現しています。

電気触覚ディスプレイ

　現在世の中で実用化しているハプティクスでは物理的な振動を利用しているものが多いですが、振動以外の原理で触感を発生させる技術は研究テーマになっています。

　電気通信大学の梶本研究室では、電気を使用した触覚デバイスを研究されています。写真は、梶本研究室が開発した電気触覚ディスプレイです。

　皮膚に当てる電極をマトリックス状に配置し、各電極への通電を高速にスイッチすることで、刺激を与える点を走査(スキャン)し、点要素の集まりとしての触感を提示することができます。

　一つの電極がプラスに、他のすべての電極がマイナスで電圧をかけている時に指がふれると、プラスになっている電極を中心に電流が流れ、皮膚下の神経を刺激します。プラスになっている電極を高速に切り替えて走査することで、ピクセルマップディスプレイのように電気刺激の図像を表示することができます。図像を切り替えることで、電気刺激の動画も表示することができます。

　また、電極に通電しないスキマタイミングを狙って電極間の抵抗を計測することで、ある電極に指が触れているかどうかを検知する機能もあり、タッチ入力装置も兼ねています。

　写真の装置は指先で実験するスケール向けに小さな設計になっていますが、同じ原理の装置を額に貼る規模の大きさで作成し、盲人の方の額に装着し、カメラでとらえた外界の視覚的状況を電気ピクセルマップディスプレイで提示する製品は実用になっています。「目には見えないが近づいてくる電柱が触覚でわかるので避けることができる」というメリットを実現しています。

無言の圧力インターフェース

　2016年8月27日、8月28日の二日間にわたって、研究段階のものも含む先端の触覚技術を一般の参加者が使用し、実際に動く応用作品を試作する触覚技術のハッカソン、シンタイセイショッカソンというイベントがありました。ぼくはこのハッカソンでチーム「無言の圧力」に参加し、梶本研究室の電気触覚デバイスによる触覚提示を実装しました。

　「空気が読めない...」という悩みや経験がある方もいるかと思います。周囲の人が自分に対してネガティブな評価をもっていることを把握できずに発言したり行動して失敗してしまっとき、周囲の状況をそっと感じることができればよかったかもしれません。ポジティブな評価は声に出してわかりやすく伝えてくれますが、ネガティブな評価は角が立つので積極的に明示してくれないからです。ネガティブな評価は静かな圧力です。「静かに発される圧力は、静かに感じとらなければない」ので、触覚提示で感じることが適していて、これを実現するのが「無言の圧力インターフェース」です。

　ショッカソンで試作した無言の圧力インターフェースは以下の構成で動きます。

■1. 首につけるウェアラブル装置です。内側に電気触覚デバイスがあり首筋に接触し、外側にカメラを装備して背後を撮影します。

■2. カメラはRapsberry Piに接続してあり、Rapsberry Pi内のプログラムが5秒に1回のタイミングで後ろの状況を撮影し、Microsoft Azure Emotion APIに撮影画像をポストします。

■3. Emotion APIは画像に写っている顔を識別し、顔の感情パラメーターを分析してくれますので、Emotion APIの結果から後ろにいる人の感情を把握します。

■4. 後ろにいる人のネガティブな感情が一定レベルを超えると、感情の種類に応じて電気刺激でネガティブな感情を提示します。

　試作したウェアラブル装置は、電気触覚デバイスの電極部分を革製のチョーカーに内蔵しています。写真のピンク色の内張りの中に見えている六角形の部分が電極で、首に接触するように設計してあります。チョーカーは装置の駆動部分とフラットケーブルで接続しています。フラットケーブルがマルチストライプであるため、マルチカラーストライプが有名な某イギリスファッションブランドの、外見はシックでも内側が派手な色になっているデザインテイストを踏襲したチョーカーになっています。

　Microsoft Azure Emotion APIは、分析した感情のパラメーターを以下のようなjson形式のフォーマットで出力してくれます。

{
    [
    {
      "faceRectangle": {
        "left": 68,
        "top": 97,
        "width": 64,
        "height": 97
      },
      "scores": {
        "anger": 0.00300731952,
      "contempt": 5.14648448E-08,
        "disgust": 9.180124E-06,
      "fear": 0.0001912825,
        "happiness": 0.9875571,
      "neutral": 0.0009861537,
      "sadness": 1.889955E-05,
        "surprise": 0.008229999
      }
    }
    ]
}

　上記のデータの中で、faceRectangleは画像の中で認識した顔の位置座標を、scoresは分析した感情種類ごとのレベルを0から1の数値として格納しています。感情には、anger(怒り)、contempt(軽蔑)、disgust(嫌悪)、fear(恐怖)、happiness(幸福)、neutral(中立:感情が現れていない)、sadness(悲しみ)、surprize(驚異)の8種類ありそれぞれのレベルが0から1の間で変化しています。無言の圧力インターフェイスでは、感情パラメーターの中で、ネガティブな感情であるanger(怒り)、contempt(軽蔑)、disgust(嫌悪)、fear(恐怖)、sadness(悲しみ)について最も値が大きいものを選び、値が一定レベルを超えていると、その感情による圧力が背後に存在している、と判断しています。

　電気触覚デバイスはMacで制御し、Emotion APIの結果に応じて電気触覚を提示します。ネガティブな無言の圧力の状況をわかりやすくするために、Macのディスプレイでは電気刺激状況と同時に桃知みなみさんのジェスチュアを表示します。電気刺激のパターンはそのままではわかりにくいので、桃知みなみさんの演技によって無言の圧力の種類をわかりやすく提示しています。

　電気触覚デバイスで5種類のネガティブな感情を表現する…たとえば「悲しみの触感」とは？

　どのような触感にするかチーム内の議論で少々悩んだのですが、「音」をヒントに作成しました。たとえば「いたずらが過ぎて先生に雷を落とされた(怒られた)」という表現から、anger(怒り)の触感には雷の音を素材に選びます。雷の音の低音域を強めて振動パターンとして特徴の出る音源を作り、FFT(高速フーリエ解析)にかけて周波数成分を取り出し、触覚用画像に当てることで、音のパターンを触感に反映しています。

　anger(怒り)、contempt(軽蔑)、disgust(嫌悪)、fear(恐怖)、sadness(悲しみ)の5つの感情にマッチするような音を選定し、それぞれの感情のイメージを反映できるような画像生成手法を設定して、「触感の違い」をわかりやすくするようにしました。

　無言の圧力インターフェイスは2日間のハッカソンで完成させたプロトタイプですが、disgust(嫌悪)に割り当てた触感パターンはとげとげしいチクチク感となり、周囲の感情を触感で表現することができたと思います。

触感パターンのシンボル化

　無言の圧力インターフェイスについてショッカソンの審査員である慶應大学南澤先生に、興味ぶかいコメントを頂きました。

「慶應SFC筧研の作品に、視線のふるまいによって起こる感情表現を体への振動刺激で増幅するものがある。このシステムにある程度慣れると、振動の刺激だけで視線による感情表現を感じることができるようになった。本来視線ふるまいによる感情と振動の刺激には関連はないが、後付の関連付けが成立した。これは、新たな振動感覚を設定することで、人間の感覚を拡張できたことを意味する。無言の圧力インターフェイスのネガティブな感情の触感パターンも、最初はその触感が特定の感情を意味していることはわからないが、慣れれば周囲の感情を知覚する有効な、あたらしい感覚になりうる。」

　筧研の視線と振動の作品は細堀麻子さんのEyeFeel & EyeChime http://www.xlab.sfc.keio.ac.jp/?works=eyefeelかと思われます。視線入力を対人コミュニケーションに応用した大変おもしろい作品です。

　ぼくは「パブロフの犬」の話を想起しました。犬に餌を与えるときにブザーを鳴らすことを繰り返していると、ブザーを鳴らすだけで犬はよだれを垂らすようになった、という条件反射を訓練できる現象です。

　さらに考えてみると、「赤い信号が点灯していると危険」「右向きの三角形がついてるボタンを押すと音楽などの再生が始まる」など、 「赤」と「危険」の間や、「右向きの三角形」と「音楽の再生」の間に本来関連はないのに、慣れているひとはその意味をすぐに把握することができるものがたくさんあります。「赤い色」は信号においては「危険」を意味するシンボルです。シンボルとその意味の結びつきは恣意的です。何らかの都合で結びついていて必ずしも必然的な結びつきではありません。

　ある感覚パターンと、何らかの意味の間に結びつきができると、その感覚パターンはシンボルになります。 赤い色とは、可視光線のうち比較的長い波長の領域のもので、物理現象のパターンのひとつです。右向きの矢印は、2次元空間において線分が曲がってできる形のパターンのひとつです。いずれのパターンも「危険」や「音楽再生」と結びついたシンボルとなっています。触覚のパターン、たとえば「チクチク」という 感触をもたらす触覚パターンを「嫌悪感を受けている」という意味と結びつけた状況が積み重なると、たとえば「チクチク」は嫌悪感のシンボルとして十分有効になると思います。

　シンボルとして機能しやすい触感パターンを設計することで、触覚ディスプレイの用途はさらに広がるでしょう。

「無言の圧力インターフェイス」ショッカソン技術賞を受賞!

　触覚技術ハッカソン、ショッカソンで、「無言の圧力インターフェイス」はYahoo! Japan様ご提供のmyThings賞、そしてショッカソン技術賞を受賞しました！本格的に触覚技術に興味のある参加者が集まったイベントの中で、大賞に次ぐ技術賞を受賞できたことは大変光栄でした。いただいたトロフィーもかっこいいです。

　チーム「無言の圧力」を構成するのは以下のメンバーです。

コンセプト・ディレクション	藤堂 高行
電気触覚デバイス制御	明田 守正
画像認識システム実装	小川 哲男
グラフィックデザイン	大原 香織
チョーカー制作	溝上 武志

　イベントでその場で集まったチームが2日でなんとか稼働するプロトタイプとして仕上げることができたのは上記のメンバーが素晴らしかったからかと思います。また、触覚技術の貴重なハンズオンとしてショッカソンという貴重なイベントを開催していただいたショッカソン主催のみなさん、電気触覚デバイスをお貸しいただけた電気通信大学梶本先生のお力がなければ無言の圧力インターフェイスは実現できませんでした。みなさまに深くお礼を申し上げます。

注意:電気触覚は本来痛くない

　ところで、梶本研の電気触覚デバイスはショッカソンで他のチームも活用して大人気でしたが、みな「電撃」と呼んでいたように、痛みの刺激を引き起こすものとして使用していました。「無言の圧力インターフェイス」でも主にネガティブな感情を表す痛みディスプレイとなっていて、「首などという皮膚の薄いところに装着したら痛いに決まってる。。」と触覚技術のプロである審査員の皆さんにその無謀さを褒めて←いただけましたが、慶應大学南澤先生から以下のご指摘をいただきました。

「電気デバイス首につけたり電気しビリビリさせる痛い刺激装置として活用してるけど、本来は人間の感覚細胞の密度に合わせて設計してあって知覚の原理に極めて巧妙に作用させて、圧覚や冷感など痛くない感覚を発生させる仕組みなので痛くさせるのが目的ではない」

　電気触覚デバイスはシリアル通信で電極の数分の通電持続時間をマイクロ秒単位で送ることで触覚パターンを発生します。ソフトウェアで制御しているのは通電持続時間のみで、電気の強さは音量を変更するボリュームと同じ部品である可変抵抗で電圧を変えています。これは個人ごとに、あるいは体調などによって電気刺激への感じ方が異なっているからですが、個人の状況に合わせて電気刺激チューニングを行うことで、「圧迫感」「冷たさ」を再現できるそうです。ハッカソンで実装しているときにこうしたことを把握していなかったのですが、電気刺激で冷たさ？？なにそれ。おもろそう。。と思いますので機会があれば痛みではない触感を作ってみたいと思います。

電気触覚を試す桃知みなみさん

　「無言の圧力インターフェイス」を制作したシンタイセイショッカソンの前、「シンタイセイ ショッカソン2016　8月8日はパチパチの日だから『電気触覚ディスプレイ』ワークショップ！」というイベントがあり、そこでハッカソンの ネ 申 スパイスボックス山崎さんご指導のもと電気触覚ディスプレイに触れたのですが、アニメちっくアイドル桃地みなみさんも参加されていました。

　触覚技術は大変おもしろいのですが、残念ながら「触ってみないと良さがわからない」のが難点です。ですが2.5次元のももちさんが真剣に電気触覚のボリューム操作に集中している様子を見れば、その面白さが伝わってくるのではないでしょうか。

参考

電気通信大学 梶本研究室[2014]: 「電気触覚ディスプレイキット資料」、 http://kaji-lab.jp/ja/index.php?cmd=read&page=people%2Fkaji%2Felectrotactilekit&word=%E9%9B%BB%E6%B0%97%E8%A7%A6%E8%A6%9A

仲谷正史, 筧康明, 白土寛和[2011]:「触感をつくる――《テクタイル》という考え方」、岩波書店.

仲谷正史, 筧康明, 三原聡一郎, 南澤孝太[2016]:「触楽入門」、朝日出版社.

ショッカソン運営実行委員会（一般社団法人T.M.C.N 株式会社スパイスボックス）[2016]: 「シンタイセイ　ショッカソン2016　今年の夏も弾けろ！触覚祭」、 https://shock-a-thon.doorkeeper.jp/events/49395

ショッカソン運営実行委員会[2016]:「シンタイセイ ショッカソン2016　8月8日はパチパチの日だから『電気触覚ディスプレイ』ワークショップ！」、https://shock-a-thon.doorkeeper.jp/events/49392

Microsoft Azure Emotion API https://azure.microsoft.com/ja-jp/services/cognitive-services/emotion/

McDonald, Kyle[2016]: 'ofxfft', https://github.com/kylemcdonald/ofxFft