技術的な意味でのイノベーションの枠を超えて社会的イノベーションの源となっているインターネットや、それらに接続し様々なマルチメディア情報をやり取りするモバイル機器。人間とコンピュータの距離が徐々に縮まり、遂には人間自体が空間を超えた情報ネットワークで結ばれる時代と考えられるまでに進化している。また、人間の知覚を補う様々なセンサが情報ネットワークに接続され、人間の知能とセンサ情報が世界的に集積化され、それを世界中のどこからでも取り出して活用できる環境が整いつつある。本研究室では、人・組織・社会の活動を、これらの仕組みを活用して支援するためのシステムの開発を目指している。
キーワード
- IoT
- スマートデバイス
- AR/VR/MR
- 行動分析
- テレワーク
- デジタルサイネージ
- コンテンツデザイン
AR（拡張現実）やセンサ情報を活用した遠隔指導・遠隔作業指示システムの研究開発
実技を伴う遠隔指導や遠隔地からの作業指示では、例えば高精細なテレビ会議システムを用意して、HDカメラで撮影した映像及び音声をそのまま遠隔地に伝送すれば十分であると考えがちである。しかし、実際には、言葉や身振りのみでは表現･伝達が難しい情報が多く存在する。例えば手のひらを用いた微妙な圧力を伴う動作（看護師のフィジカル・アセスメントにおける触診等）を指導することを考えた場合、指導者が学習者の触診に手を添えたり、同じ患者に指導者と学習者が触診しその違いを患者からフィードバックしてもらうことで学習を支援することができる。一方で、これらの支援は遠隔指導では不可能である。
＊客観的指標に基づく遠隔指導支援システム
本研究では、指導者による触診の圧力分布をセンサによって計測し、動画像に重ね合わせて遠隔地の学習者に提示するシステムを試作した。学習者は自らの圧力分布と指導者の分布を見比べながら実技を学ぶことができる。
指導者（左）と学習者（右）の圧力分布の提示画面
看護学部の講義での応用
＊SPRInT(Smart Phone based Remote Instructional Training System)
先に述べたシステムでは、圧力センサを接続したノートPCやDVカメラ、ディスプレイなど複数のデバイスから構成された据置型のインタフェースを採用しており、システムの可搬性は考慮されていなかった。一方、近年急速に普及してきたスマートフォンと呼ばれる高機能携帯電話では、カメラ、タッチパネル、GPS、電子コンパス、加速度センサ、通話機能などがコンパクトに集積されている。そのため、作業場所や撮影する対象物が固定されない作業に対して遠隔地から作業の指示を行う場合には、スマートフォンは有力なプラットホームになると考えている。
我々は、スマートフォンによる遠隔地間作業指示支援システムSPRInTを開発し、その評価を行っている。本システムは、作業者がスマートフォンを用いて撮影したライブ映像を指導者側の端末に送信し、指導者はそのライブ映像を確認しながら指示を行う。指導者は、ライブ映像上の指示をしたい場所（座標）をタッチパネルにより指定する。指導者が任意の座標をタッチすると、作業者側の画面の同一座標にマーカが表示される。また、両手での作業をサポートするため、ライブ映像を用いた指示に加え、指導者側でライブ映像をキャプチャしたスチル画像を用いた指示機能を実装し、必要に応じて切り替えることのできるシステムとなっている。
iSCSIやWebDAVなどのプロトコルを用いた遠隔ミラーリングに関する研究
将来予想される大地震・火山噴火などの大規模な自然災害や人的災害では、サーバ・ストレージを設置する拠点全体がダウンする可能性がある。BCP（事業継続計画）の視点に基づいて、災害からデータを保護するためのディザスタリカバリの方法としては、ストレージを遠隔地に複数配置し、これらを接続した広域SANを構築することにより、遠隔ストレージ間でRAID1システムを構成し、同期ミラーリングを行う方法が考えられる。
本研究では、iSCSIプロトコルによるIP-SAN環境を用いて、遠隔地に複数配置したストレージ間でRAID1システムを構成し、広域ネットワークを想定した環境下でのネットワークの遅延やパケット損失が、書き込み性能にどのような影響を与えるのかを検証している。特に、サーバ・ストレージ間のネットワーク遅延の不均一性が、遠隔ミラーリングの性能に与える影響について、実測とシミュレーションを行い、検証を行っている。
また、クラウドサービスの普及によって、ストレージ環境もインターネットからサービスとして調達することが容易になってきている。本研究では、これらの動向を踏まえた調査を行っている。
VRとWebを連携させた展示シミュレーションを有する仮想美術館システム
仮想美術館とは、美術館に収蔵されている作品やそれぞれの作品の解説などを、ディジタルデータとして記録し、記録メディアやWebを通じてパソコン等で鑑賞できる美術館システムの総称である。仮想美術館には、Webページ内で作品画像を紹介した簡易なものから、CGによるVRコンテンツとして実装されたものまで様々なシステムが公開されている。
本研究では、2001年から静岡県立美術館と連携し、Web投票機能と展示シミュレーション機能を有する仮想美術館システムを構築した。従来の仮想美術館システムは、美術館側の用意したコンテンツを一方的にユーザに閲覧させるだけであったのに対して、本システムでは、ユーザの投票によってCGで表示される展示室内の展示構成がリアルタイムに変化する。現実の美術館では、空間的なスペースの制約から、数千点以上の収蔵品をすべて展示することは不可能であるが、本システムを用いることによって、ユーザのニーズを収集し、現実の美術館の限られたスペースにその結果を反映させることが可能となる。本システムは、コチラの記事で紹介されている。
オンデマンド仮想美術館のためのWeb投票システム
また、Ajaxを用いて、特別なプラグイン無しにWebブラウザから上記システムを利用できる改良も行っている。一方、2007年には、これらの成果を応用した、「ロダン館バーチャル体験システム」が静岡県立美術館に設置された（1F受付カウンター横、及び静岡空港内）。
ロダン館バーチャル体験システム
