図１．メディアを介した情報伝達
コミュニケーションとは，人と人との間で何らかの情報がやり取りされる過程です．
しかし，情報それ自体は目に見えないので，テレパシーでも使わない限り，そのままでは他者に伝わりません．
そのため，これが他者に伝わる際には，音声や表情・ジェスチャといった，何らかの表現媒体（メディア）によって表現される必要があります（図１）．
情報通信技術(ICT)の発展により，現実世界でのコミュニケーションに加えて，電子メールやブログ，３次元チャットといった仮想世界でのコミュニケーションが盛んになっており，それに伴ってコミュニケーションに利用可能なメディアも多彩となっています．
図１．メディアを介した情報伝達
コミュニケーションによってある情報を伝えるには，それに先立って，相手との間でコミュニケーションを始めるためのやり取りが別途必要となります．例えば，声を掛けるかどうかを判断するために相手の様子を伺うとか，声を掛けられたら相手の方を向いてそれに応じる様子を見せるといったものです．また，コミュニケーションが始まってからも，お互いの様子を見ながら相手の興味や理解状況を推し量ったり，話し始めるタイミングやコミュニケーションを打ち切るタイミングを計ったりすることも行われます．
このような情報のやり取りは，もともと伝えようとしている情報のやり取りとはまた別の，コミュニケーション過程の成立や，その調整のためのもので，“コミュニケーションのためのコミュニケーション”であることから，メタコミュニケーションと呼ばれます（図２）．
少し前に流行った“空気を読む”というのはメタコミュニケーションの代表といえるでしょう．
コミュニケーションの主役となるメディアは言葉ですが，メタコミュニケーションで中心となるのは，表情や行動といった非言語のメディア（ノンバーバルメディア）です．
本研究室では，コミュニケーションの中でも，ノンバーバルメディアを介したメタコミュニケーションに焦点を当てます．
図２．コミュニケーションとメタコミュニケーション
現在行われている仮想世界でのコミュニケーションの多くは，利用者自身が入力した情報のみを伝えるため，利用者が入力しない“周囲の状況”が伝わりにくいという問題があります．
また，利用できるメディアがテキスト中心でノンバーバルなものではないため，言葉に表れない相手の“様子”を把握することも難しいといえます．
このため，現在の仮想世界コミュニケーションはメタコミュニケーションにはあまり向いていません．
メタコミュニケーションのためのコミュニケーション環境としては現実世界の方が優れていますが，場所や時刻の異なる相手とのコミュニケーションが難しいという時空間的な制約があります．
また，現実世界でのコミュニケーションをビデオで撮影してそのまま仮想世界に持ち込むと，新たにプライバシの問題を招いたりもします．
時空間的な制約を受けず，かつ円滑なメタコミュニケーションを実現するには，新たなメディアの開発や既存のメディアの長所を組み合わせたコミュニケーション環境のデザインが課題となります．
メタコミュニケーションを支援するには，そこでやり取りされる情報の流れを把握する必要がありますが，情報は目に見えません．
一方，空気の流れ（風）も目に見えませんが，木の葉など，風に揺れる物体の動きを見ることで，どの物体がどのような影響を受けているのか，という空気の流れを把握することができます．
同様に，メタコミュニケーションにおいて，誰がどのような影響を受けているかという情報の流れは，人の表情や行動など，人の発信するノンバーバルメディアを観察することで把握できると考えられます（図３）．
(a) 物体の動きから空気の流れを知る (b) 人の様子から情報の流れを読む
図３．眼にみえない空気や情報の流れを読む
そこで，多人数の存在する現実空間中での各人の行動やその変化を継続的に観測することにより，人と人との間で暗黙的にやり取りされている情報の流れを捉えることを考えます．
つまり，人の動きを観察して，場の空気を読むわけです（図4）．
図４．人間行動の継続的観測に基づく情報伝達状況の把握
上のようなことを踏まえて，本研究室では，以下のような問題について明らかにすることを目指します．
このために，以下のような研究テーマに取り組みます．
このような研究により，コミュニケーションの形態に依らず，コミュニケーション状況に応じて伝えるべき情報を抽出し，現実世界・仮想世界を含めた多彩なメディアを駆使して円滑に伝えることのできる先進的なコミュニケーション環境の実現を目指します．
上のような研究のためには，(1)人を観測する技術，(2) 人のノンバーバル情報を表現する技術，(3) 現実世界を仮想化する技術，(4) 現実世界と仮想世界を融合させる技術，等が必要となります．
このような知的メディア処理技術に関して，これまでに行ってきた研究には次のようなものがあります．