目で聞く音

 1976年、英国の心理学者マガークは、 次のような実験結果を発表した。音節「ガ」を発声している人の画像をビデオに録画し、「ガ」の画像に「バ」の音声をつけてビデオテープを再生する。唇は 「ガ」の動き、音は「バ」という状態である。結果は、「バ」でも「ガ」でもなく、「ダ」と聞いている人の割合が最も多かった。もちろん、目を閉じれば明ら かに音声「バ」が聞こえるのである。

  「バ(ba)」「ダ(da)」「ガ(ga)」の子音部であるb、d、gはすべて有声破裂音に属する子音であり、違いは破裂の起こる位置のみである。三つの 音を自分で発音してみよう。bは唇で破裂する音、dは舌先と歯の裏で破裂する音、gは舌の奥の方で破裂する音となる。

  目を閉じればラジオを聞くのと同じで、音声だけに頼って音の判断をおこなうので「バ」と判断される。ところが、目を開ければ唇の動きが見えてしまう。 「バ」では唇は閉じた位置から発音するのに対して「ガ」では始めから開いている。したがって、マガークの実験では唇の動きから「バ」ではないと判断され、 結果として中間の音である「ダ」に聞こえてしまうのである。

  このように、人間の五感は、それぞれが常に積極的に情報入手をおこなっており、複数感覚の情報を統合するマルチモーダル情報処理をおこなうことが基本の一 つと理解できる。すなわち、音声を知覚する場面において、聴覚情報だけではなく視覚情報も関係しているわけである。

  視覚情報を積極的に用いる一つの例として、読唇術がある。読唇術では唇の動きを積極的に利用しており、唇を使う音(b、m、pなど)がどのタイミングで入 るかと、コミュニケーションしている話題、文章の前後の関係、知っている単語の知識など、今までの経験をも総合して、しゃべっている内容を推定する。

  マガーク効果の場合は、聴覚情報と視覚情報が競合した状態をわざと作ったため、唇が動くという知識がかえって間違った推定結果を生んでしまったが、視覚情 報と聴覚情報が競合しない場合は、両者の相乗効果で音声知覚にとって都合のよいことが起こる。

  たとえば、地下鉄の中、一部の音声が雑音でかき消されたとしても、そのときの相手の唇の動きが見えていれば、読唇術と同じように、コミュニケーションして いる話題などに照らして、何をいっているのかがかなり理解できるのである。

日本音響学会編著 音のなんでも小事典 (講談社ブルーバックス)より転載

<< Back