振動・音響研究会...Title 振動・音響研究会 Author...

脳磁界計測を用いた音質評価メカニズム解明とその応用

独立行政法人産業技術総合研究所

バイオメディカル研究部門

細胞・生体医工学研究グループ

添田喜治

脳機能に基づく音質評価・サウンドデザイン手法の開発

音質の知覚特性・神経生理メカニズムの解明

神経生理計測（MEG）

心理物理計測

音場の解析・シミュレーション

音場・音源の評価・デザイン手法の開発

音源の解析・シミュレーション

本日の内容

1. 脳磁界（MEG）計測とは

2. 脳磁界（MEG）計測を用いた聴覚メカニズム解明

– ラウドネスに関わる脳磁界反応

– ピッチに関わる脳磁界反応

– 方向感に関わる脳磁界反応

– 不快度に関わる脳磁界反応

3. 聴覚メカニズムに基づく音質評価

– 相関関数に基づく音質評価モデル

– 空調音の例

脳磁界計測（MEG）

• 空気の圧力変動である音は，鼓膜を振動させ，内耳の有毛細胞で電気的信号に変換され，大脳皮質・聴覚野に到達

• 電気的活動に伴って発生する磁場変化を計測

• この磁場変化は，主に大脳皮質の錐体細胞の樹状突起に流れる電流により引き起こされる

柏野, 音のイリュージョン, 2010


脳機能測定法の比較

高分解能

低分解能

高分解能低分解能


自発反応と誘発反応

• 自発反応

– 外部情報が与えられなくても常に自発的に活動している脳活動

• 誘発反応

– 感覚刺激に応じて現れる脳活動

– 誘発電位は振幅が小さいため，通常同期加算処理を行う


信号＋ノイズ（同期加算なし）同期加算20回同期加算100回

脳磁界（誘発）反応の例


N1m反応

RMS値

左右

潜時

振幅

音波形後

前

• 潜時：反応するまでの経路やプロセスの複雑さ

• 強度：反応の同期性，寄与する皮質の広がり

• 磁場分布：脳機能局在

本日の内容





– 広がり感に関わる脳磁界反応



– 相関指標に基づく音質評価モデル

– 空調音の例

ラウドネス・ピッチ

• ラウドネス– 心理的な音の大きさ

– 音圧レベルが大きいほどラウドネスは大きい

– 等しい音圧レベルであってもラウドネスが等しいとは限らない → 周波数等の影響

• ピッチ– 心理的な音の高さ

– 周波数が高いほどピッチは高い

– 明瞭なピッチと明瞭でないピッチ


帯域雑音

• 帯域雑音– 基本的な音

– 中心周波数と帯域幅で規定

– 純音とホワイトノイズの間の音

– ラウドネスは周波数・帯域幅依存

• 帯域雑音の中心周波数– ピッチと対応

• 帯域雑音の帯域幅– ピッチ明瞭度と対応

周波数

帯域幅

中心周波数


純音帯域雑音

帯域幅広

純音・帯域雑音のラウドネス

60 dB SPLの純音，1/6オクターブ帯域幅雑音，1/3オクターブ帯域幅雑音のラウドネス


帯域雑音に対する脳磁界反応中心周波数の効果

N1m潜時N1m振幅

N1m振幅は，0.5～1 kHz付近で最大となる

N1m潜時は，1～4 kHz付近で最短となる

潜時

振幅


帯域雑音に対する脳磁界反応ラウドネスの影響

N1m振幅はラウドネスの増加に伴い増加

N1m振幅


r = 0.78

(p < 0.01)

帯域雑音に対する脳磁界反応帯域幅の影響

N1m振幅

N1m振幅は帯域幅の増加に伴い減少


N1m振幅はピッチ明瞭度の減少とともに減少

ピッチの知覚モデル

• 場所説– 蝸牛の基底膜上で，振動・興奮する場所の違い

– スペクトル（周波数）領域での高さの弁別

• 時間説– 音波形の特定位相に発火する神経パルスの時間間隔

– 時間領域での高さの弁別

純音音声


繰り返しリプル雑音（1）

• 繰り返しリプル雑音– 雑音信号を遅らせ，もとの信号と加算する過程を繰り返すことによって作る信号

– 遅延時間 → ピッチ

– 繰り返し回数 → ピッチ明瞭度

遅延ゲイン＋遅延ゲイン＋

入力

出力

N回の繰り返し


雑音信号 4 ms，2回 4 ms，32回 2 ms，32回 16 ms，32回

繰り返しリプル雑音（2）


遅延時間 0.5 ms

遅延時間 8 ms

繰り返し回数

2

8

32

0.5 ms

繰り返し回数の増加に伴い，波形の周期性が増加

繰り返しリプル雑音に対する脳磁界反応繰り返し回数の影響

N1m潜時N1m振幅

N1m振幅は繰り返し数と共に増大，N1m潜時は繰り返し数と共に短縮


ピッチ明瞭度がN1m反応に反映

繰り返しリプル雑音に対する脳磁界反応遅延時間の影響

N1m潜時N1m振幅

N1m潜時は遅れ時間と共に増加


ピッチがN1m潜時に反映

繰り返しリプル雑音に対する脳磁界反応遅延時間の影響

知覚可能なピッチをもたない音

知覚可能なピッチをもつ音

ピッチの知覚限界は潜時に反映される

知覚可能なピッチをもつ音ともたない音で大脳処理部位が異なる

ピッチの知覚限界


音像と広がり感

• 音像：音が存在すると主観的に感じる点の空間的な分布，輪郭

• 通常，反射音の影響により人間は左右の耳で異なる音を聞く

• 両耳間相関度が高い→音像は狭く感じられる

• 両耳間相関度が低い→音像は広く感じられる


両耳間相関度（IACC）の制御両耳間相関関数

時間波形

パワースペクトル

IACC

= 0.2

IACC

= 0.5

IACC

= 0.9

IACC = 0.0

IACC = 1.0

左右の耳に同じ帯域雑音

左右の耳で無相関の帯域雑音


高 IACC = 0.95 低 IACC = 0.20

ITD = 0.0 [ms]

ITD = 0.7 [ms]


IACC・両耳間時間差（ITD）と音像

IACCとITDに対するN1m振幅IACC =0.95 IACC =0.5

IACCが0.95の時，N1m振幅はITDと共に増加

ITD [ms] ITD [ms]


ITDの違いがN1m活動強度の違いとして符号化

IACCとITDに対する活動部位


ITD[ms]

帯域雑音に対する不快度


周波数

帯域幅

中心周波数

帯域幅が最小，または，最大時に不快度が最大

純音帯域雑音

帯域雑音聴取時の自発反応（8-13 Hz）2. 脳磁界（MEG）計測を用いた聴覚メカニズム解明

経線方向緯線方向

脳磁界反応（8-13 Hz）例と自己相関関数


脳磁界データ

自己相関関数

脳磁界反応の自己相関・相互相関解析指標


時間的同調性（安定度）の評価

空間的同調性（安定度）の評価

自己相関指標相互相関指標

不快度と脳磁界反応の関係


帯域雑音がより不快

帯域雑音聴取時にte，|f(t)|maxが大きい

不快音聴取時にte，|f(t)|maxが減少

時・空間的同調性が減少

まとめ


• 誘発反応（N1m反応）–ピッチがN1m潜時に反映される

–ピッチ明瞭度がN1m振幅に反映される

–方向感がN1m振幅に反映される

• 自発反応（8-13 Hz）–不快な音聴取時に自発反応（8-13 Hz）の時間的・空間的同調性が減少

本日の内容





– 広がり感に関わる脳磁界反応



– 相関関数に基づく音質評価モデル

– 空調音の例

音の知覚と自己相関・相互相関関数


• ピッチ

– 帯域雑音の中心周波数，繰り返しリプル雑音の遅れ時間

➢自己相関関数の最大振幅時の遅れ時間

• ピッチ明瞭度

– 帯域雑音の帯域幅，繰り返しリプル雑音の繰り返し回数

➢自己相関関数の最大振幅

• 方向感

– 左右耳に提示する帯域雑音の相関と位相

➢両耳間相互相関関数の最大値とその遅れ時間

相関指標に基づく音質評価モデル


自己相関関数(ACF)

Signal

ACF

ある信号とその時間遅れ信号との相関

自己相関（ACF）指標スペクトル

t1 : 最大ピーク遅れ時間ピッチ（音の高さ）

f1 : 最大ピーク振幅ピッチ明瞭度

te : エンベロープの減衰度周期性，残響

WF(0) : 初期減衰幅スペクトル重心

ACF


（両耳間）相互相関（IACF）指標

IACC : 両耳間相互相関係数（最大値）

拡散度tIACC : IACC時の遅れ時間

方向感

WIACC : IACC時のピーク幅拡がり感


空調音の音質評価：音測定・心理評価


• 測定音源の種類と数

• 天井埋込カセット型, 2 (CT1 and CT2)

• スプリット型, 5 (ST1, ST2, ST3, ST4, ST5)

• 中央空調方式, 1 (CA)

• 主観的不快度評価実験

• 8 種類の空調音(2.5 sec)

• シェッフェの一対比較法

CT

ST

空調音の音質評価：相関指標解析結果


t1

f1 LAeq

Wf(0)低

ピッチ

強いピッチ

弱いピッチ

高ピッチ

低スペクトル重心

高スペクトル重心

空調音の音質評価：自己相関指標と不快度

• 単相関

• 音源に対する心理反応予測

• 重相関

➢ SVannoyance a0 + a1t1 + a2f1，調整済決定係数 0.90

a1 a2

標準回帰係数 -1.3 -0.6

その他

[email protected]

http://staff.aist.go.jp/y.soeta

41

振動・音響研究会...Title 振動・音響研究会 Author...

Documents

Transcript of 振動・音響研究会...Title 振動・音響研究会 Author...