Post on 23-Aug-2021
視覚変調による味覚操作に関する研究
中野萌士 (NAIST サイバネティクス・リアリティ工学研究室 D2)
2
自己紹介
• 名前:中野萌士 (Kizashi Nakano)
• 所属:NAIST,清川研究室 D2
• 領域:AR/VR,味覚,HMD,Virtual Avatar
• 興味:
感覚提示手法によって私達が知覚している世界を操作する
@signs0302
3
研究の背景
原因:食物アレルギーや疾患,ダイエット等問題:食生活のQoLが低下[1]
食べられない食事を食べた感覚を味覚変調で提示する[1] J. A. Lieberman and S. H. Sicherer : Quality of life in food allergy. Current Opinion in Allergy and Clinical Immunology, 11(3), pp236–242, 2011.
4
StarGANを用いた食事外見の変調[2]
[2] K. Nakano et al. : DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation, ISMAR, pp.328-339, 2019.
https://www.youtube.com/watch?v=BJaQ5IF6iEI
5
視覚提示した味を感じるのか? (N=12) [2]
そうめんの味に感じたか?
焼きそばの味に感じたか?
• 実際の食事はそうめん
• VAS (0-100) で回答
• 焼きそばを見る条件では– 実際の食事の味を弱く感じる
– 視覚提示した食事の味を強く感じる
• 種類の変化>味の変化( 種類の認識>味覚刺激 )
[2] K. Nakano et al. : DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation, ISMAR, pp.328-339, 2019.
6
• 実際の食事はそうめん
• VAS (0-100) で回答
• 焼きそばを見る条件では– 実際の食事の味を弱く感じる
– 視覚提示した食事の味を強く感じる
• 種類の変化>味の変化( 種類の認識>味覚刺激 )
視覚提示した味を感じるのか? (N=12) [2]
焼きそばを食べていると感じたか?
焼きそばの味に感じたか?
[2] K. Nakano et al. : DeepTaste: Augmented Reality Gustatory Manipulation with GAN-based Real-time Food-to-food Translation, ISMAR, pp.328-339, 2019.
>
7
味覚の変化は持続するのか? (N=16) [3]
• 実際の食事はそうめん外見は焼きそば
• 5口目まで1口ごとにVAS (0-100) で回答
• 1口目との差をグラフ化
• 仮説:そうめんの味が増加焼きそばの味が減少 そうめんの味
に感じたか?焼きそばの味に感じたか?
1口目と5口目の値が10以上• 増加した• 変化しなかった• 減少した
[3] K. Nakano et al. : A Study on Persistence of GAN-Based Vision-Induced Gustatory Manipulation, Electronics 10 (10), 1157, 2021.
8
味覚の変化は持続するのか? (N=16) [3]
• 実際の食事はそうめん外見は焼きそば
• 5口目まで1口ごとにVAS (0-100) で回答
• 1口目との差をグラフ化
• 結果:増加,変化なし減少が同程度存在
[3] K. Nakano et al. : A Study on Persistence of GAN-Based Vision-Induced Gustatory Manipulation, Electronics 10 (10), 1157, 2021.
そうめんの味に感じたか?
焼きそばの味に感じたか?
1口目と5口目の値が10以上• 増加した• 変化しなかった• 減少した
9
VR空間で食体験を構築出来るだろうか?
AR
VR (AV)
• これまではARを用いた味覚操作の研究を紹介した
• VR (AV)を用いることで周囲の環境変化や遠隔共食を行える
• しかし,HMD装着時に食事をすることは困難
10[4] 中野萌士と堀田大地 : VR空間における食体験の構築, 2019年度未踏IT人材発掘・育成事業, 2020.
VR空間で食事を行えるソフトウェアの開発 [4]https://www.youtube.com/watch?v=Teo_Gv3lFI4
11
VR空間での共食 [4]
自分の視点
相手の視点
[4] 中野萌士と堀田大地 : VR空間における食体験の構築, 2019年度未踏IT人材発掘・育成事業, 2020.
https://www.youtube.com/watch?v=Teo_Gv3lFI4
12
垂直下方向の視野角 (下方視野) の重要性
AR• ARやVR (AV)を用いた味覚操作の研究を紹介した
• 視覚変調を行うためのHMDの視野角が足りない
• 特に垂直方向の視野角が足りず口元付近の食事を表示できない
HMD
13
下方視野を拡大したHMDの開発 [5]
[5] 中野萌士ら :下方視野を拡大したHMDの開発と評価,インタラクション, pp.106-114, 2020.
https://www.youtube.com/watch?v=7yig_w3X0PI
14
今後も視覚変調による味覚操作に関する研究に挑戦していきます!
私達が知覚している世界を操作する• ARを用いて食事の味や種類を操作
• VR (AV)を用いてVR空間における食体験を構築
• 下方視野を拡大したHMDを開発
@signs0302nakano.kizashi.nc2@is.naist.jp