| 講演抄録／キーワード |
| 講演名 |
2024-11-16 10:00
視線情報に基いたマインドリーディング深層学習モデル
○多田那由多・小濱 剛（近畿大） |
| 抄録 |
（和） |
本研究では，視線に基づいたマインドリーディング技術の確立を目的として，画像からテキストを生成する深層学習モデルである BLIP-2 の attention 機構に視線情報を混合させるように拡張したモデルを構築した．提案モデルに対して，何らかの指示のもとで画像を観察させた際の視線，および，その指示内容との関係を紐付けるように学習させた．実データを入手するのが困難であったことから，疑似データを使用して学習の可否を検証した結果，一定の精度に達するまで学習させることができた．学習後のモデルを用いて，特定の画像および同時に入力する視線データのペアを変更することで，生成されるテキスト情報も変化することが確認できた．このことから，視線情報が提案モデルのテキスト生成に寄与していることが確認され，視線に基づいたマインドリーディング技術開発の可能性が示唆された． |
| （英） |
In this study, intending to establish a mind-reading technique based on gaze information, we developed a model that extends the attention mechanism of the BLIP-2, a deep learning model for generating text from images, to incorporate gaze information. The proposed model was trained to associate gaze with an image under specific instructions and its relationship with the content of the instructions. Due to difficulties in obtaining actual data, we used pseudo-data to evaluate the feasibility of learning and successfully trained the model to achieve a specific accuracy level. Utilizing the trained model, we observed that the generated text information also changed when the pair of a specific image and simultaneously input gaze data were altered. This finding confirms that gaze information contributes to text generation in the proposed model and suggests the potential for developing mind-reading technology based on gaze information. |
| キーワード |
（和） |
視線情報 / 深層学習モデル / マインドリーディング / テキスト生成 / / / / |
| （英） |
Eye gaze / Deep learning model / Mind reading / Text generation / / / / |
| 文献情報 |
映情学技報, vol. 48, no. 39, HI2024-47, pp. 47-50, 2024年11月. |
| 資料番号 |
HI2024-47 |
| 発行日 |
2024-11-08 (HI) |
| ISSN |
Online edition: ISSN 2424-1970 |
| PDFダウンロード |
|