畳み込みニューラルネットワークを用いたリアルタイム視線領域推定システムの構築と評価
一般に，非接触型の視線入力装置では，使用開始前にキャリブレーションを必要としている．しかし，知的な遅れがあり身体を思うように動かすことが難しい重度重複障害者にとって，キャリブレーションの操作指示に従い視線を移動させることは困難である．専用の機器を必要とする手間がかかることも視線による意思表示を難しくしている．本研究では，意思表示に必要な分解能を維持しつつキャリブレーションを必要としないリアルタイム視線領域推定システムを構築した．通常のwebカメラを用い，目や顔の情報を畳み込みニューラルネットワーク（CNN）で学習することにより視線領域推定を実現している．次に，画面上に36か所の注視点を設け，カ...
Saved in:
| Published in | 人間工学 Vol. 56; no. 5; pp. 181 - 190 |
|---|---|
| Main Authors | , , |
| Format | Journal Article |
| Language | Japanese |
| Published |
一般社団法人 日本人間工学会
15.10.2020
日本人間工学会 |
| Subjects | |
| Online Access | Get full text |
| ISSN | 0549-4974 1884-2844 |
| DOI | 10.5100/jje.56.181 |
Cover
| Abstract | 一般に，非接触型の視線入力装置では，使用開始前にキャリブレーションを必要としている．しかし，知的な遅れがあり身体を思うように動かすことが難しい重度重複障害者にとって，キャリブレーションの操作指示に従い視線を移動させることは困難である．専用の機器を必要とする手間がかかることも視線による意思表示を難しくしている．本研究では，意思表示に必要な分解能を維持しつつキャリブレーションを必要としないリアルタイム視線領域推定システムを構築した．通常のwebカメラを用い，目や顔の情報を畳み込みニューラルネットワーク（CNN）で学習することにより視線領域推定を実現している．次に，画面上に36か所の注視点を設け，カメラと顔までの相対的な距離および顔の姿勢角を変化させて評価実験を行った．その結果，基本姿勢において，距離については1,200 mm，位置では100 mm下方まで実用的な精度が維持されていることが確認された．姿勢角については1人の被験者のみを対象とした結果であるが，ヨー角10度，ピッチ角15度，ロール角15度までは精度が保たれることが確認された． |
|---|---|
| AbstractList | 一般に, 非接触型の視線入力装置では, 使用開始前にキャリブレーションを必要としている. しかし, 知的な遅れがあり身体を思うように動かすことが難しい重度重複障害者にとって, キャリブレーションの操作指示に従い視線を移動させることは困難である. 専用の機器を必要とする手間がかかることも視線による意思表示を難しくしている. 本研究では, 意思表示に必要な分解能を維持しつつキャリブレーションを必要としないリアルタイム視線領域推定システムを構築した. 通常のwebカメラを用い, 目や顔の情報を畳み込みニューラルネットワーク(CNN)で学習することにより視線領域推定を実現している. 次に, 画面上に36か所の注視点を設け, カメラと顔までの相対的な距離および顔の姿勢角を変化させて評価実験を行った. その結果, 基本姿勢において, 距離については1,200mm, 位置では100mm下方まで実用的な精度が維持されていることが確認された. 姿勢角については1人の被験者のみを対象とした結果であるが, ヨー角10度, ピッチ角15度, ロール角15度までは精度が保たれることが確認された. 一般に，非接触型の視線入力装置では，使用開始前にキャリブレーションを必要としている．しかし，知的な遅れがあり身体を思うように動かすことが難しい重度重複障害者にとって，キャリブレーションの操作指示に従い視線を移動させることは困難である．専用の機器を必要とする手間がかかることも視線による意思表示を難しくしている．本研究では，意思表示に必要な分解能を維持しつつキャリブレーションを必要としないリアルタイム視線領域推定システムを構築した．通常のwebカメラを用い，目や顔の情報を畳み込みニューラルネットワーク（CNN）で学習することにより視線領域推定を実現している．次に，画面上に36か所の注視点を設け，カメラと顔までの相対的な距離および顔の姿勢角を変化させて評価実験を行った．その結果，基本姿勢において，距離については1,200 mm，位置では100 mm下方まで実用的な精度が維持されていることが確認された．姿勢角については1人の被験者のみを対象とした結果であるが，ヨー角10度，ピッチ角15度，ロール角15度までは精度が保たれることが確認された． |
| Author | 加藤, 達也 柴里, 弘毅 城, 啓悟 |
| Author_xml | – sequence: 1 fullname: 柴里, 弘毅 organization: 熊本高等専門学校制御情報システム工学科 – sequence: 1 fullname: 城, 啓悟 organization: 熊本高等専門学校電子情報システム工学専攻 – sequence: 1 fullname: 加藤, 達也 organization: 熊本高等専門学校制御情報システム工学科 |
| BookMark | eNo1kE9LG0EYxoeiYKpe_B4bZ2ZnJrMHDyJqBaGXeh4muxO7S9zIRg_iaXdKUUQPpZbiJSq2RgVz8BAKQT_M2_zxWzhBvTwPPO_z_l54P6KJtJEahOYILnOC8XySmDIXZSLJB1QiUjKPSsYmUAlzFngsqLApNNtsxlUsMKGcB6KE9oenD5A_jR57TsEegf0Dtgf2Buwd2GOwFuwB2M44LDpQ_Bj-bEP-DfIW2FsoLse14gmKK7Dno7-_ht2z5_Pf_VZrcNLu359B0YXiH9jvbgr5_eD6aNg5hLw9ujn9_3gxgyZrut40s28-jTZWlr8sffLWP6-uLS2uewkNaOD5uEq4jyU1JqRVSissCn1DsCahrIhIyEgzxpmoSVmTNGIR58T1RFXUmCRa-NNo9ZW7ZaI41PVGWo9To5LGbpa6uyra5ibbbKSKYooVxlxg7sxX2L3SSYB9wSgXgSMtvJKS5o7eNGo7i7d0tqd0thOHdYdMjOJC8bGMd9_z8KvOVKL9F74kqpA |
| ContentType | Journal Article |
| Copyright | 2020 一般社団法人 日本人間工学会 |
| Copyright_xml | – notice: 2020 一般社団法人 日本人間工学会 |
| CorporateAuthor | 熊本高等専門学校電子情報システム工学専攻 熊本高等専門学校制御情報システム工学科 |
| CorporateAuthor_xml | – name: 熊本高等専門学校制御情報システム工学科 – name: 熊本高等専門学校電子情報システム工学専攻 |
| DOI | 10.5100/jje.56.181 |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| EISSN | 1884-2844 |
| EndPage | 190 |
| ExternalDocumentID | dp5ergon_2020_005605_003_0181_01903642569 article_jje_56_5_56_181_article_char_ja |
| GroupedDBID | ALMA_UNASSIGNED_HOLDINGS JSF KQ8 MOJWN RJT |
| ID | FETCH-LOGICAL-j2929-30b153082eec2b2274dc3e10a1c876d68da44546f88f82d4d5512b26b6f481a63 |
| ISSN | 0549-4974 |
| IngestDate | Thu Jul 10 16:15:01 EDT 2025 Wed Sep 03 06:31:05 EDT 2025 |
| IsDoiOpenAccess | true |
| IsOpenAccess | true |
| IsPeerReviewed | false |
| IsScholarly | false |
| Issue | 5 |
| Language | Japanese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-j2929-30b153082eec2b2274dc3e10a1c876d68da44546f88f82d4d5512b26b6f481a63 |
| OpenAccessLink | https://www.jstage.jst.go.jp/article/jje/56/5/56_181/_article/-char/ja |
| PageCount | 10 |
| ParticipantIDs | medicalonline_journals_dp5ergon_2020_005605_003_0181_01903642569 jstage_primary_article_jje_56_5_56_181_article_char_ja |
| PublicationCentury | 2000 |
| PublicationDate | 20201015 |
| PublicationDateYYYYMMDD | 2020-10-15 |
| PublicationDate_xml | – month: 10 year: 2020 text: 20201015 day: 15 |
| PublicationDecade | 2020 |
| PublicationTitle | 人間工学 |
| PublicationTitleAlternate | 人間工学 |
| PublicationYear | 2020 |
| Publisher | 一般社団法人 日本人間工学会 日本人間工学会 |
| Publisher_xml | – name: 一般社団法人 日本人間工学会 – name: 日本人間工学会 |
| References | 1）伊藤和幸, 数藤康雄, 他. 重度肢体不自由者向けの視線入力式コミュニケーション装置. 電子情報通信学会論文誌. 2000, 83（5）, p.495-503. 7）University of Edinburgh, “Eye gaze software curve”, https://www.callscotland.org.uk/common-assets/cm-files/posters/eye-gaze-software-curve.pdf （参照 2020-9-2 8）Zhang, X.; Sugano, Y.; et al. “Appearance-based gaze estimation in the wild”. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston, MA, 2015-07-07/12, p.4511-4520, doi:10.1109/CVPR.2015.7299081. 9）Liu, S.; Deng, W. “Very deep convolutional neural network based image classification using small training sample size”. Proceedings of 2015 3rd IAPR Asian Conference on Pattern Recognition （ACPR）. Kuala, Lumpur, 2015-11-03/06, p.730-734, doi: 10.1109/ACPR.2015.7486599. 3）後関利明, 星飛雄馬, 他. Tobii社製眼球運動計測装置. 神経眼科. 2016, 33（1）, p.47-52. 6）柴里弘毅, 大塚弘文. ニーズをとらえ解決策を生み出す社会実装型の学生教育－熊本県立黒石原支援学校における教材・支援機器開発－. 独立行政法人国立高等専門学校機構, 論文集高専教育, 2015, 38, p.135-140. 4）文部科学省. 特別支援学校学習指導要領解説総則等編 （幼稚部, 小学部, 中等部）. 開隆堂出版, 2018, 465p. 11）Chollet, F. “Xception: deep learning with depthwise separable convolutions”. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu, HI, 2017-07-21/26, p.1800-1807, doi: 10.1109/CVPR.2017.195. 5）柴里弘毅, 大塚弘文. 学外協力者とのニーズ発掘を起点とする社会実装プロジェクトの実践. 工学教育. 2015, 63（1）, p.48-53. 10）Szegedy, C.; Liu, W.; et al. “Going deeper with convolutions”. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston, MA, 2015-07-07/12, p.1-9, doi: 10.1109/CVPR.2015.7298594. 2）新井康平, 上滝寛美. 利用者の動きを許容する黒目中心検出による視線推定に基づくコンピュータ入力システム. 電気学会論文誌. 2007, 127（7）, p.1107-1114. |
| References_xml | – reference: 7）University of Edinburgh, “Eye gaze software curve”, https://www.callscotland.org.uk/common-assets/cm-files/posters/eye-gaze-software-curve.pdf （参照 2020-9-2） – reference: 5）柴里弘毅, 大塚弘文. 学外協力者とのニーズ発掘を起点とする社会実装プロジェクトの実践. 工学教育. 2015, 63（1）, p.48-53. – reference: 11）Chollet, F. “Xception: deep learning with depthwise separable convolutions”. Proceedings of 2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu, HI, 2017-07-21/26, p.1800-1807, doi: 10.1109/CVPR.2017.195. – reference: 3）後関利明, 星飛雄馬, 他. Tobii社製眼球運動計測装置. 神経眼科. 2016, 33（1）, p.47-52. – reference: 6）柴里弘毅, 大塚弘文. ニーズをとらえ解決策を生み出す社会実装型の学生教育－熊本県立黒石原支援学校における教材・支援機器開発－. 独立行政法人国立高等専門学校機構, 論文集高専教育, 2015, 38, p.135-140. – reference: 9）Liu, S.; Deng, W. “Very deep convolutional neural network based image classification using small training sample size”. Proceedings of 2015 3rd IAPR Asian Conference on Pattern Recognition （ACPR）. Kuala, Lumpur, 2015-11-03/06, p.730-734, doi: 10.1109/ACPR.2015.7486599. – reference: 1）伊藤和幸, 数藤康雄, 他. 重度肢体不自由者向けの視線入力式コミュニケーション装置. 電子情報通信学会論文誌. 2000, 83（5）, p.495-503. – reference: 4）文部科学省. 特別支援学校学習指導要領解説総則等編 （幼稚部, 小学部, 中等部）. 開隆堂出版, 2018, 465p. – reference: 10）Szegedy, C.; Liu, W.; et al. “Going deeper with convolutions”. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston, MA, 2015-07-07/12, p.1-9, doi: 10.1109/CVPR.2015.7298594. – reference: 8）Zhang, X.; Sugano, Y.; et al. “Appearance-based gaze estimation in the wild”. Proceedings of 2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Boston, MA, 2015-07-07/12, p.4511-4520, doi:10.1109/CVPR.2015.7299081. – reference: 2）新井康平, 上滝寛美. 利用者の動きを許容する黒目中心検出による視線推定に基づくコンピュータ入力システム. 電気学会論文誌. 2007, 127（7）, p.1107-1114. |
| SSID | ssib060125596 ssj0000400172 ssib000994791 |
| Score | 1.8143913 |
| Snippet | ... 一般に, 非接触型の視線入力装置では, 使用開始前にキャリブレーションを必要としている. しかし, 知的な遅れがあり身体を思うように動かすことが難しい重度重複障害者にとって, キャリブレーションの操作指示に従い視線を移動させることは困難である.... |
| SourceID | medicalonline jstage |
| SourceType | Publisher |
| StartPage | 181 |
| SubjectTerms | アシスティブテクノロジー 意思表示支援 深層学習 視線領域推定 重度重複障害 |
| Title | 畳み込みニューラルネットワークを用いたリアルタイム視線領域推定システムの構築と評価 |
| URI | https://www.jstage.jst.go.jp/article/jje/56/5/56_181/_article/-char/ja http://mol.medicalonline.jp/en/journal/download?GoodsID=dp5ergon/2020/005605/003&name=0181-0190j |
| Volume | 56 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| ispartofPNX | 人間工学, 2020/10/15, Vol.56(5), pp.181-190 |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV3Na9RAFA-lXgQRRcX6RQ_mJFt3JzOTmZvJNktRFIQWegubTVZYsC21vehpNyJK0YNYkV5axY9WoT14KEJp_5ix3fpf-N4ks5sVwVoI4TH5zbyPmWTeSyZvLOt65DSJQ0mzBAPIKVEnTkqyzpMSTA6kLGhcjhz8OfnuPT4xRW9Ps-mh4Vph1dLiQjTWePzX_0qO06tQBv2Kf8n-R8_2GoUCoKF_4Qw9DOcj9bEduLZktu_YgQMuoe3X7EDYfmD71UIJEHD4OeGxnMgx-J3cEAYjxg3hGEIYTG2wOjElxJZEy0NtT-TcBc0JaWp5nqlFBpkSIypcouZSGdXxuC05tuxD41BdYrkEFgybxZa5LQLNlNleoDFZg64hjIKCF1rWggEeqnuuto-LughpLgnNXaKFA4pW9SpFV14XeniASCChdFAAYIoWBknGQXIznJEJSOpTxArgVsWhrfFVrQvXrFkfr5UTgYGBDNg-13auFWHCy-0kXbScxkttc6ollAafv9qBOB5XyrDezahRAle8QCPQz15VW0JrjJx929OcYZTllkClb2iVMmWBqOpq_zaIxoDKXmECYlTvQJi98EmyCVIIWgKXhhZn0Cw1fP6kYIXpsJJtx5N7VpVsY9g_J22YFXCVa6uVjDE-1qsykAQ9v8VCAIWMhwxPgAxNOf6iGLYgTjpBXFcv17hzvxBmSEndfk4oDk4ZBNK89y4WJ7KK3uetp3KWyRhFu9kXDLzUFsRsmIzj1MPsO2qWz6bgkk6esU7nseSol0l31hpq1c9ZT7rL31V773B3B84qXVLpJ5XuqHRDpd9U-lKlqUqfq3QLCztbqvO6-2ZdtZ-q9qpKv6rOB4R19lTno0rXDj-_7W6v_Fp7t7-6evBqfX9zRXW2VeeHSp_BVdXePPiy1N16odrrhxvLP3ffn7emasFkdaKU77BSahGIi0pOOQKPB6KAJGmQiBCXxg0nqZTrlQZ4STEXcZ1SRnlTiKYgMY0hvgIcj3iTikqdOxes4ZnZmeSiNRo1OXF5uc4kqVMHwiBej0UkJWk0BXMrjRGLZ7YL57I0OuER-3TEujVg6zB_AD8K4zmWzD-YnQnx3gkxqXGZYa7jEJMQhpgkw-HgknB56bi8L1sn-_flFWt4YX4xuQpByEJ0TY-w3yvLBPw |
| linkProvider | Colorado Alliance of Research Libraries |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E7%95%B3%E3%81%BF%E8%BE%BC%E3%81%BF%E3%83%8B%E3%83%A5%E3%83%BC%E3%83%A9%E3%83%AB%E3%83%8D%E3%83%83%E3%83%88%E3%83%AF%E3%83%BC%E3%82%AF%E3%82%92%E7%94%A8%E3%81%84%E3%81%9F%E3%83%AA%E3%82%A2%E3%83%AB%E3%82%BF%E3%82%A4%E3%83%A0%E8%A6%96%E7%B7%9A%E9%A0%98%E5%9F%9F%E6%8E%A8%E5%AE%9A%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89%E3%81%A8%E8%A9%95%E4%BE%A1&rft.jtitle=%E4%BA%BA%E9%96%93%E5%B7%A5%E5%AD%A6&rft.au=%E6%9F%B4%E9%87%8C%2C+%E5%BC%98%E6%AF%85&rft.au=%E5%9F%8E%2C+%E5%95%93%E6%82%9F&rft.au=%E5%8A%A0%E8%97%A4%2C+%E9%81%94%E4%B9%9F&rft.date=2020-10-15&rft.pub=%E4%B8%80%E8%88%AC%E7%A4%BE%E5%9B%A3%E6%B3%95%E4%BA%BA+%E6%97%A5%E6%9C%AC%E4%BA%BA%E9%96%93%E5%B7%A5%E5%AD%A6%E4%BC%9A&rft.issn=0549-4974&rft.eissn=1884-2844&rft.volume=56&rft.issue=5&rft.spage=181&rft.epage=190&rft_id=info:doi/10.5100%2Fjje.56.181&rft.externalDocID=article_jje_56_5_56_181_article_char_ja |
| thumbnail_l | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=0549-4974&client=summon |
| thumbnail_m | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=0549-4974&client=summon |
| thumbnail_s | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=0549-4974&client=summon |