腹腔鏡下手術映像における時系列行動セグメンテーションのアンサンブル手法の提案
本稿では，腹腔鏡下手術における手技の自動評価で活用することを想定し，手術映像から術者の手技の種類を判別する時系列行動セグメンテーションの効果的な手法を検討する．ここでは，特に細かい操作レベルの動作の分類を対象とする．行動分類モデルにMS-TCNと，その改良版であるMS-TCN++を採用し，最初に，両モデルの最適な予測層数と洗練層数を検討する．最適化後の評価実験では，両モデルの分類精度はほぼ同等であるが，予測の傾向が異なることを示す．この結果に基づき，両モデルの分類結果を統合するアンサンブル手法を提案する．両モデルの予測確率の和に基づき判定する手法において，正解率が改善することを示す．...
Saved in:
| Published in | 知能と情報 Vol. 37; no. 1; pp. 571 - 576 |
|---|---|
| Main Authors | , , , , , , , , , , |
| Format | Journal Article |
| Language | Japanese |
| Published |
日本知能情報ファジィ学会
15.02.2025
|
| Subjects | |
| Online Access | Get full text |
| ISSN | 1347-7986 1881-7203 |
| DOI | 10.3156/jsoft.37.1_571 |
Cover
| Abstract | 本稿では，腹腔鏡下手術における手技の自動評価で活用することを想定し，手術映像から術者の手技の種類を判別する時系列行動セグメンテーションの効果的な手法を検討する．ここでは，特に細かい操作レベルの動作の分類を対象とする．行動分類モデルにMS-TCNと，その改良版であるMS-TCN++を採用し，最初に，両モデルの最適な予測層数と洗練層数を検討する．最適化後の評価実験では，両モデルの分類精度はほぼ同等であるが，予測の傾向が異なることを示す．この結果に基づき，両モデルの分類結果を統合するアンサンブル手法を提案する．両モデルの予測確率の和に基づき判定する手法において，正解率が改善することを示す． |
|---|---|
| AbstractList | 本稿では，腹腔鏡下手術における手技の自動評価で活用することを想定し，手術映像から術者の手技の種類を判別する時系列行動セグメンテーションの効果的な手法を検討する．ここでは，特に細かい操作レベルの動作の分類を対象とする．行動分類モデルにMS-TCNと，その改良版であるMS-TCN++を採用し，最初に，両モデルの最適な予測層数と洗練層数を検討する．最適化後の評価実験では，両モデルの分類精度はほぼ同等であるが，予測の傾向が異なることを示す．この結果に基づき，両モデルの分類結果を統合するアンサンブル手法を提案する．両モデルの予測確率の和に基づき判定する手法において，正解率が改善することを示す． |
| Author | 日高, 翼 出口, 楽々 黒島, 直樹 田辺, 寛 久保, 莞太 馬場, 研二 向田, 眞志保 小野, 智司 大塚, 隆生 重井, 徳貴 和田, 真澄 |
| Author_xml | – sequence: 1 fullname: 日高, 翼 organization: 鹿児島大学 大学院理工学研究科 – sequence: 1 fullname: 和田, 真澄 organization: 鹿児島大学 大学院医歯学総合研究科 消化器外科学 – sequence: 1 fullname: 久保, 莞太 organization: 鹿児島大学 大学院理工学研究科 – sequence: 1 fullname: 田辺, 寛 organization: 鹿児島大学 大学院医歯学総合研究科 消化器外科学 – sequence: 1 fullname: 大塚, 隆生 organization: 鹿児島大学 大学院医歯学総合研究科 消化器外科学 – sequence: 1 fullname: 黒島, 直樹 organization: 鹿児島大学 大学院医歯学総合研究科 消化器外科学 – sequence: 1 fullname: 重井, 徳貴 organization: 鹿児島大学 大学院理工学研究科 – sequence: 1 fullname: 向田, 眞志保 organization: 鹿児島大学 大学院理工学研究科 – sequence: 1 fullname: 小野, 智司 organization: 鹿児島大学 大学院理工学研究科 – sequence: 1 fullname: 出口, 楽々 organization: 鹿児島大学 大学院理工学研究科 – sequence: 1 fullname: 馬場, 研二 organization: 鹿児島大学 大学院医歯学総合研究科 消化器外科学 |
| BookMark | eNo9kD1Lw0AAhg-pYFtd_Repd7kkdzeJFL-g4KJzuMaLNtRWki6OSahUI0TR-rEZF4eCCEVU6r85G-O_MK3i8n7wwDu8JVBotVsCgEUEKxjpxpLjte1OBZMKMnWCZkARUYoUokJcyDPWiEIYNeZAyfMcCA0GdVQEbtZ9z7pX33Hy-RalJ1GWXKa39-Mwlv5A-qfSv5BBlN4FX8PRuHeTJWfjqC-DkQyeZZjIcCjDYxl-yOBVho-T6j_J4GESgpcpvZbhIJ9Nh_0cpfF5mvTmwazNm55Y-PMy2Flb3a5uKLWt9c3qSk1xEGFc0XYNwzYQ47ZQuWrrlmCWpUFhQcSZTilkhGFIOVfriKu6SgxWtzEkFtcoVZGOy2D5d9fxOnxPmIdu44C7RyZ3Ow2rKczpXyYmJppIftk_sfa5azoc_wBoyI9W |
| ContentType | Journal Article |
| Copyright | 2025 日本知能情報ファジィ学会 |
| Copyright_xml | – notice: 2025 日本知能情報ファジィ学会 |
| DOI | 10.3156/jsoft.37.1_571 |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| Discipline | Engineering Mathematics |
| EISSN | 1881-7203 |
| EndPage | 576 |
| ExternalDocumentID | article_jsoft_37_1_37_571_article_char_ja |
| GrantInformation | Kagoshima University Japan Society for the Promotion of Science |
| GroupedDBID | 29K 2WC 5GY ABJNI ACGFS ALMA_UNASSIGNED_HOLDINGS CS3 D-I E3Z EBS EJD JSF KQ8 OK1 RJT RNS |
| ID | FETCH-LOGICAL-j179a-4d66f619afe2a2f5ce9cc40ec01a95880979308aa2b1a252769bf307ca4882153 |
| ISSN | 1347-7986 |
| IngestDate | Wed Sep 03 06:30:56 EDT 2025 |
| IsDoiOpenAccess | true |
| IsOpenAccess | true |
| IsPeerReviewed | false |
| IsScholarly | true |
| Issue | 1 |
| Language | Japanese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-j179a-4d66f619afe2a2f5ce9cc40ec01a95880979308aa2b1a252769bf307ca4882153 |
| OpenAccessLink | https://www.jstage.jst.go.jp/article/jsoft/37/1/37_571/_article/-char/ja |
| PageCount | 6 |
| ParticipantIDs | jstage_primary_article_jsoft_37_1_37_571_article_char_ja |
| PublicationCentury | 2000 |
| PublicationDate | 2025/02/15 |
| PublicationDateYYYYMMDD | 2025-02-15 |
| PublicationDate_xml | – month: 02 year: 2025 text: 2025/02/15 day: 15 |
| PublicationDecade | 2020 |
| PublicationTitle | 知能と情報 |
| PublicationTitleAlternate | 日本知能情報ファジィ学会誌 |
| PublicationYear | 2025 |
| Publisher | 日本知能情報ファジィ学会 |
| Publisher_xml | – name: 日本知能情報ファジィ学会 |
| References | [2] D. Kiyasseh et al.: “A vision transformer for decoding surgeon activity from surgical videos,” Nat. Biomed. Eng., Vol.7, No.6, pp. 780-796, 2023. [3] A. P. Twinanda et al.: “EndoNet: A deep architecture for recognition tasks on laparoscopic videos,” IEEE Trans. Med. Imaging, Vol.36, No.1, pp. 86-97, 2017. [6] J. Carreira and A. Zisserman: “Quo vadis, action recognition? A new model and the Kinetics dataset,” 2017 IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 4724-4733, 2017. [5] S. Li, Y. A. Farha, Y. Liu, M.-M. Cheng, and J. Gall: “MS-TCN++: Multi-stage temporal convolutional network for action segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., Vol.45, No.6, pp. 6647-6658, 2020. [7] F. Yi, H. Wen, and T. Jiang: “ASFormer: Transformer for action segmentation,” The 32nd Br. Mach. Vis. Conf. (BMVC), 2021. [8] Action Segmentation on GTEA. https://paperswithcode.com/sota/action-segmentation-on-gtea-1 [accessed Sep. 29, 2024] [4] Y. A. Farha and J. Gall: “MS-TCN: Multi-stage temporal convolutional network for action segmentation,” 2019 IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 3570-3579, 2019. [1] T. Igaki et al.: “Automatic surgical skill assessment system based on concordance of standardized surgical field development using artificial intelligence,” JAMA Surgey, Vol.158, No.8, Article No.e231131, 2023. |
| References_xml | – reference: [4] Y. A. Farha and J. Gall: “MS-TCN: Multi-stage temporal convolutional network for action segmentation,” 2019 IEEE/CVF Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 3570-3579, 2019. – reference: [8] Action Segmentation on GTEA. https://paperswithcode.com/sota/action-segmentation-on-gtea-1 [accessed Sep. 29, 2024] – reference: [3] A. P. Twinanda et al.: “EndoNet: A deep architecture for recognition tasks on laparoscopic videos,” IEEE Trans. Med. Imaging, Vol.36, No.1, pp. 86-97, 2017. – reference: [5] S. Li, Y. A. Farha, Y. Liu, M.-M. Cheng, and J. Gall: “MS-TCN++: Multi-stage temporal convolutional network for action segmentation,” IEEE Trans. Pattern Anal. Mach. Intell., Vol.45, No.6, pp. 6647-6658, 2020. – reference: [1] T. Igaki et al.: “Automatic surgical skill assessment system based on concordance of standardized surgical field development using artificial intelligence,” JAMA Surgey, Vol.158, No.8, Article No.e231131, 2023. – reference: [2] D. Kiyasseh et al.: “A vision transformer for decoding surgeon activity from surgical videos,” Nat. Biomed. Eng., Vol.7, No.6, pp. 780-796, 2023. – reference: [6] J. Carreira and A. Zisserman: “Quo vadis, action recognition? A new model and the Kinetics dataset,” 2017 IEEE Conf. Comput. Vis. Pattern Recognit. (CVPR), pp. 4724-4733, 2017. – reference: [7] F. Yi, H. Wen, and T. Jiang: “ASFormer: Transformer for action segmentation,” The 32nd Br. Mach. Vis. Conf. (BMVC), 2021. |
| SSID | ssj0069051 ssib023159992 ssib058986276 ssib029852168 ssib002484266 ssib001106413 ssib017172185 ssib002484577 ssib002222523 ssib000937382 |
| Score | 2.3817859 |
| Snippet | ... |
| SourceID | jstage |
| SourceType | Publisher |
| StartPage | 571 |
| SubjectTerms | MS-TCN アンサンブル 医療映像解析 時系列行動セグメンテーション |
| Title | 腹腔鏡下手術映像における時系列行動セグメンテーションのアンサンブル手法の提案 |
| URI | https://www.jstage.jst.go.jp/article/jsoft/37/1/37_571/_article/-char/ja |
| Volume | 37 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| ispartofPNX | 知能と情報, 2025/02/15, Vol.37(1), pp.571-576 |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwnV1Lb9NAELaqcoED4ine6oE9usS73tfRTl1VoCIhtaI3y07tQw4F9XHhlkRFhSAVBOVxI1w4VEJIFQJU_o1pCP-CmbWdOFUPpZfVeDwz3v1mnZ1xvGPLuu3SRKuUOnbckMu2y0RiR4I27CiOuKqlktJl3Jw8f1_MLbp3l_jSxOTDyltLG-vxdOPJkftKTuJV4IFfcZfsf3h2aBQYQIN_oQUPQ3ssH5NAEcWJrwtCuyTQRM0SzyGBS3xg-iQQRGlDKORrhhwNdI0EnCiG8gG0DvH8glBeQWjHELSwozXSgSQ-I75v1BXRsrCs6objE80LLd8viZohmOmYIcBCTihRcuqlsCyF5bgw9DAoZDw6fgq0-GHLurTsVUEQKFD0MDcoEAFdQwJHoarxOg5WA57cIAzGZ0pFZRQZwg6jBjD94eQ1UEmjpPHiADZMZIPbLPHrIzHwGDWwSXQdgFSI6TpeFLsaEOWO5F10NV7QRUt6JpeHjgVEB6YbLvG8kXxpFkTAku_l8iAGyn71eQ81--fzHa_mDq0MQWB3vPpRSBwGoAS-9L9XTh-YiQWHGeEZ4gkzChioV1kXmSttqcuq5TlPKcfGf_Gri2lewWfsRyNfGXn-pZ0iyOL5R38Or9_M4fgoqbkGIcg0k9NOOFQbq4le3HGhEQyZDB1sQDYsz-CexbAJidMpKqV5f-Peg0reobGgV2XDuAOR-VhcC8tcNS9wFUayY8d8tIHbkfggZVQECnImDonX0D7VCqLkUV7PFSBJMQ_IQ0aBRfLMk6EC5by6LKJxZxwLiJObkDWWb5yaIHjhnHW2yF6nvHz4562JZnTBOlOpaQpH88NC0GsXrdXB5s_B5pu_273fP7r9Z91B73X__ceDznbW2s1az7PWq6zd7X9o_9nbP9h6N-i9OOjuZO39rP016_Syzl7WeZp1fmXt71nnMx62vmTtT0i0v5mzb7POLpjt7-3Aqf72y35v65K1OBss1Ofs4jMvdhOigch2l4VIhaOjNKERTXkj0Y2GW0saNSfSHOILDTFETUURjZ0I3CKFjlMITfB7DAoyFnbZmlx5tJJcsaa4m0SsFkuWihgclEQqUW4shE4dFseUXbVUDl_4OK_lEx57Jl07uep16_ToRr5hTa6vbiQ3IZVZj2-ZafkPRd8Png |
| linkProvider | Colorado Alliance of Research Libraries |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E8%85%B9%E8%85%94%E9%8F%A1%E4%B8%8B%E6%89%8B%E8%A1%93%E6%98%A0%E5%83%8F%E3%81%AB%E3%81%8A%E3%81%91%E3%82%8B%E6%99%82%E7%B3%BB%E5%88%97%E8%A1%8C%E5%8B%95%E3%82%BB%E3%82%B0%E3%83%A1%E3%83%B3%E3%83%86%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%81%AE%E3%82%A2%E3%83%B3%E3%82%B5%E3%83%B3%E3%83%96%E3%83%AB%E6%89%8B%E6%B3%95%E3%81%AE%E6%8F%90%E6%A1%88&rft.jtitle=%E7%9F%A5%E8%83%BD%E3%81%A8%E6%83%85%E5%A0%B1&rft.au=%E6%97%A5%E9%AB%98%2C+%E7%BF%BC&rft.au=%E5%92%8C%E7%94%B0%2C+%E7%9C%9F%E6%BE%84&rft.au=%E4%B9%85%E4%BF%9D%2C+%E8%8E%9E%E5%A4%AA&rft.au=%E7%94%B0%E8%BE%BA%2C+%E5%AF%9B&rft.date=2025-02-15&rft.pub=%E6%97%A5%E6%9C%AC%E7%9F%A5%E8%83%BD%E6%83%85%E5%A0%B1%E3%83%95%E3%82%A1%E3%82%B8%E3%82%A3%E5%AD%A6%E4%BC%9A&rft.issn=1347-7986&rft.eissn=1881-7203&rft.volume=37&rft.issue=1&rft.spage=571&rft.epage=576&rft_id=info:doi/10.3156%2Fjsoft.37.1_571&rft.externalDocID=article_jsoft_37_1_37_571_article_char_ja |
| thumbnail_l | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=1347-7986&client=summon |
| thumbnail_m | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=1347-7986&client=summon |
| thumbnail_s | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=1347-7986&client=summon |