ChatGPTによる臨床検査技師国家試験正答率の検証
近年，大規模言語モデル（large language models; LLM）が世界的に様々な分野で注目を集めている。LLMとは，非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルである。LLMは，人間に近い流暢な会話が可能であり，自然言語を用いたさまざまな処理を高精度で行えることから，世界中で注目を集めている。本研究では，LLMであるOpenAI社が開発したChatGPTの異なる2つのモデル（GPT-3.5, GPT-4）にて，過去3年間の臨床検査技師国家試験におけるChatGPTの正答率について評価を行った。GPT-3.5による正答率の平均は51.4%であった。一...
Saved in:
| Published in | 医学検査 Vol. 73; no. 2; pp. 323 - 331 |
|---|---|
| Main Authors | , , , , , , , |
| Format | Journal Article |
| Language | Japanese |
| Published |
一般社団法人 日本臨床衛生検査技師会
25.04.2024
日本臨床衛生検査技師会 |
| Subjects | |
| Online Access | Get full text |
| ISSN | 0915-8669 2188-5346 |
| DOI | 10.14932/jamt.23-80 |
Cover
| Abstract | 近年，大規模言語モデル（large language models; LLM）が世界的に様々な分野で注目を集めている。LLMとは，非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルである。LLMは，人間に近い流暢な会話が可能であり，自然言語を用いたさまざまな処理を高精度で行えることから，世界中で注目を集めている。本研究では，LLMであるOpenAI社が開発したChatGPTの異なる2つのモデル（GPT-3.5, GPT-4）にて，過去3年間の臨床検査技師国家試験におけるChatGPTの正答率について評価を行った。GPT-3.5による正答率の平均は51.4%であった。一方，GPT-4では79.8%の正答率結果が得られた。本結果より，ChatGPTはこの先医療現場における有効なアドバイザーとして進化する可能性をもつことが示唆された。しかし，今回不正解となった20%の中には，患者を診断する際に誤診につながりかねない回答が含まれており，今後のChatGPTの精度向上は必須と考えられる。今回の検証は，LLMにおけるChatGPTの臨床検査領域での多様な応用の進展に寄与すると考えられ，この先の発展に期待したい。 |
|---|---|
| AbstractList | 近年，大規模言語モデル（large language models; LLM）が世界的に様々な分野で注目を集めている。LLMとは，非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルである。LLMは，人間に近い流暢な会話が可能であり，自然言語を用いたさまざまな処理を高精度で行えることから，世界中で注目を集めている。本研究では，LLMであるOpenAI社が開発したChatGPTの異なる2つのモデル（GPT-3.5, GPT-4）にて，過去3年間の臨床検査技師国家試験におけるChatGPTの正答率について評価を行った。GPT-3.5による正答率の平均は51.4%であった。一方，GPT-4では79.8%の正答率結果が得られた。本結果より，ChatGPTはこの先医療現場における有効なアドバイザーとして進化する可能性をもつことが示唆された。しかし，今回不正解となった20%の中には，患者を診断する際に誤診につながりかねない回答が含まれており，今後のChatGPTの精度向上は必須と考えられる。今回の検証は，LLMにおけるChatGPTの臨床検査領域での多様な応用の進展に寄与すると考えられ，この先の発展に期待したい。 「要旨」近年, 大規模言語モデル(large language models; LLM)が世界的に様々な分野で注目を集めている. LLMとは, 非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルである. LLMは, 人間に近い流暢な会話が可能であり, 自然言語を用いたさまざまな処理を高精度で行えることから, 世界中で注目を集めている. 本研究では, LLMであるOpenAI社が開発したChatGPTの異なる2つのモデル(GPT-3.5, GPT-4)にて, 過去3年間の臨床検査技師国家試験におけるChatGPTの正答率について評価を行った. GPT-3.5による正答率の平均は51.4%であった. 一方, GPT-4では79.8%の正答率結果が得られた. 本結果より, ChatGPTはこの先医療現場における有効なアドバイザーとして進化する可能性をもつことが示唆された. しかし, 今回不正解となった20%の中には, 患者を診断する際に誤診につながりかねない回答が含まれており, 今後のChatGPTの精度向上は必須と考えられる. 今回の検証は, LLMにおけるChatGPTの臨床検査領域での多様な応用の進展に寄与すると考えられ, この先の発展に期待したい. |
| Author | 菊地, 良介 永沢, 大樹 坪井, 良樹 秋山, 秀彦 齋藤, 邦明 市野, 直浩 石田, 秀和 土井, 洋輝 |
| Author_xml | – sequence: 1 fullname: 市野, 直浩 organization: 藤田医科大学医療科学部 – sequence: 1 fullname: 土井, 洋輝 organization: 藤田医科大学医療科学部 – sequence: 1 fullname: 永沢, 大樹 organization: 株式会社M2DS – sequence: 1 fullname: 菊地, 良介 organization: 岐阜大学医学部附属病院検査部 – sequence: 1 fullname: 秋山, 秀彦 organization: 藤田医科大学医療科学部 – sequence: 1 fullname: 石田, 秀和 organization: 岐阜大学医学部附属病院検査部 – sequence: 1 fullname: 齋藤, 邦明 organization: 藤田医科大学医療科学部 – sequence: 1 fullname: 坪井, 良樹 organization: 藤田医科大学医療科学部 |
| BookMark | eNo9kM1Kw0AUhQepYK1d-Rypc-cmk8muUrQKBV3U9TCZpG1Cm0oaF-5sN5UKbnSn4EKRSmmXIv48TemPb2GwIhzOWZzLd-FskkzUjnxCtoEWwHSQ7YSqlRQYGoKukSwDIQwLTZ4hWeqAZQjOnQ2S73QCl1IqbHAsO0uKpYZKysfVaXc07V1Oe1fL_nD2Ppg_3c8fPuaDi9nbaHb3NZu8Ll-ev4c38_HjYny7uO5Pu5P0Zjn83CLrNdXs-Pm_zJGT_b1q6cCoHJUPS7sVI2SOxQ3uguUpm4LDFOeuhzVwNTVBc5ejVoCWi0yg5-tUAoTmAjgDAC5Mz7QE5kh5xW35XqBVsx01g8iXYfssjtK_Utd5GLZbiWSUmZJSGymTFLikyDA1BBO5adk8JRVXpLCTqLovT-OgpeJzqeIk0M0Umc4obZTs11AK-l_phorTHn8A_oyBiw |
| ContentType | Journal Article |
| Copyright | 2024 一般社団法人 日本臨床衛生検査技師会 |
| Copyright_xml | – notice: 2024 一般社団法人 日本臨床衛生検査技師会 |
| CorporateAuthor | 株式会社MDS 藤田医科大学医療科学部 岐阜大学医学部附属病院検査部 |
| CorporateAuthor_xml | – name: 岐阜大学医学部附属病院検査部 – name: 株式会社MDS – name: 藤田医科大学医療科学部 |
| DOI | 10.14932/jamt.23-80 |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| EISSN | 2188-5346 |
| EndPage | 331 |
| ExternalDocumentID | cg6jjomt_2024_007302_016_0323_03314364576 article_jamt_73_2_73_23_80_article_char_ja |
| GroupedDBID | ALMA_UNASSIGNED_HOLDINGS JSF KQ8 MOJWN OK1 RJT |
| ID | FETCH-LOGICAL-j2956-6b15da70192a66bd3f1bc041c6b63ca135b3283decdec818c68162111684d4583 |
| ISSN | 0915-8669 |
| IngestDate | Thu Jul 10 16:14:43 EDT 2025 Wed Sep 03 06:31:06 EDT 2025 |
| IsDoiOpenAccess | true |
| IsOpenAccess | true |
| IsPeerReviewed | false |
| IsScholarly | false |
| Issue | 2 |
| Language | Japanese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-j2956-6b15da70192a66bd3f1bc041c6b63ca135b3283decdec818c68162111684d4583 |
| OpenAccessLink | https://www.jstage.jst.go.jp/article/jamt/73/2/73_23-80/_article/-char/ja |
| PageCount | 9 |
| ParticipantIDs | medicalonline_journals_cg6jjomt_2024_007302_016_0323_03314364576 jstage_primary_article_jamt_73_2_73_23_80_article_char_ja |
| PublicationCentury | 2000 |
| PublicationDate | 20240425 |
| PublicationDateYYYYMMDD | 2024-04-25 |
| PublicationDate_xml | – month: 04 year: 2024 text: 20240425 day: 25 |
| PublicationDecade | 2020 |
| PublicationTitle | 医学検査 |
| PublicationTitleAlternate | 医学検査 |
| PublicationYear | 2024 |
| Publisher | 一般社団法人 日本臨床衛生検査技師会 日本臨床衛生検査技師会 |
| Publisher_xml | – name: 一般社団法人 日本臨床衛生検査技師会 – name: 日本臨床衛生検査技師会 |
| References | 17) Radford A et al.: Language models are unsupervised multitask learners. OpenAI blog 1.8, 2019: 9. 4) Attia ZI et al.: Application of artificial intelligence to the electrocardiogram. Eur Heart J, 2021; 42: 4717–4730. 6) OpenAI ChatGPT: optimizing language models for dialogue. OpenAI. https://openai.com/blog/chatgpt/（2023年6月20日アクセス） 1) （一社）人工知能学会：定款．https://www.ai-gakkai.or.jp/about/about-us/jsai_teikan/ （2023年7月31日アクセス） 13) Alkaissi H, McFarlane SI: Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 2023; 15: e35179. 11) Gilson A et al.: How does ChatGPT perform on the United States Medical Licensing Examination? The implications of large language models for medical education and knowledge assessment. JMIR Med Educ, 2023; 9: e45312. 15) Patel SB, Lam K: ChatGPT: The future of discharge summaries? Lancet Digit Health, 2023; 5: e107–e108. 5) Bellini V et al.: Current applications of artificial intelligence in bariatric surgery. Obes Surg, 2022; 32: 2717–2733. 9) 厚生労働省：第68回臨床検査技師国家試験問題および正答について．https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_iryou/iryou/topics/tp220421-07.html （2023年6月26日アクセス） 10) 厚生労働省：第69回臨床検査技師国家試験問題および正答について．https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_iryou/iryou/topics/tp230524-07.html （2023年6月26日アクセス） 18) Brown T et al.: Language models are few-shot learners. Advances in Neural Information Processing Systems 33, 2020; 1877–1901. 14) Kasai J et al.: Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations. arXiv: https://doi.org/10.48550/arXiv.2303.18027. 7) Yudai T et al.: Performance of generative pretrained transformer on the national medical licensing examination in Japan. medRxiv, 2023; 2023-04. 16) Vaishya R et al.: ChatGPT: Is this version good for healthcare and research? Diabetes Metab Syndr. 2023; 17: 102744. 2) Hosny A et al.: Artificial intelligence in radiology. Nat Rev Cancer, 2018; 18: 500–510. 3) Försch S et al.: Artificial Intelligence in Pathology. Dtsch Arztebl Int, 2021; 118: 194–204. 8) 厚生労働省：第67回臨床検査技師国家試験問題および正答について．https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_iryou/iryou/topics/tp210416-07.html （2023年6月26日アクセス） 12) The Lancet Digital Health: ChatGPT: Friend or foe? Lancet Digit Health, 2023; 5: e102. |
| References_xml | – reference: 11) Gilson A et al.: How does ChatGPT perform on the United States Medical Licensing Examination? The implications of large language models for medical education and knowledge assessment. JMIR Med Educ, 2023; 9: e45312. – reference: 18) Brown T et al.: Language models are few-shot learners. Advances in Neural Information Processing Systems 33, 2020; 1877–1901. – reference: 13) Alkaissi H, McFarlane SI: Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 2023; 15: e35179. – reference: 12) The Lancet Digital Health: ChatGPT: Friend or foe? Lancet Digit Health, 2023; 5: e102. – reference: 7) Yudai T et al.: Performance of generative pretrained transformer on the national medical licensing examination in Japan. medRxiv, 2023; 2023-04. – reference: 9) 厚生労働省：第68回臨床検査技師国家試験問題および正答について．https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_iryou/iryou/topics/tp220421-07.html （2023年6月26日アクセス） – reference: 8) 厚生労働省：第67回臨床検査技師国家試験問題および正答について．https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_iryou/iryou/topics/tp210416-07.html （2023年6月26日アクセス） – reference: 2) Hosny A et al.: Artificial intelligence in radiology. Nat Rev Cancer, 2018; 18: 500–510. – reference: 6) OpenAI ChatGPT: optimizing language models for dialogue. OpenAI. https://openai.com/blog/chatgpt/（2023年6月20日アクセス） – reference: 10) 厚生労働省：第69回臨床検査技師国家試験問題および正答について．https://www.mhlw.go.jp/seisakunitsuite/bunya/kenkou_iryou/iryou/topics/tp230524-07.html （2023年6月26日アクセス） – reference: 15) Patel SB, Lam K: ChatGPT: The future of discharge summaries? Lancet Digit Health, 2023; 5: e107–e108. – reference: 14) Kasai J et al.: Evaluating GPT-4 and ChatGPT on Japanese Medical Licensing Examinations. arXiv: https://doi.org/10.48550/arXiv.2303.18027. – reference: 4) Attia ZI et al.: Application of artificial intelligence to the electrocardiogram. Eur Heart J, 2021; 42: 4717–4730. – reference: 16) Vaishya R et al.: ChatGPT: Is this version good for healthcare and research? Diabetes Metab Syndr. 2023; 17: 102744. – reference: 17) Radford A et al.: Language models are unsupervised multitask learners. OpenAI blog 1.8, 2019: 9. – reference: 1) （一社）人工知能学会：定款．https://www.ai-gakkai.or.jp/about/about-us/jsai_teikan/ （2023年7月31日アクセス） – reference: 3) Försch S et al.: Artificial Intelligence in Pathology. Dtsch Arztebl Int, 2021; 118: 194–204. – reference: 5) Bellini V et al.: Current applications of artificial intelligence in bariatric surgery. Obes Surg, 2022; 32: 2717–2733. |
| SSID | ssib000871957 ssib005879971 ssib029852134 ssib058492958 ssj0002505185 |
| Score | 1.950951 |
| Snippet | 近年，大規模言語モデル（large language models;... 「要旨」近年, 大規模言語モデル(large language models; LLM)が世界的に様々な分野で注目を集めている. LLMとは, 非常に巨大なデータセットとディープラーニング技術を用いて構築された言語モデルである. LLMは, 人間に近い流暢な会話が可能であり,... |
| SourceID | medicalonline jstage |
| SourceType | Publisher |
| StartPage | 323 |
| SubjectTerms | ChatGPT GPT-3.5 GPT-4 大規模言語モデル 臨床検査技師国家試験 |
| Title | ChatGPTによる臨床検査技師国家試験正答率の検証 |
| URI | https://www.jstage.jst.go.jp/article/jamt/73/2/73_23-80/_article/-char/ja http://mol.medicalonline.jp/library/journal/download?GoodsID=cg6jjomt/2024/007302/016&name=0323-0331j |
| Volume | 73 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| ispartofPNX | 医学検査, 2024/04/25, Vol.73(2), pp.323-331 |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwpR3LahRBcEjiRRBRVIwvcrCPE3f6Nd239GwmBkVRSCC3YecRZcFEdHPxZHKJRPCiNwUPikRCchTx8TXLbta_sKq7NzsaD1EhNJXu6qrqqumdqulHBcHVUtGcV7QMVcEFBCg5ZgMs47CVxxW4I7wo7HVNt27L-UV-Y0ksjY0ParuW1jr5dPHkj-dK_sWqUAd2xVOyf2HZA6JQATDYF0qwMJRHsnHzfqtz_c4CSRk4hMQkFqBEqSEANYpAuG-gRpDEEGVIKonhRDcR0HMkSRCAetWwOMrSEUQnJJlFwKQkkUjHaGIA0EhNM0tnlhgAYgQ0R0ClyM7Lk9Z4Kezl02h7XxiJq6YVQFhS8rBsw-fBiwZjAv7K8oFnAzminBzxEyCi6_hABmikHMethcOXiOzUkkDz7AgfWhrIAgFKDHX4AuUxsRUMutTogzBzVp2WEfS1-FAL-nFcE2BU_6hC7V4cdwDbTgOLpaziFRrNNK0uoTL1FjBWzQlD-d1AEmNHoQFPWKBpux22MpCLkASqiFtFHMXu3KrF1D_gRiJU0iW6ma5sHfhrKhTMf9T17zeXKsbPY1p7WTF30tv7Pf7k3KFXKgcP3-Vy6ExTFrq8W7_dUe5nQIZIWcwyaguWqUY2bMJDhNA-HhyjcWw3VNy8Ww8E4kjX1t-FirUeBSpUK4FXDw7_B68Z3Hq_no8-Fzrykc2_e6AWfxgXxb82Eh4czTaEXXifxokHbinUXUlT8yoXTgUnfTg4ZZz4p4OxdutMMOPndXd9p7vxrLvxfLC53fuy1X__pv_2a3_rae_zTu_1997ep8HHDz-2X_Z33-3vvtp_sdld3wOcwfa3s8HiXLrQnA99ppOwTfEiUJlHomxhZgTakjIv2XKUFw0eFTKXrGhFTOQM4oCyKuAPXOxCqkhScFOk4iXufDgXTKysrlTng6kqrpa5lqpqFIznJW4cBstKHVWsErQqJwPtFJA9dNfZZEc33mQw84vOMv9b-Dgr7sl2exX642TKcPm_QTPcPNqAhwwKBmGZ5CKWF_6D_cXg-GiuXgomOo_WqssQEnTyK_Zp-gmdzdad |
| linkProvider | Colorado Alliance of Research Libraries |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=ChatGPT%E3%81%AB%E3%82%88%E3%82%8B%E8%87%A8%E5%BA%8A%E6%A4%9C%E6%9F%BB%E6%8A%80%E5%B8%AB%E5%9B%BD%E5%AE%B6%E8%A9%A6%E9%A8%93%E6%AD%A3%E7%AD%94%E7%8E%87%E3%81%AE%E6%A4%9C%E8%A8%BC&rft.jtitle=%E5%8C%BB%E5%AD%A6%E6%A4%9C%E6%9F%BB&rft.au=%E5%B8%82%E9%87%8E%2C+%E7%9B%B4%E6%B5%A9&rft.au=%E5%9C%9F%E4%BA%95%2C+%E6%B4%8B%E8%BC%9D&rft.au=%E6%B0%B8%E6%B2%A2%2C+%E5%A4%A7%E6%A8%B9&rft.au=%E8%8F%8A%E5%9C%B0%2C+%E8%89%AF%E4%BB%8B&rft.date=2024-04-25&rft.pub=%E4%B8%80%E8%88%AC%E7%A4%BE%E5%9B%A3%E6%B3%95%E4%BA%BA+%E6%97%A5%E6%9C%AC%E8%87%A8%E5%BA%8A%E8%A1%9B%E7%94%9F%E6%A4%9C%E6%9F%BB%E6%8A%80%E5%B8%AB%E4%BC%9A&rft.issn=0915-8669&rft.eissn=2188-5346&rft.volume=73&rft.issue=2&rft.spage=323&rft.epage=331&rft_id=info:doi/10.14932%2Fjamt.23-80&rft.externalDocID=article_jamt_73_2_73_23_80_article_char_ja |
| thumbnail_l | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/lc.gif&issn=0915-8669&client=summon |
| thumbnail_m | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/mc.gif&issn=0915-8669&client=summon |
| thumbnail_s | http://covers-cdn.summon.serialssolutions.com/index.aspx?isbn=/sc.gif&issn=0915-8669&client=summon |