基于多模态大语言模型的数字厨师与智能烹饪系统
TP391.4; 面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法.离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多模态大语言模型进行微调,以构建能够理解烹饪意图的多模态大语言模型.在线阶段将实时感知的数据转换为图文输入微调后的大语言模型,经模型分析后生成烹饪指令,引导用户完成相应的烹饪动作.以煎牛排任务为例,搭建了智能烹饪软硬件系统并进行实验验证.实验结果表明,经过微调后的智能烹饪系统能有效控制牛排的熟度与品质,相较于微调前的模型,显著提升了烹饪指令的合理性和针对性....
Saved in:
| Published in | 智能科学与技术学报 Vol. 6; no. 4; pp. 429 - 444 |
|---|---|
| Main Authors | , , , , , , |
| Format | Journal Article |
| Language | Chinese |
| Published |
湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190
01.12.2024
澳门科技大学创新工程学院工程科学系,澳门 999078 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082 中国科学院大学人工智能学院,北京 100049 |
| Subjects | |
| Online Access | Get full text |
| ISSN | 2096-6652 |
| DOI | 10.11959/j.issn.2096-6652.202448 |
Cover
| Abstract | TP391.4; 面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法.离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多模态大语言模型进行微调,以构建能够理解烹饪意图的多模态大语言模型.在线阶段将实时感知的数据转换为图文输入微调后的大语言模型,经模型分析后生成烹饪指令,引导用户完成相应的烹饪动作.以煎牛排任务为例,搭建了智能烹饪软硬件系统并进行实验验证.实验结果表明,经过微调后的智能烹饪系统能有效控制牛排的熟度与品质,相较于微调前的模型,显著提升了烹饪指令的合理性和针对性. |
|---|---|
| AbstractList | TP391.4; 面向高质量和精准烹饪的需求,提出一种基于多模态大语言模型的数字厨师与智能烹饪方法.离线阶段利用视觉、声音、温度等多源传感器记录专业厨师的连续操作,将图像与多轮问答文本融合,建立烹饪专家知识库,并采用低秩适配方法对预训练多模态大语言模型进行微调,以构建能够理解烹饪意图的多模态大语言模型.在线阶段将实时感知的数据转换为图文输入微调后的大语言模型,经模型分析后生成烹饪指令,引导用户完成相应的烹饪动作.以煎牛排任务为例,搭建了智能烹饪软硬件系统并进行实验验证.实验结果表明,经过微调后的智能烹饪系统能有效控制牛排的熟度与品质,相较于微调前的模型,显著提升了烹饪指令的合理性和针对性. |
| Abstract_FL | A digital chef and an intelligent cooking method were proposed to achieve high-quality,precise cooking results.In the offline phase,visual,auditory and thermal sensors record professional chefs'continuous cooking operations.The collected frame-by-frame images and multi-round Q&A texts form a culinary expert knowledge base.A low-rank adapta-tion method was applied to fine-tune a pretrained multimodal large language model,enabling it to understand cooking in-tentions.In the online phase,real-time sensory data were converted into image-text inputs for the fine-tuned model,which then generated cooking instructions to guide users through the cooking steps.A hardware-software cooking system was implemented and tested with a pan-frying steak task.Experimental results show that the fine-tuned system effectively con-trols the steak's doneness and quality,and significantly improves the accuracy and rationality of cooking instructions com-pared to the model before fine-tuning. |
| Author | 孙跃硕 王飞跃 李鑫源 殷烛炎 田永林 张坦探 李柏 |
| AuthorAffiliation | 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082;湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190;中国科学院大学人工智能学院,北京 100049;澳门科技大学创新工程学院工程科学系,澳门 999078 |
| AuthorAffiliation_xml | – name: 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082;湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190;中国科学院大学人工智能学院,北京 100049;澳门科技大学创新工程学院工程科学系,澳门 999078 |
| Author_FL | YIN Zhuyan LI Bai WANG Fei-Yue ZHANG Tantan SUN Yueshuo LI Xinyuan TIAN Yonglin |
| Author_FL_xml | – sequence: 1 fullname: LI Xinyuan – sequence: 2 fullname: LI Bai – sequence: 3 fullname: SUN Yueshuo – sequence: 4 fullname: ZHANG Tantan – sequence: 5 fullname: TIAN Yonglin – sequence: 6 fullname: YIN Zhuyan – sequence: 7 fullname: WANG Fei-Yue |
| Author_xml | – sequence: 1 fullname: 李鑫源 – sequence: 2 fullname: 李柏 – sequence: 3 fullname: 孙跃硕 – sequence: 4 fullname: 张坦探 – sequence: 5 fullname: 田永林 – sequence: 6 fullname: 殷烛炎 – sequence: 7 fullname: 王飞跃 |
| BookMark | eNo9jztLA0EAhLeIYIz5D9bCnfu-21KDLwjYaB3utZJTNuAiRqtILAQhnYgpDELEQwgKNvGC_yZ7d_4LTxSrmfmKGWYJVFRHRQCsIGgjJJhYi-221srGUHCLc4ZLhyl1K6D6jxZBXeu2D5nrMAExr4INM0rn6cCMh1nymPUuzfi5eJ0USa-M5uEmH15lt29mcmcGiZlez6eD7D4t-p95_-Pr6SV_n-Wz0TJYkN6xjup_WgMHW5v7jR2rube921hvWhpBh1gh4hSjgJAAMe4FQjDucw4pRUEkXOlJHIYhYxwx6HiSS8IDByPKfAlJ5EtJamD1t_fMU9JTh624c3qiysXWhTrqnse66_88hhRCQr4BZhBo3g |
| ClassificationCodes | TP391.4 |
| ContentType | Journal Article |
| Copyright | Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| Copyright_xml | – notice: Copyright © Wanfang Data Co. Ltd. All Rights Reserved. |
| DBID | 2B. 4A8 92I 93N PSX TCJ |
| DOI | 10.11959/j.issn.2096-6652.202448 |
| DatabaseName | Wanfang Data Journals - Hong Kong WANFANG Data Centre Wanfang Data Journals 万方数据期刊 - 香港版 China Online Journals (COJ) China Online Journals (COJ) |
| DatabaseTitleList | |
| DeliveryMethod | fulltext_linktorsrc |
| DocumentTitle_FL | Digital chefs and intelligent cooking systems based on multimodal large language model |
| EndPage | 444 |
| ExternalDocumentID | znkxyjsxb202404003 |
| GroupedDBID | -SI -S~ 2B. 2RA 4A8 92I 93N AAXDM ALMA_UNASSIGNED_HOLDINGS APATB CAJEI CQIGP GROUPED_DOAJ PB1 PB9 PSX Q-- TCJ |
| ID | FETCH-LOGICAL-s1073-d16421c33c156ac9956b660441ce98faf2ddd5561507af6f36c72145bf03ebff3 |
| ISSN | 2096-6652 |
| IngestDate | Thu May 29 04:06:04 EDT 2025 |
| IsPeerReviewed | true |
| IsScholarly | true |
| Issue | 4 |
| Keywords | intelligent cooking expert system 专家系统 智能烹饪 烹饪机器人 多模态大语言模型 multimodal large language model artificial in-telligence 人工智能 数字厨师 cooking robot digital chef |
| Language | Chinese |
| LinkModel | OpenURL |
| MergedId | FETCHMERGED-LOGICAL-s1073-d16421c33c156ac9956b660441ce98faf2ddd5561507af6f36c72145bf03ebff3 |
| PageCount | 16 |
| ParticipantIDs | wanfang_journals_znkxyjsxb202404003 |
| PublicationCentury | 2000 |
| PublicationDate | 2024-12-01 |
| PublicationDateYYYYMMDD | 2024-12-01 |
| PublicationDate_xml | – month: 12 year: 2024 text: 2024-12-01 day: 01 |
| PublicationDecade | 2020 |
| PublicationTitle | 智能科学与技术学报 |
| PublicationTitle_FL | Chinese Journal of Intelligent Science and Technology |
| PublicationYear | 2024 |
| Publisher | 湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190 澳门科技大学创新工程学院工程科学系,澳门 999078 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082 中国科学院大学人工智能学院,北京 100049 |
| Publisher_xml | – name: 湖南大学整车先进设计制造技术全国重点实验室,湖南 长沙 410082%中国科学院自动化研究所多模态人工智能系统全国重点实验室,北京 100190%中国科学院自动化研究所复杂系统管理与控制国家重点实验室,北京 100190 – name: 中国科学院大学人工智能学院,北京 100049 – name: 湖南大学机械与运载工程学院,湖南 长沙 410082%湖南大学机械与运载工程学院,湖南 长沙 410082 – name: 澳门科技大学创新工程学院工程科学系,澳门 999078 |
| SSID | ssib058759026 ssib041261367 ssj0002891595 ssib046786274 ssib051372948 |
| Score | 2.3810685 |
| Snippet | TP391.4;... |
| SourceID | wanfang |
| SourceType | Aggregation Database |
| StartPage | 429 |
| Title | 基于多模态大语言模型的数字厨师与智能烹饪系统 |
| URI | https://d.wanfangdata.com.cn/periodical/znkxyjsxb202404003 |
| Volume | 6 |
| hasFullText | 1 |
| inHoldings | 1 |
| isFullTextHit | |
| isPrint | |
| link | http://utb.summon.serialssolutions.com/2.0.0/link/0/eLvHCXMwvV1LaxRBEB5i9OBFFBWfIaB9Chvn0d3TfZzZnSUI8ZRAbmGeisIKJkLMQSLxIAi5iZiDQYgYhKDgJSb4b7K78V9YVdP7SlaJErwM3dU1VV89Zqam6emxrNu2F8skSfxKyrWq8ESqikpiDd3MKRKhZEZbKU3fk1Oz_O6cmBs5E_Z_XbKYTKbLQ78r-ZeoAg3iil_J_kVku0KBAG2ILxwhwnA8VoxZJJiuszBgEcejipAScKaBIlmgWOBgQ9lQMJqhwGcR0OssqFFD4WiPGQRGTIUs8lGI4jikBQttOr3GtI8NUAT80AjhdEXaFWkHZk14oOuxsIZysKFZpFkAEgKkhEAhFXDUAwsLh0sAzNoxAAI5oE4FBr-uolE9HhoKRCehiKVGJ2kUFoRIAT3aHsIi0a2q3hspbdeIKiSLEJXDtOhnCQEC-Ul3IYCf3P6JFZcfWqRCKACRJLd2_Gvi1GcMxoCT-pICzIJcD5Q60yHFMmJhZBplLIEhlGgx-Ciwh_sL5JSxBCHobmD2EQlGzqXICRSoyXMQP1U1FADpVo_inyAPC4SFYy64bYLj5k4uc4WJHeZeV-HR-Gp0deBSDviUM4KiSTBBP2rz0SDNqaHJSjCODP3TJUCXSUgCIY6QkEPzbTA_T8JJJWzfAAiqE7gpmbb_q0cQbpnh7jAj_U7agGpw1qHLLDIJaTKqC5WMNDl2Eh7pFSaurWVFSjFQRcm-hwXvq4i4mdAsi2tebvZ6tG7TQlPhhgomuwom8bosd-I9tCv-cuPR0rOHC0sJcmAh4p2yTru-T0t1pp9HnZqCO67EXSm7fSjO8Xdjnb5wcN1Cb0pIKB83tJLdeXpXaXjjw5XwXVSdBaGA-c5vENMnoI0ibtzve1uZOW-dM9MM40H5zLhgjSw_uGiFzY3d_d215uZ6a-tDa-VFc_PTwZftg60V6Dbfv26vv2y9-drcfttc22ruvNrfWWu92z1Y_dFe_f7z4-f2t7323sYla7YezVSnKuYfOpUFB6q3SubgTgap56WOkHGK-xgkUtrwEpzmWhVx4WZZhr9IFrYfF7LwZOrjzyuSwvbypCi8y9Zo43Ejv2KNZ6mdJ16ec-57PM88JW3oxEnhubHIVHLVumVsnjfPyIX5o2G6diyu69bZ3i35hjW6-ORpfhPe_haTMZo1HaMg_wLneSsI |
| linkProvider | ISSN International Centre |
| openUrl | ctx_ver=Z39.88-2004&ctx_enc=info%3Aofi%2Fenc%3AUTF-8&rfr_id=info%3Asid%2Fsummon.serialssolutions.com&rft_val_fmt=info%3Aofi%2Ffmt%3Akev%3Amtx%3Ajournal&rft.genre=article&rft.atitle=%E5%9F%BA%E4%BA%8E%E5%A4%9A%E6%A8%A1%E6%80%81%E5%A4%A7%E8%AF%AD%E8%A8%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%95%B0%E5%AD%97%E5%8E%A8%E5%B8%88%E4%B8%8E%E6%99%BA%E8%83%BD%E7%83%B9%E9%A5%AA%E7%B3%BB%E7%BB%9F&rft.jtitle=%E6%99%BA%E8%83%BD%E7%A7%91%E5%AD%A6%E4%B8%8E%E6%8A%80%E6%9C%AF%E5%AD%A6%E6%8A%A5&rft.au=%E6%9D%8E%E9%91%AB%E6%BA%90&rft.au=%E6%9D%8E%E6%9F%8F&rft.au=%E5%AD%99%E8%B7%83%E7%A1%95&rft.au=%E5%BC%A0%E5%9D%A6%E6%8E%A2&rft.date=2024-12-01&rft.pub=%E6%B9%96%E5%8D%97%E5%A4%A7%E5%AD%A6%E6%95%B4%E8%BD%A6%E5%85%88%E8%BF%9B%E8%AE%BE%E8%AE%A1%E5%88%B6%E9%80%A0%E6%8A%80%E6%9C%AF%E5%85%A8%E5%9B%BD%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E6%B9%96%E5%8D%97+%E9%95%BF%E6%B2%99+410082%25%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E8%87%AA%E5%8A%A8%E5%8C%96%E7%A0%94%E7%A9%B6%E6%89%80%E5%A4%9A%E6%A8%A1%E6%80%81%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E7%B3%BB%E7%BB%9F%E5%85%A8%E5%9B%BD%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E5%8C%97%E4%BA%AC+100190%25%E4%B8%AD%E5%9B%BD%E7%A7%91%E5%AD%A6%E9%99%A2%E8%87%AA%E5%8A%A8%E5%8C%96%E7%A0%94%E7%A9%B6%E6%89%80%E5%A4%8D%E6%9D%82%E7%B3%BB%E7%BB%9F%E7%AE%A1%E7%90%86%E4%B8%8E%E6%8E%A7%E5%88%B6%E5%9B%BD%E5%AE%B6%E9%87%8D%E7%82%B9%E5%AE%9E%E9%AA%8C%E5%AE%A4%2C%E5%8C%97%E4%BA%AC+100190&rft.issn=2096-6652&rft.volume=6&rft.issue=4&rft.spage=429&rft.epage=444&rft_id=info:doi/10.11959%2Fj.issn.2096-6652.202448&rft.externalDocID=znkxyjsxb202404003 |
| thumbnail_s | http://utb.summon.serialssolutions.com/2.0.0/image/custom?url=http%3A%2F%2Fwww.wanfangdata.com.cn%2Fimages%2FPeriodicalImages%2Fznkxyjsxb%2Fznkxyjsxb.jpg |