SYSTEMS AND METHODS FOR REMOTE MENTORING IN A ROBOT ASSISTED MEDICAL SYSTEM

• Main Authors: PAYYAVULA, Govinda, MURUGAPPAN, Sundar, WARREN, Matthew S, DOUGHTY, Mitchell
• Format: Patent
• Language: English; French
• Published: 10.08.2023
• Subjects: ADVERTISING; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND,DEAF OR MUTE; CRYPTOGRAPHY; DIAGNOSIS; DIAGRAMS; DISPLAY; EDUCATION; EDUCATIONAL OR DEMONSTRATION APPLIANCES; GLOBES; HUMAN NECESSITIES; HYGIENE; IDENTIFICATION; MEDICAL OR VETERINARY SCIENCE; PHYSICS; PLANETARIA; SEALS; SURGERY

A non-transitory machine-readable media may store instructions that, when run by one or more processors, cause the one or more processors to generate stereo endoscopic image data of a medical field and define a medical field volume from the stereo endoscopic image data. The processors may also project a 3D representation of the medical field volume to an extended-reality display device in a remote volume. The 3D representation may include a stereoscopic image and a 3D scene generated from the stereo endoscopic image data. The processors may also generate visual guidance in the remote volume to augment the stereo endoscopic image, map the visual guidance from the remote volume to the medical field volume to generate an augmented image of the medical field volume, and project the augmented image of the medical field volume to a display device viewed by an operator of instruments in the medical field. Un support lisible par machine non transitoire peut stocker des instructions qui, lorsqu'elles sont exécutées par un ou plusieurs processeurs, amènent le ou les processeurs à générer des données d'image endoscopique stéréo d'un champ médical et à définir un volume de champ médical à partir des données d'image endoscopique stéréo. Les processeurs peuvent également projeter une représentation 3D du volume de champ médical vers un dispositif d'affichage à réalité étendue dans un volume distant. La représentation 3D peut comprendre une image stéréoscopique et une scène 3D générée à partir des données d'image endoscopique stéréo. Les processeurs peuvent également générer un guidage visuel dans le volume distant pour augmenter l'image endoscopique stéréo, mapper le guidage visuel du volume distant au volume de champ médical pour générer une image augmentée du volume de champ médical, et projeter l'image augmentée du volume de champ médical sur un dispositif d'affichage visualisé par un opérateur d'instruments dans le champ médical.