Collaborative robotic system for interacting by means of gestures and method of its operation

• Main Authors: Rodina, Jozef, Tölgyessy, Michal, Lučan, Martin, Čorňák, Marek
• Format: Patent
• Language: English; Slovak
• Published: 25.10.2023
• Subjects: CALCULATING; CHAMBERS PROVIDED WITH MANIPULATION DEVICES; COMPUTING; CONTROL OR REGULATING SYSTEMS IN GENERAL; CONTROLLING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; HAND TOOLS; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; MANIPULATORS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS ORELEMENTS; PERFORMING OPERATIONS; PHYSICS; PORTABLE POWER-DRIVEN TOOLS; REGULATING; TRANSPORTING

Collaborative robotic system for interacting by means of gestures consists of a sensor (1) for sensing 3D positions of the finger joints of the operator's hand (9) a working space (3) of the robot, defined from below by the upper surface of a flat plate of hardened translucent plexiglass, a central computer (2), located under a robot's workspace (3), to process data on the 3D positions of the operator's finger joints, to communicate and control other parts of the collaborative robotic system, from a control panel (7), located to the left starting and basic settings of the robotic manipulator (4), from a control computer (8) of a robotic manipulator (4), located under a control panel (7), to control the operation of a robotic manipulator (4). It further consists of the horizontal feedback monitors (6), located just below the plexiglass, to show the place where the finger joints of the operator's hand (9) point to show the visual feedback. Scanned 3D positions of the joints of the operator's hand (9) from the sensor (1) are processed in a central computer (2), which sends the processed data from the sensor (1) to the control computer (8) of the robotic manipulator (4) of the central computer (2) controls the operation of the robotic manipulator (4) so ​​as to move the end effector of the robot to positions in the working space (3) corresponding to the positions of the finger joints of the operator's hand (9). At the same time, the horizontal feedback monitors (6) located under the plexiglass show the places where the operator (9) shows, which serves as a visual feedback of the operation of the collaborative robotic system. Kolaboratívny robotický systém na interagovanie pomocou ukazovacích gest pozostáva zo snímača (1) na snímanie 3D pozícií kĺbov prstov rúk operátora (9), z pracovného priestoru (3) robota, zdola vymedzeného vrchnou plochou rovinnej platne z tvrdeného priesvitného plexiskla, z centrálneho počítača (2), umiestneného pod pracovným priestorom (3) robota, na spracovanie údajov o 3D pozíciách kĺbov prstov rúk operátora, na komunikáciu a riadenie ostatných častí kolaboratívneho robotického systému, z riadiaceho panelu (7), umiestneného vľavo pod pracovným priestorom (3) robota, na spustenie a základné nastavenia robotického manipulátora (4), z riadiaceho počítača (8) robotického manipulátora (4), umiestneného pod riadiacim panelom (7), na riadenie činnosti robotického manipulátora (4). Ďalej pozostáva z vodorovných spätnoväzbových monitorov (6), umiestnených tesne pod plexisklom, na vyobrazenie miesta, na ktoré ukazujú snímané kĺby prstov rúk operátora (9) na vyobrazenie vizuálnej spätnej väzby. Nasnímané údaje 3D pozícií kĺbov ruky operátora (9) zo snímača (1) sa spracúvajú v centrálnom počítači (2), ktorý spracované dáta zo snímača (1) posiela do riadiaceho počítača (8) robotického manipulátora (4), ktorý na základe údajov z centrálneho počítača (2) riadi činnosť robotického manipulátora (4) tak, aby sa vykonával pohyb koncového efektora robota do pozícií v pracovnom priestore (3) zodpovedajúcim pozíciám kĺbov ruky operátora (9). Súčasne na vodorovných spätnoväzbových monitoroch (6) umiestnených pod plexisklom sa vyobrazujú miesta, kam operátor (9) ukazuje, čo slúži ako vizuálna spätná väzba činnosti kolaboratívneho robotického systému.