컨볼루션 신경 네트워크를 사용하여 로봇 프로세스 자동화에서 사용자 인터페이스 엘리먼트들을 검출하기

• Main Authors: TUDOR VIRGIL, ADAM STEFAN, BOBOLEA DRAGOS, NEAGOVICI MIRCEA
• Format: Patent
• Language: Korean
• Published: 13.06.2022
• Subjects: CALCULATING; COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS; COMPUTING; COUNTING; ELECTRIC DIGITAL DATA PROCESSING; IMAGE DATA PROCESSING OR GENERATION, IN GENERAL; PHYSICS

사용자 인터페이스(user interface; UI) 내의 그래픽 엘리먼트들이 컨볼루션 신경 네트워크(convolutional neural network; CNN)를 사용하여 로봇 프로세스 자동화(robotic process automation; RPA)에서 검출될 수 있다. 이러한 프로세스들은 종래의 기술들을 사용하여 검출하기에는 너무 작은 그래픽 엘리먼트들을 검출하는 데 특히 잘 들어맞을 수 있다. 그래픽 엘리먼트들(예를 들어, 제어 객체)을 검출하는 정확도는, 예를 들어, 상이한 해상도, 상이한 운영 체제(operating system; OS) 스케일링 인자, 상이한 인치 당 도트(dots-per-inch; DPI) 설정, 및 애플리케이션과 웹사이트의 UI 맞춤화로 인한 변경과 같은, 다양한 UI 인자들에서의 변경들에 대해 강력한 신경 네트워크 기반 프로세싱을 제공함으로써 강화될 수 있다. Graphical elements in a user interface (UI) may be detected in robotic process automation (RPA) using convolutional neural networks (CNNs). Such processes may be particularly well-suited for detecting graphical elements that are too small to be detected using conventional techniques. The accuracy of detecting graphical elements (e.g., control objects) may be enhanced by providing neural network-based processing that is robust to changes in various UI factors, such as different resolutions, different operating system (OS) scaling factors, different dots-per-inch (DPI) settings, and changes due to UI customization of applications and websites, for example.