Please use this identifier to cite or link to this item: https://repositorio.ufjf.br/jspui/handle/ufjf/16918
Files in This Item:
File Description SizeFormat 
arieleteixeiraferraz.pdf7.15 MBAdobe PDFThumbnail
View/Open
Type: Dissertação
Title: Controle de atuador robótico através do rastreamento ocular por câmera para assistência a pessoas com limitações físicas
Author: Ferraz, Ariéle Teixeira
First Advisor: Marcato, André Luis Marques
Co-Advisor: Schettino, Vinícius Barbosa
Referee Member: Santos, Murillo Ferreira dos
Referee Member: Silva Junior, Ivo Chaves da
Referee Member: Biundini, Iago Zanuti
Resumo: O avanço tecnológico permite desenvolver métodos de assistência cada vez mais avançados. Estas tecnologias assistivas tem potencial para aumentar o conforto de pessoas com deficiências físicas. Dentro deste contexto, o desenvolvimento de métodos capazes de identificar comandos do usuário e realizar o controle de atuadores robóticos se mostra um campo interessante. Uma grande parcela das pesquisas nesta área utilizam tanto métodos com equipamentos de prateleira, ou COTS (do inglês Commercial Off-The-Shelf), quanto equipamentos especificamente projetados para o propósito, como eletroencefalogramas (EEG). Neste trabalho propõe-se um método que seja simples de se utilizar, não seja invasiva (sem EEG) e de menor custo possível. Logo, é apresentado uma metodologia de identificação de comandos do usuário a partir do movimento dos olhos utilizando de uma webcam e realizado o controle de um atuador robótico a partir destes comandos. Embora tenha sido identificado na literatura outros trabalhos com propósito similar, busca-se, aqui, uma alternativa de baixo custo de desenvolvimento. O trabalho foi confeccionado utilizando o sistema operacional Ubuntu 20.04 com Noetic ROS e os pacotes RT-GENE, utilizado para a obtenção do rastreio ocular e detecção de piscadas, e YOLO, visando detectar os objetos disponíveis para o usuário. O pacote python Tkinter foi utilizado para desenvolver a interface mostrada para o usuário. Por fim, os pacotes MoveIt, Gazebo e franka_ros foram utilizados para realizar as simulações de pick and place do manipulador. São apresentados ainda resultados de simulação utilizando a metodologia proposta, sendo possível verificar que a mesma possui potencial de continuidade na pesquisa, além da possibilidade de avaliação em ambiente real. Os testes com o robô Youbot revelaram desafios devido à necessidade de precisão e ao acúmulo de erros ao longo do tempo. No entanto, os testes com o manipulador Panda mostram que a resolução de uma webcam comum permitiu determinar a posição do objeto no mundo, embora o robô tenha apresentado dificuldades em executar sua tarefa para algumas posições. Apesar dos desafios, foi possível contornar o problema com uma implementação simples de tentativa e erro. Trabalhos futuros pretendem implementar outros modelos de robôs e realizar testes com robôs reais, além do acréscimo de sensoriamento no robô para garantir maior precisão em suas tarefas e evitar acidentes com pessoas que estejam em sua área de trabalho.
Abstract: Technological advancements have paved the way for the development of increasingly sophisticated assistive methods. These technologies hold the potential to significantly improve the comfort of individuals with physical disabilities. In this context, the creation of methods that can identify user commands and control robotic actuators has emerged as an intriguing field of study. A substantial portion of research in this area employs both Commercial Off-The-Shelf (COTS) equipment and devices specifically designed for the purpose, such as electroencephalograms (EEG). This study proposes a user-friendly, non-invasive, and cost-effective method. Consequently, a methodology for identifying user commands through eye movement using a webcam and controlling a robotic actuator based on these commands is introduced. While similar works have been identified in the literature, this study seeks a low-cost development alternative. The work was conducted using the Ubuntu 20.04 operating system with Noetic ROS, and the RT-GENE packages, which were used to obtain eye tracking and blink detection, and YOLO, which aimed to detect the objects available to the user. The Python Tkinter package was employed to develop the user interface. Finally, MoveIt, Gazebo and franka_ros packages were utilized to perform the pick and place simulations of the manipulator. Simulation results using the proposed methodology are also presented, demonstrating its potential for ongoing research and real-world evaluation. Tests with the Youbot robot revealed challenges due to the need for precision and the accumulation of errors over time. However, tests with the Panda manipulator showed that the resolution of a standard webcam allowed for the determination of the object’s position in the world, despite the robot encountering difficulties in performing its task for some positions. Despite these challenges, it was possible to overcome the problem with a simple trial and error implementation. Future work aims to implement other robot models and conduct tests with real robots, in addition to adding sensing to the robot to ensure greater precision in its tasks and prevent accidents with people who are in its work area.
Keywords: Tecnologias assistivas
Robótica
Manipuladores
Rastreamento ocular
Pegar e mover
Assistive technologies
Robotics
Manipulator
Eye-tracking
Pick and place
CNPq: CNPQ::ENGENHARIAS::ENGENHARIA ELETRICA
Language: por
Country: Brasil
Publisher: Universidade Federal de Juiz de Fora (UFJF)
Institution Initials: UFJF
Department: Faculdade de Engenharia
Program: Programa de Pós-graduação em Engenharia Elétrica
Access Type: Acesso Aberto
Attribution-NonCommercial 3.0 Brazil
Creative Commons License: http://creativecommons.org/licenses/by-nc/3.0/br/
URI: https://repositorio.ufjf.br/jspui/handle/ufjf/16918
Issue Date: 15-Mar-2024
Appears in Collections:Mestrado em Engenharia Elétrica (Dissertações)



This item is licensed under a Creative Commons License Creative Commons