https://repositorio.ufjf.br/jspui/handle/ufjf/12598
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
andrédesouzabrito.pdf | PDF/A | 2.39 MB | Adobe PDF | ![]() Visualizar/Abrir |
Tipo: | Dissertação |
Título: | Uma arquitetura de redes neurais convolucionais para reconhecimento de ações humanas em vídeos utilizando ritmos de fluxo óptico |
Autor(es): | Brito, André de Souza |
Primeiro Orientador: | Villela, Saulo Moraes |
Co-orientador: | Vieira, Marcelo Bernardes |
Membro da banca: | Bernardino, Heder Soares |
Membro da banca: | Pedrini, Hélio |
Resumo: | O problema de reconhecimento de ações humanas baseada em vídeos beneficiou-se significativamente do surgimento de modelos de aprendizado profundo. No entanto, este ainda ´e um problema em aberto devido `a dificuldade associada ao processo de desenvolvimento de uma solução robusta e geral neste domínio. Neste ambiente, abordar o aspecto temporal dos vídeo ´e crucial para construir modelos realistas. Um passo fundamental nessa direção ´e a seleção de características dos vídeos que retratem a complexidade das ações humanas. Com este objetivo, uma solução baseada em uma arquitetura multi-fluxo formada por redes neurais convolucionais profundas ´e proposta neste trabalho. Um esquema multi-fluxo ´e uma forma interessante de agregar informações de diferentes origens com um custo de treinamento inferior ao de outros m´métodos. Uma nova característica temporal, chamada ritmo do fluxo óptico, foi incorporada `a arquitetura para melhorar o seu desempenho. Os experimentos realizados sugerem que o ritmo do fluxo óptico ´e complementar `as outras informações geralmente usadas nessas arquiteturas, como imagens em RGB, fluxo ´optico e ritmo visual, potencializando os resultados da abordagem. Para combinar os vários fluxos de informação dessa arquitetura, ´e introduzido um novo m´método de fusão por m´média ponderada, onde os pesos dos classificadores são definidos pela meta-heurística resfriamento simulado. Além disso, ´e especificada uma nova estratégia de treinamento e teste para os dois novos fluxos introduzidos neste trabalho. Esse esquema ´e baseado na extração de m´múltiplos planos dos ritmos visuais e do fluxo óptico dos vídeos. Os resultados indicam um aumento na eficácia da arquitetura usando esta estratégia. Os experimentos realizados em dois conjuntos de dados desafiadores, UCF101 e HMDB51, demonstram que o m´método desenvolvido ´e comparável `as abordagens estado da arte. |
Abstract: | The human action recognition problem based on video classification has significantly benefited from the introduction of deep learning models. However, this is still an open problem due to the inherent difficulty in developing a general and robust solution. In this domain, addressing the temporal aspect of the videos is crucial in order to build realistic models. A key step in this direction is the selection of features that characterize the complexity of human actions. With this goal, we propose a solution for the video classification problem based on a multi-stream deep convolutional neural network architecture. A multi-stream is an interesting way to aggregate information from different sources with a lower training cost if compared to other methods. A new stream called optical flow rhythm was incorporated to improve accuracy rates. Our experiments suggest that optical flow rhythm is complementary to other streams, such as RGB, optical flow and visual rhythm, boosting the results of the approach. To combine the various streams in our architecture, we introduce a new weighted average fusion scheme where the weights of the classifiers are defined by a simulated annealing metaheuristic. Furthermore, we propose a training and test protocol based on the extraction of multiple planes of the visual and optical flow rhythms. The results indicate a performance augmentation using this protocol. Experiments conducted on the challenging UCF101 and HMDB51 datasets demonstrate that our method is comparable to state-of-the-art approaches. |
Palavras-chave: | Reconhecimento de ações humanas Multi-fluxo Ritmo do fluxo óptico Human action recognition Multi-stream Optical flow rhythm |
CNPq: | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO |
Idioma: | por |
País: | Brasil |
Editor: | Universidade Federal de Juiz de Fora (UFJF) |
Sigla da Instituição: | UFJF |
Departamento: | ICE – Instituto de Ciências Exatas |
Programa: | Programa de Pós-graduação em Ciência da Computação |
Tipo de Acesso: | Acesso Aberto Attribution-NonCommercial-ShareAlike 3.0 Brazil |
Licenças Creative Commons: | http://creativecommons.org/licenses/by-nc-sa/3.0/br/ |
URI: | https://repositorio.ufjf.br/jspui/handle/ufjf/12598 |
Data do documento: | 30-Ago-2019 |
Aparece nas coleções: | Mestrado em Ciência da Computação (Dissertações) |
Este item está licenciado sob uma Licença Creative Commons