Por favor, use este identificador para citar o enlazar este ítem: https://repositorio.ufjf.br/jspui/handle/ufjf/15493
Ficheros en este ítem:
Fichero Descripción Tamaño Formato  
pauloviniciusmoreiradutra.pdf5.27 MBAdobe PDFVista previa
Visualizar/Abrir
Clase: Dissertação
Título : Geração procedural de conteúdo utilizando aprendizado por reforço com design de iniciativa mista e entropia como feedback de recompensa
Autor(es): Dutra, Paulo Vinícius Moreira
Orientador: Fonseca Neto, Raul
Co-orientador: Villela, Saulo Moraes
Miembros Examinadores: Bernardino, Heder Soares
Miembros Examinadores: Mendonça, Matheus Ribeiro Furtado de
Resumo: Os jogos ao longo dos anos têm se tornado uma das principais formas de entretenimento no ambiente digital e são frequentemente utilizados em pesquisas que envolvem a área do aprendizado de máquina. Dentre as ramificações do aprendizado de máquina, temos o aprendizado por reforço que é comumente utilizado para treinar agentes a jogar jogos. Atualmente existem muitos jogos que utilizam métodos de geração procedural para gerar algum conteúdo com o objetivo de aumentar experiência do jogador. Recentemente, artigos acadêmicos buscam aproximar o aprendizado por reforço com a geração procedural de conteúdo em jogos. Este trabalho investiga como podemos aplicar a geração procedural de conteúdo com aprendizado por reforço e o design de iniciativa mista. Uma segunda questão discutida aqui é como podemos utilizar métricas para avaliar a diversidade dos cenários gerados. A proposta deste trabalho possui como ideia principal utilizar modelos de cenários fornecidos por um especialista humano em level design, para que os agentes de aprendizado por reforço o utilizem para criar cenários. Os níveis fornecidos pelo especialista são separados em segmentos ou blocos que são utilizados para compor novas estruturas de cenários. Também é proposto o uso de uma função de recompensa baseado na entropia como métrica para avaliar a diversidade dos cenários gerado pelos agentes de aprendizado por reforço. Inicialmente, treinamos o modelo proposto para três diferentes ambientes de jogos no estilo 2D Dungeon crawlers. Analisamos os resultados obtidos através do valor de entropia e demonstramos que o modelo proposto pode gerar uma ampla gama de novos níveis com uma diversidade de segmentos. Um segunda análise dos resultados é através de expressive range, para avaliar a expressividade dos níveis utilizando as métricas linearidade e leniência.
Resumen : Over the years, video games have become one of the main ways of entertainment in the digital environment and are often used in the machine learning research. In machine learning, we can find different branches, among them, reinforcement learning, which is commonly used to train agents to play games. Currently, there are many games that use procedural generation methods to generate some content in order to increase the player’s experience. Recently, academic articles have approach the problem of procedural generation of content in games though reinforcement learning. In this work, we investigate how we can approach procedural content generation with reinforcement learning and mixed-initiative design. A second question discussed here is how we can use metrics to evaluate the diversity of the generated level. Our proposal has as its main hypothesis to use scenario models, provided by an expert human in level design, for the reinforcement learning agents in order to generate new scenarios. The levels provided by the specialist are separated into segments or blocks that are used to compose the new scenario structures. Also, a new reward function based on the use of entropy was proposed to measure the diversity of the generated scenarios. Initially, we trained our model for three different 2D Dungeon crawlers game environments. We analyzed our results through the value of the entropy, and it shows that our approach can generate levels with a wide diversity of segments. A second analysis of the results is through expressive range, to evaluate the expressivity of the levels using linearity and leniency metrics.
Palabras clave : Aprendizado por reforço
Geração procedural de conteúdo
Aprendizado de máquina
Expressive range
Iniciativa mista
Entropia
Reinforcement learning
Procedural content generation
Machine learning
Mixed-initiative
Entropy
CNPq: CNPQ::CIENCIAS EXATAS E DA TERRA
Idioma: por
País: Brasil
Editorial : Universidade Federal de Juiz de Fora (UFJF)
Sigla de la Instituición: UFJF
Departamento: ICE – Instituto de Ciências Exatas
Programa: Programa de Pós-graduação em Ciência da Computação
Clase de Acesso: Acesso Aberto
Attribution-ShareAlike 3.0 Brazil
Licenças Creative Commons: http://creativecommons.org/licenses/by-sa/3.0/br/
URI : https://repositorio.ufjf.br/jspui/handle/ufjf/15493
Fecha de publicación : 16-mar-2023
Aparece en las colecciones: Mestrado em Ciência da Computação (Dissertações)



Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons Creative Commons