Inteligência artificial aplicada ao texas hold’em: uma abordagem com aprendizado por reforço profundo e algoritmo de predição monte carlo

Abstract

Este trabalho tem por objetivo o desenvolvimento de um agente inteligente utilizando redes neurais de aprendizado profundo para jogar o pôquer Texas Hold’Em. Tendo em vista que o jogo possui uma quantidade quase infinita de estados e acesso incompleto a informações, agentes por aprendizado tendem a cair em ótimos locais e ficarem estagnados sem evoluir. Este trabalho utilizou da técnica de Deep Q-Network (DQN) e algoritmos de predição Monte Carlo, além de modelagem de recompensa e de um motor base 15 capaz de executar desempates de maneira robusta, usufruindo da Application Programming Interface (API) TensorFlow.js usando a ferramenta Node.js para desenvolvimento. Os gráficos gerados mostram o sucesso do agente, demonstrando o ganho de fichas de maneira concisa, perdendo menos do que ganhando, exibindo os locais em que o agente explorava e onde o mesmo explotava para receber o máximo possível de fichas. Tornando assim a explotação uma tática viável para agentes que jogam o Texas Hold’Em, já que eles conseguiam explorar as falhas dos rivais, também dispensando a necessidade de supercomputadores. A utilização de JavaScript permite a implementação do agente por meio de uma arquitetura assíncrona, que permite integração de maneira prática e eficaz.