Banca de DEFESA: JOAO PAULO TAVARES BORGES

Uma banca de DEFESA de MESTRADO foi cadastrada pelo programa.
DISCENTE: JOAO PAULO TAVARES BORGES
DATA: 28/01/2022
HORA: 14:30
LOCAL: GOOGLE MEET
TÍTULO:

SIMULAÇÕES HÍBRIDAS CAVIAR E APRENDIZAGEM POR REFORÇO APLICADA PARA SISTEMAS 5G: EXPERIMENTOS COM ESCALONAMENTO E SELEÇÃO DE FEIXE

PALAVRAS-CHAVES:

RL, 5G, simuladores híbridos, MIMO, alocação de recursos

PÁGINAS: 73
GRANDE ÁREA: Engenharias
ÁREA: Engenharia Elétrica
RESUMO:

Reinforcement Learning (RL) é um paradigma de aprendizagem adequado para problemas em que um agente tem que maximizar uma determinada recompensa, enquanto interage com um ambiente em constante mudança. Esta classe de problema aparece em vários pontos de interesse na 5a Geração (5G) e na 6a Geração (6G) das redes móveis. No entanto, a falta de conjuntos de dados ou ambientes disponíveis gratuitamente para treinar e avaliar os agentes de RL é um obstáculo prático que atrasa a adoção do uso de RL em redes 5G e futuras. Esses ambientes devem ser capazes de fechar o chamado reality gap, onde os agentes de  aprendizagem por reforço, treinados em ambientes virtuais, são capazes de generalizar suas decisões quando expostos a situações reais, nunca antes vistas. Portanto, este trabalho descreve uma metodologia de simulação denominada CAVIAR, ou Communication Networks, Artificial Intelligence and Computer Vision with 3D Computer-Generated Imagery, voltada para pesquisas em métodos RL aplicados à camada física (PHY) de sistemas de comunicação sem fio. Esta metodologia de simulação é utilizada para gerar um ambiente para as tarefas de escalonamento de usuário e seleção de feixe, onde, a cada passo de tempo, o agente RL precisa escalonar um usuário e então escolher o índice de um codebook de beamforming para atendê-lo. Um aspecto fundamental desta proposta é que a simulação do sistema de comunicação e o software de inteligência artificial devem estar intimamente integrados, de modo que as ações realizadas pelo agente possam refletir de volta no loop de simulação. Esse aspecto torna a compensação de tempo de processamento versus realismo da simulação, um elemento a ser considerado. Este trabalho também descreve a modelagem dos sistemas de comunicação e agentes RL usados para experimentação, e apresenta estatísticas sobre a dinâmica do ambiente, como tráfego de dados, bem como resultados para sistemas baseline. Por fim, é discutido como os métodos descritos neste trabalho podem ser aproveitados no contexto do desenvolvimento de gêmeos digitais.

MEMBROS DA BANCA:
Presidente - 1176325 - ALDEBARO BARRETO DA ROCHA KLAUTAU JUNIOR
Interno - 1353026 - CARLOS RENATO LISBOA FRANCES
Externo ao Programa - 3213114 - ILAN SOUSA CORREA