Controle de topologia ativa de redes elétricas utilizando o algoritmo Augmented Random Search
Topologia ativa, redes elétricas, aprendizado por reforço, ARS
Este trabalho apresenta uma abordagem de aprendizado por reforço aplicada ao controle de topologias ativas de micro-grids de energia utilizando um algoritmo de otimização chamado, ARS (Augmented Random Search). Aqui, propõe-se o uso do algoritmo como alternativa a outros métodos já extensamente testados, como o Q-Learning e a DQN. O ARS então será submetido a comparação com outros 5 algoritmos, sendo eles: DQN, DDQN, Actor Critic, PPO e ADHDP Cada um dos algoritmos deve possuir 2 agentes distintos que realizarão operações na topologia ativa, um agente deve apenas ligar e desligar uma linha de transmissão quando for necessário, enquanto o outro agente além de ligar e desligar as linhas de transmissão, decidirá se mudará os barramentos em que os geradores e as linhas estão conectados. Para testar a eficiência do ARS em relação aos outros, usou-se a biblioteca grid2op que disponibiliza ambientes de aprendizado por reforço que simulam diversas categorias de micro-grids de energia. Para esse trabalho, foram escolhidos os cenários IEEE 14-bus, IEEE 36-bus e IEEE 118-bus para executar os agentes. Por fim, dividiu-se em 3 os métodos necessários para avaliar o desempenho do algoritmo, o primeiro avaliará a quantidade de passos dada por cada um dos agentes em cada um dos cenários. O segundo método deve avaliar o custo final que cada algoritmo gerou ao modificar os elementos topológicos, esse custo é uma representação simbólica dos gastos que uma companhia elétrica teria ao implementar um sistema equivalente. E por último, uma métrica que avalia o desempenho computacional do algoritmo a cada passo dado, dividindo o tempo de treinamento pela quantidade de passos dados em cada um dos episódios de cada um dos cenários.