Power BI não é Ferramenta de ETL

O vídeo é apenas uma parte da minha opinião, segue algumas experiências próprias.

Vou falar um pouco sobre ETL no Power BI e por que parei de utilizá-lo na maioria dos meus projetos, segundo a minha experiência.

Primeiramente, vamos contextualizar. Quando comecei a construir dashboards com Power BI, me sentia o Mestre dos Magos dos Dados, um cara super poderoso, construindo vários insights visuais em um lugar que ninguém utilizava gráficos, apenas relatórios em Excel.

Assim, comecei a estudar bastante Power Query e DAX para fazer as transformações de dados. Indico que você estude bastante, acrescente M – também vale a pena, principalmente se quiser se aprofundar na ferramenta.

"Feito é melhor que perfeito".
Após construir vários dashboards para diversos setores, percebi que alguns ficavam extremamente lentos para abrir e também para atualizar os dados. Com o tempo, os setores paravam de usar por falta de paciência, porque estava lento. Nem eu mesmo tinha paciência em alguns momentos, isso foi logo nos meus primeiros passos com dados.

Ao ler um pouco em alguns lugares, ver alguns colegas no próprio LinkedIn e também nas comunidades de dados no WhatsApp, falando sobre boas práticas com dados, conheci também conteúdos do Grimaldo Oliveira, Odemir Depieri Jr e Rafael Arruda. Então, decidi "evoluir" meu processo de dados. (Obs.: Sigam essas referências, você vai evoluir de forma gigantesca).

Comecei a fazer o tratamento de dados antes de conectar no Power BI. Usei em grande parte o Pentaho e/ou Pandas. Com isso, já comecei a limpar muita coisa ali. Não deixei de usar Power Query e DAX, mas reduzi seu uso em uns 80/90%, melhorando assim a performance dos dados.

Alguns pontos a observar: depende principalmente da quantidade de dados e também da quantidade de transformações a serem utilizadas. Eu ainda utilizo algumas transformações mais pontuais, porém já levo o dado para o Power BI tratado.

É isso que queria compartilhar por hoje. Compartilhe comigo sua experiência com essa situação.