Publicação de Rodrigo Santana

Se eu fosse Analista de Dados e quisesse migrar para Engenharia de Dados em 2024 eu seguiria essa trilha... 💡 Conceitos e Fundamentos: - Arquitetura de dados: Conceitos sobre Data Warehouse, Data Lake, Data Lakehouse e Data Marts. - Modelagem de Dados: Conceitos sobre Star Schema, Snowflake Schema, Data Vault. Aqui eu focaria em entender as principais diferenças entre os modelos. Vantagens e Desvantagens - Processamento distribuído: Estudaria sobre processamento distribuído com Spark. Focaria em Spark e leria um livro sobre, um bom livro já cobre os conceitos e a prática de um software tão usado. Focaria nele, sei que existem outros mas na minha opinião se dominar bem spark está ótimo. - Engenharia de software: Estudaria como implementar códigos robustos com Python com testes, boas práticas de código 💡 Trabalhando com API's: Todo Engenheiro(a) de dados trabalha ou trabalhará com API's. Então é importante aprender sobre: - Como consumir API's. - Métodos de autenticação. - Como funciona basicamente, entender sobre rate limit, backfilling, Webhooks. 💡 Orquestração de Dados Estudaria o principal produto para orquestragem hoje no mercado que é o Apache Airflow. Entenderia como esse software funciona, boas práticas para criação de DAG's, como funciona recursos e principais integrações. 💡 Soluções Modernas (modern data stack) Estudaria algumas ferramentas muito faladas ultimamente para compor stacks de dados. São elas: - airbyte - dbt - datahub - airflow + dbt - duckdb Você não precisa ficar expert em todas é importante entender onde cada uma se encaixa, quando usar e como usar. 💡Cloud Escolha umas das três mais usadas: AWS, Azure e GCP. Escolha uma delas e aprenda os produtos de dados que são mais usados. Pense: como fazer um projeto basico na AWS? por exemplo: Assumindo uma APi pública, como posso subir um código python para consumir uma API, escrever no Data Lake, modelar as tabelas e inserir em um Data Warehouse usando 100% a AWS? (ou na Azure, GCP...tanto faz). Depois de pesquisar quais serviços usar para tal tarefa, implemente um pipeline usando uma conta gratuita para aprender na prática. 💡Governança e Qualidade de dados Estudaria sobre Governança de dados e qualidade. Para governança entender as boas práicas, sobre catálogo de dados, documentação. Sobre qualidade buscaria estudar sobre bibliotecas como great_expectations e soda. E como aplicar em meus códigos Python. Bom, esse foi um caminho que eu seguiria para migrar de Análista de Dados para Engenheiro de dados.. Sei que faltou algumas ferramentas ou habilidades na lista, mas tentei considerar que hoje um Analista de Dados já domina e atua com muita coisa.. Então, na minha opinião já tem um bom background, só precisa focar no que pode completar mesmo. Faz sentido para você? Envia para um Analista de dados que está buscando essa migração. #dataengineering #dataAnalyst

🚀 As 10 principais tecnologias que você deve conhecer como Engenheiro de Dados: 🚀 Como engenheiro de dados, você deve estar familiarizado com uma variedade de tecnologias para projetar, criar e manter com eficiência pipelines e infraestruturas de dados. Aqui estão as 10 principais tecnologias que você deve conhecer como engenheiro de dados: 1. SQL: SQL (Structured Query Language) é a linguagem padrão para gerenciar e consultar bancos de dados relacionais. Você precisa ser proficiente em SQL para processos de extração, transformação e carregamento de dados (ETL). 2. Python/Scala/Java: Linguagens de programação como Python, Scala e Java são essenciais para escrever código para construir pipelines de processamento de dados, desenvolver scripts de ingestão de dados e integrar com várias plataformas e ferramentas de dados. 3. Apache Spark: O Apache Spark é uma estrutura de computação de cluster de código aberto amplamente utilizada para processamento de big data. Ele fornece recursos eficientes de processamento de dados na memória e oferece suporte a cargas de trabalho em lote, streaming e aprendizado de máquina. 4. Apache Kafka: O Apache Kafka é uma plataforma de streaming distribuída que é comumente usada para construir pipelines de dados em tempo real e aplicativos de streaming. Você deve entender como trabalhar com Kafka para ingerir e processar fluxos de dados em tempo real. 5. Apache Airflow: O Apache Airflow é uma plataforma de código aberto popular para criação, agendamento e monitoramento de pipelines de dados programaticamente. Ele ajuda os engenheiros de dados a orquestrar e gerenciar fluxos de trabalho de dados complexos. 6. Bancos de dados NoSQL: bancos de dados NoSQL, como MongoDB, Cassandra e HBase, são projetados para lidar com grandes volumes de dados não estruturados e semiestruturados. 7. Serviços de nuvem: serviços de nuvem como Amazon Web Services (AWS), Google Cloud Platform (GCP) e Microsoft Azure oferecem uma ampla gama de ferramentas de armazenamento, processamento e análise de dados. 8. Data Warehousing: tecnologias de armazenamento de dados como Amazon Redshift, Google BigQuery e Snowflake são essenciais para armazenar e analisar grandes volumes de dados estruturados. 9. Modelagem de dados: Técnicas de modelagem de dados, como modelagem dimensional e design de esquema estelar, são cruciais para estruturar e otimizar dados para fins analíticos. 10. Tecnologias de contêiner: tecnologias de contêiner como Docker e Kubernetes estão sendo cada vez mais usadas para empacotar e implantar aplicativos e serviços de processamento de dados. Mais importante ainda, manter-se atualizado com as tecnologias emergentes e as tendências no campo da engenharia de dados é essencial para o crescimento profissional e a adaptação aos novos desafios. Senti falta de alguma coisa? Por favor, adicione 👇

As principais tecnologias para conhecer como Engenheiro de Dados 💻

🚀 Roteiro Estruturado de Engenharia de Dados Abaixo, está um guia dos principais conhecimentos para se aprofundar:

Vou ser um pouco polêmica: ser engenheiro de dados não é só fazer ETL, etl com mínimo conhecimento de pandas, até meus alunos com 3 meses de estudo fazem, e isso é elogio bem grande, mas é somente uma atribuição que todos os profissionais de dados devem ter atualmente. Ser engenheiro de dados é ser um profissional que cuida do ciclo de vida dos dados analíticos, desde a ingestão, transformações conformes e cargas finais, paralelo a isso olhando pra governança, qualidade de entrega dos dados ,versionamento, escalabilidade,custo, reusabilidade de código. Um engenheiro em 2024 pode ter dois perfis: padrão a de atuador (abstractor de manter abstrato)- que tem base multistack e pode atuar em baixo nível de abstração( hadoop,hive, quando necessário) e alto nível com stacks todas em nivel cloud com snowflake e databricks, é o padrão de consultoria. o atuador começa com uma stack só em em sua evolução vai adquirindo conhecimento em outras, mantendo arquitetura limpa e funcional. são os engenheiros de dados do mercado atual. padrão b de Builder - é o cara que manja muito de engenharia de software, que vai criar uma plataforma de dados ou manter uma, ou ainda criar ferramentas adicionais para poder utilizar nos cenários de abstração do tipo A. feitas com open source. São os engenheiros de Plataforma de Dados. e por ultimo que não conto nos principais, tem o S de severino, famoso perfil coringa, mas se é coringa não foca em partes principais de cuidar do ciclo de engenharia de dados, deixando muitas vezes governança,qualidade,versionamento e reusabilidade de codigo de lado. Esses profissionais são sobrecarregados de demandas e acabam tendo que focar muito mais em criar dashboards que cuidar de forma eficiente do ciclo de vida dos dados. Os famosos Analytics Engineers( de forma erronea, porque um analytics engineer é o profissional que deveria ver dashs como produtos e trazer praticas de engenharia de software pros dashboards) e vocês concordam, discordam? por que? Recomendo os livros pra quem quer ser engenheiro de Dados: Fundamentos de Engenharia de Dados - Joe Reis https://amzn.to/4dM12si Fundamentos de qualidade de Dados - Barr Moses https://amzn.to/3XQQ2Fc Engenharia de Software para Cientistas de Dados: De Notebooks a Sistemas Escaláveis - Catherine Nelson https://amzn.to/3U0x2lm Data Warehouse Toolkit - Ralph Kimball https://amzn.to/3XQ5txz Decifrando Arquitetura de Dados: https://amzn.to/3zBf4Py

Roteiro estruturado de engenharia de dados para 2025 Isso é tudo que você precisa, comece hoje para uma vantagem! Aqui está um detalhamento das principais habilidades de que você precisará: 1. Fundamentos em conceitos de dados: Comece com o básico. Entenda os tipos de dados, bancos de dados SQL x NoSQL e estruturas de dados. Esse conhecimento é a sua base! 2. SQL: A linguagem universal para dados! Saiba como fazer em bancos de dados, executar joins e agregar dados. O SQL é crucial em todas as funções de dados. Você estará escrevendo muito código SQL. 3. Python/Scala: Escolha uma linguagem para manipulação e automação de dados. O Python é amplamente usado, mas o Scala é o preferido para trabalhar com o Spark. 4. Modelagem de dados: Saiba como estruturar dados de forma eficiente. Entenda conceitos como esquemas star e snowflake. Isso ajuda você a criar bancos de dados otimizados e escalonáveis. [Você não vai escapar disso quando for um DE de nível Pl/Sr] 5. ETL (Extrair, Transformar, Carregar): Os pipelines ETL são a espinha dorsal da engenharia de dados. Ferramentas como Apache NiFi, Talend ou criação de ETL personalizado com Python/Spark são maneiras comuns de mover e transformar dados. Entenda o processo e como conseguir isso é mais importante do que aprender uma ferramenta. 6. Tecnologias de Big Data: Domine ferramentas como Hadoop e Spark. Eles são usados para processar grandes conjuntos de dados em sistemas distribuídos. Eles são essenciais para lidar com big data. Você precisa saber como e por que por trás disso para obter uma imagem melhor. 7. Data Warehouse: Entenda os princípios e ferramentas de data warehouse como Snowflake, Redshift e BigQuery. Os DW centralizam os dados para análise, possibilitando insights. Você pode ignorá-los por enquanto, mas pode ser integrado a qualquer momento, uma vez que seus fundamentos estejam alinhados. 8. Plataformas de nuvem (AWS, Azure, GCP): Familiarize-se com um grande provedor de nuvem. Conheça serviços como S3 (AWS), Data Lake (Azure) e BigQuery (GCP). As habilidades em nuvem estão em alta demanda. 9. Visualização de dados (Power BI, Tableau): Os engenheiros de dados geralmente precisam oferecer suporte a analistas de dados, portanto, conhecer ferramentas de visualização como Power BI e Tableau é útil. 10. Controle de versão (Git): Use o Git para gerenciar e rastrear seu código. Isso é fundamental para a colaboração e para garantir a qualidade do código. 11. Pipelines de dados: É aqui que tudo se junta. Ferramentas como o Apache Airflow ajudam a automatizar fluxos de trabalho, movendo dados da origem para o destino de forma confiável. Créditos da foto: Ajay Kadiyala Creditos do roteiro: Abhinav Singh  ♻️ Gostou ? Re-poste isso! ➕ Siga SQLDicas para obter mais informações diárias sobre como desenvolver sua carreira na área de dados

Estou feliz em compartilhar que terminei a segunda parte de um projeto de Engenharia de Dados. Ele usa dbt Labs para consumir arquivos Parquet de S3 Buckets, depois cria External Tables no Snowflake e faz a materialização de tabelas no mesmo, seguindo a Medallion Architecture e o Dimensional Modeling de Kimball. Se você ainda não sabe, o dbt automatiza a etapa T (Transformação) do processo ETL/ELT. Ao usar o dbt, assumimos estar sob o paradigma EL-T, ou seja, uma ferramenta externa processaria a parte "EL" do seu pipeline (que no caso, seria o projeto anterior que postei!). O dbt é responsável pela etapa de transformação no seu data warehouse. *Minha Jornada de Aprendizado* Inicialmente, construí um projeto simples no Docker, Inc para aprender a usar o Docker e me familiarizar com práticas de Engenharia de Software/DevOps. Queria organizar meu ambiente e aprender como o computador funciona. Embora eu não pretenda trabalhar em DevOps, entender o básico é importante. Depois, construí um pipeline ETL sozinho. Usei Docker com 3 serviços (Postgres como "DW", Python para rodar scripts, Jupyter Notebook apenas para facilitar a consulta de dados, porque eu uso o VSCode para tudo). Desenvolvi esse pipeline em um Jupyter Notebook, separando-o em módulos, ou seja, criando diferentes funções para realizar os diferentes passos (E-T-L). Usei o ChatGPT para criar alguns arquivos CSV que seriam fontes para um futuro modelo de ML que preveria o churn de clientes. Desculpe, Kaggle, foi mais rápido assim haha! Extraí dos CSVs, armazenei-os em uma camada Bronze, fiz algumas transformações usando o modelo dimensional de Kimball (Dimensão e Fatos), armazenei em uma camada Silver, preparei tabelas agregadas para serem usadas pelo modelo de ML e armazenei-os na camada Gold. Como você notou, usei a Arquitetura Medallion para separar as diferentes camadas do fluxo de dados. Depois, fiz um curso rápido do dbt migrei o projeto acima, como se vc fosse contratado para migrar processos ETL. Agora, o dbt roda o ETL e faz todas as transformações, bem como a criação de esquemas/tabelas. Depois, para finalizar, peguei tudo isso e expandi a estrutura do dbt para usar o adaptador dbt-DuckDB. Agora, o dbt é ainda mais poderoso porque pode ler/escrever de/para vários locais externos, fazendo uma etapa de Ingestão. Neste projeto, inicialmente criei um esquema Raw no Postgres. Criei um script para extrair os arquivos CSV imitando um Postgres em Produção. O dbt-DuckDB leu do Postgres e salva Parquets S3. Agora, nesse projeto, expandi a Ingestão para Transformação. O dbt-Snowflake lê os Parquets e joga nas External Tables. Depois, o dbt faz sua parte e materializa as tabelas nos schemas corretos. Tudo versionado no GitHub. Siga-me para mais dicas. Continuarei esse processo até ter um modelo de ML totalmente implantado, um projeto do mundo real. https://lnkd.in/dJi3Uvnd

Hoje, estou feliz em compartilhar que terminei a primeira parte de um projeto de Engenharia de Dados. Ele aproveita o poder do DuckDB usando o dbt Labs. Se você ainda não sabe, o dbt automatiza a etapa T (Transformação) do processo ETL/ELT. Ao usar o dbt, assumimos estar sob o paradigma EL-T, ou seja, uma ferramenta externa processaria a parte "EL" do seu pipeline e o dbt seria responsável pela etapa de transformação no seu data warehouse. *Minha Jornada de Aprendizado* Inicialmente, construí um projeto simples no Docker para aprender a usar o Docker e me familiarizar com práticas de Engenharia de Software/DevOps. Eu queria organizar meu ambiente e aprender como o computador funciona. Ciência de Dados, em geral, faz parte da IA/Ciência da Computação. Embora eu não pretenda trabalhar em DevOps, entender o básico é importante. Depois, eu queria construir um pipeline ETL sozinho. Usei Docker com 3 serviços (Postgres como "DW", Python para rodar scripts, Jupyter Notebook apenas para facilitar a consulta de dados, porque eu uso o VSCode para tudo). Desenvolvi esse pipeline em um Jupyter Notebook, separando-o em módulos, ou seja, criando diferentes funções para realizar os diferentes passos (E-T-L). Usei o ChatGPT para criar alguns arquivos CSV que seriam fontes para um futuro modelo de ML que preveria o churn de clientes. Desculpe, Kaggle, foi mais rápido assim haha! Extraí dos CSVs, armazenei-os em uma camada Bronze, fiz algumas transformações usando o modelo dimensional de Kimball (Dimensão e Fatos), armazenei em uma camada Silver, preparei tabelas agregadas para serem usadas pelo modelo de ML e armazenei-os na camada Gold. Como você notou, usei a Arquitetura Medallion para separar as diferentes camadas do fluxo de dados. Depois, foi hora de aprender dbt. Fiz um curso rápido do dbt Labs e comecei a migrar o projeto acima para dbt. Foi como se você fosse contratado para ajudar na migração de um processo ETL legado para um novo. Agora, com apenas um comando "dbt run" no terminal Bash do Docker, o processo ETL roda e faz todas as transformações, bem como a criação de esquemas/tabelas. Depois, para finalizar, peguei tudo isso e expandi a estrutura do dbt para usar o adaptador dbt-DuckDB. Agora, o dbt é ainda mais poderoso porque pode ler/escrever de/para vários locais externos. Neste projeto, inicialmente criei um esquema Raw no Postgres. Criei um script para extrair os arquivos CSV para imitar um estado do mundo onde já tínhamos dados no Postgres que precisavam ser migrados. Então, o dbt-DuckDB lê do PostgreSQL, faz tudo o que foi mencionado acima e salva como Parquet no meu Bucket S3 da minha conta (AWS) Free Tier. Tudo funciona e é versionado no GitHub. Siga-me para mais dicas. Continuarei esse processo até ter um modelo de ML totalmente implantado, um projeto do mundo real. Muito mais por vir: CI/CD, Airflow... https://lnkd.in/dhD3qra9

Arquivo posicional: Se tem uma única coisa que odeio trabalhar em engenharia de dados é ele. Chato demais e a maioria da galera vai pro Python e Spark fazer pois realmente acho mais fácil desenvolver. Mas você tá ligado que o cluster Spark é bem mais caro que o SQL Databricks né? Mas aí caio em outro problema, trabalhar com controle de versão de querys no Databricks hoje não é uma realidade, eu não consigo salvar um query no repositório, somente no Workspace. Sendo assim onde consigo ganhar várias coisas de uma vez: - Controle de versão e centralização de desenvolvimento - Padronização de desenvolvimento - Documentação fina (imagina você documentar as regras posicionais de cada tabela, cada coluna? Lembra que estávamos falando do arquivo posicional, imagina em vez de você explicar, passar o link da documentação? Rs) - Possibilidade de tratamento incremental (sabe aquele merge que você faz no Spark?) - Testes integrados e qualidade de dados - Linguagem SQL (nem toda volumetria precisa de Spark) - Ferramentinha que você aprende em 3 semanas - Migração da sua parte funcional documentada - Facilidade no ingresso de novos funcionários (sem ter aquele lance de você ter que caçar com alguém como foi feito e você descobrir que o cara nem tá lá mais e tava tudo na cabeça dele, rs) - Stack muito mais em conta (só de não usar Spark pra tudo) - Você pode forçar a documentação, por testes no Azure Devops (não documentou? Nem vem de pull request) - Esteira devops lisaaaaaaa. DBT-CORE meu chapa! Coloque a palavra do DBT na sua vida! Sabe quanto custa um DBT-CORE? Zero Reais! pip install dbt-core pip install dbt-databricks dbt init Segue um projetinho que estamos desenrolando aqui e olha a quantidade de ganhos, faz sentido? Ou tô viajando? Diz ae! Falta fazer o Data Factory rodar o Functions, achei um material mas quem tiver algo que já fez eu pago uma cerveja! =)

👀 Essa vai para São Paulo também ein? Necessário ter inglês avançado! 🔎 Data Engineer  Formação Acadêmica: Diploma de Bacharel em Ciência da Computação, Engenharia de Sistemas ou experiência equivalente. 📚 Requisitos  Experiência em Big Data: experiência como Engenheiro de Big Data.  Tecnologias Big Data: experiência com tecnologias como Apache Spark, Hive, HDFS, Beam (Opcional).  Linguagens de Programação: experiência em SQL e Scala ou Python.  Gerenciamento de Builds: experiência com ferramentas de gerenciamento de builds de software como Maven ou Gradle.  Tecnologias em Nuvem: experiência trabalhando com Tecnologias em Nuvem como GCP, AWS ou Azure.  Inglês avançado para conversação 📑 Diferenciais  GCP Technologies: Engenharia de Dados utilizando Tecnologias GCP (BigQuery, DataProc, Dataflow, Composer, DataStream, etc).  Data Pipelines: Experiência na escrita de pipelines de dados.  Iniciativa: Iniciativa própria para identificar/responder a mudanças de prioridade com supervisão mínima.  Controle de Código: Sistemas de controle de código-fonte (ex.: SVN/Git, Github) e ferramentas de build como Maven & Gradle.  Ambientes Ágeis: Experiência em ambientes ágeis (ex.: Scrum, XP).  Bancos de Dados Relacionais: Experiência com bancos de dados relacionais (ex.: SQL Server, Oracle, MySQL).  Ferramentas Atlassian: Experiência com ferramentas Atlassian (ex.: JIRA, Confluence e Github).    ✏ Atividades  Extração, Transformação e Carga (ETL): Extração, transformação e carga de dados de múltiplas fontes e formatos utilizando Tecnologias de Big Data.  Desenvolvimento e Suporte: Desenvolvimento, aprimoramento e suporte a tarefas de ingestão de dados a partir de vários sistemas de origem, seguindo padrões de design existentes, utilizando serviços do GCP como Apache Spark, Dataproc, Dataflow, BigQuery, Airflow, etc.  Colaboração: Trabalhar com equipes e engenheiros seniores para tornar os dados mais acessíveis para outros dentro da organização.  Padronização: Modificar pipelines de extração de dados em abordagens padronizadas que possam ser repetíveis e reutilizáveis com supervisão mínima dos engenheiros seniores.  Automação e Otimização: Automação de processos manuais, otimização da entrega de dados, redesenho da infraestrutura para maior escalabilidade, etc.  Otimização de Consultas: Trabalhar de perto com engenheiros seniores para otimizar técnicas de consulta e acesso a dados.  Práticas Modernas: Aplicar práticas modernas de desenvolvimento de software (computação sem servidor, arquitetura de microserviços, CI/CD, infraestrutura como código, etc.)  Trabalho em Equipe: Participar de uma equipe de engenharia coesa que emprega práticas ágeis de desenvolvimento de software. Envie seu cv para: [email protected] Assunto: nome da vaga