Repositório do Workshop | Construindo um Data Lakehouse com Delta e Iceberg na Prática com Apache Spark

• Apache Spark
• Apache Iceberg
• Apache Nessie
• Delta Lake
• Kubernetes

Descrição

Aprenda a Construir um Data Lakehouse com as Melhores Práticas do Mercado de Dados utilizando o Apache Spark como Engine de Processamento e Entenda como as Engines de Lakehouse Funcionam.

Roadmap e Programação

Cronograna e Agenda do Workshop Construindo um Data Lakehouse com Delta e Iceberg na Prática com Apache Spark.

Inicie Sua Jornada com Apache Spark {Vídeos}

Conteúdo de Fundamentos para Criar uma Base Sólida sobre a Engenharia de Dados.

1. Fundamentos de Big Data & Apache Hadoop
   aprenda o princípio dos conceitos e tecnologias base de big data & analytics

https://www.loom.com/share/5425aecc76754a378ab4438b49826d84

2. Instalação do Apache Spark
   aprenda a realizar a instalação do apache spark no macos

https://www.loom.com/share/5f1d05dc293e49919b66d6132da290ff

• Apache Spark & Linux
• Apache Spark & Windows

3. Aprenda o Spark Submit para Execução de Aplicações no Apache Spark
   aprenda a melhor forma de executar aplicações escritas no apache spark com spark-shell

https://www.loom.com/share/ebcf477568e3415daab8b55ced3b8996

4. IDE {Integrated Development Environment} para o Apache Spark
   escolha entre as mais famosas e utilizadas do mercado, pycharm ou visual studio code

https://www.loom.com/share/803294fe0210486cac6f4bc284a18c9e

• PyCharm Community Edition
• Visual Studio Code