- Case: ingestão e pipeline de dados:
- Implementar uma ingestão de maneira manual utilizando serviços
- Implementar um pipeline de dados orientado a eventos utilizando serviços
- Converter o formato dos dados
- Ler os dados em repouso baseado em um meta-store
BOOTCAMP DATA ENGINEER:
Data Prep/Transform Data
- Glue
- Athena
Queue Service
- SQS
Ingestion
- kinesis
Formato de armazenamento de dados
- Avro
- Parquet
Micro Services
- Serverless lambda
Armazenamento
- S3
Assessment Governance
- IAM
Monitoring Logs
- CloudWatch