1. Quais são os requisitos do negócio?

Pense no objetivo final: o que a empresa quer alcançar? Quer otimizar vendas, entender o comportamento do cliente ou prever tendências? Os requisitos do negócio definem o propósito de todo o pipeline. Por exemplo, se o objetivo é um relatório diário de vendas, o pipeline precisa ser construído para entregar dados com essa frequência.

 

2. Quais resultados finais são necessários?

Este ponto está diretamente ligado ao anterior. O resultado final pode ser um painel (dashboard) para executivos, um relatório automatizado, uma base de dados pronta para ser consumida por um modelo de machine learning ou um conjunto de dados para análise. A forma do resultado final define a arquitetura e as ferramentas necessárias.

 

3. Se os dados estão disponíveis, quais são as fontes?

Identifique de onde os dados vêm. Eles podem estar em um banco de dados transacional, arquivos de log, APIs de terceiros, planilhas ou até mesmo em um data warehouse já existente. Conhecer as fontes é crucial para planejar a forma de extração (ETL/ELT).

 

4. Quais tipos de formato(s) de dados estão disponíveis?

Os dados podem vir em formatos estruturados (CSV, Parquet, JSON), semi-estruturados (XML) ou não estruturados (PDF, imagens, vídeos). A escolha das ferramentas e a lógica do pipeline dependem diretamente do formato. Por exemplo, processar arquivos Parquet é muito mais eficiente do que trabalhar com arquivos CSV.

 

5. Qual o Crescimento esperado do volume de dados?

Entender a taxa de crescimento é fundamental para garantir a escalabilidade da sua arquitetura. Um pipeline que funciona com 10 GB por mês pode não suportar 10 TB. Ignorar essa pergunta pode levar a uma arquitetura que se tornará obsoleta rapidamente, exigindo retrabalho custoso.

 

6. Quanto espaço de armazenamento será necessário?

Com base no volume de dados atual e no crescimento esperado, planeje a capacidade de armazenamento. Ferramentas como o Amazon S3, Google Cloud Storage ou Azure Blob Storage são ideais por serem escaláveis e econômicas. Não se esqueça de considerar a retenção de dados: por quanto tempo os dados brutos ou processados precisam ser armazenados?

 

7. Quanta capacidade computacional será necessária?

O poder de processamento necessário depende do volume de dados e da complexidade das transformações. Processar terabytes de dados exigirá um cluster com várias máquinas (como Spark), enquanto gigabytes podem ser processados por um único servidor. O modelo de custo (servidor dedicado ou computação sob demanda) também entra aqui.

 

8. Usaremos dados em streaming, em batch ou ambos?

  • Batch: Para dados que podem ser processados em lotes, em intervalos de tempo fixos (diário, semanal). Ex: relatórios de fim de dia.

  • Streaming: Para dados que precisam ser processados em tempo real ou quase real. Ex: dados de sensores, cliques em um e-commerce.

A escolha entre um e outro (ou a combinação de ambos) muda completamente a arquitetura, as ferramentas (Kafka, Kinesis para streaming; Airflow, Oozie para batch) e o design do pipeline.

 

9. Já temos tecnologias necessárias que permitam criar pipelines?

É importante fazer um inventário das ferramentas e infraestrutura existentes na empresa. Já existe um cluster Hadoop ou um ambiente Kubernetes? Há licenças de ferramentas de ETL como o Informatica? Usar o que já está disponível pode reduzir custos e tempo de implementação.

 

10. Quais as tecnologias que devemos considerar para o projeto?

Com base nas perguntas anteriores, a escolha da tecnologia fica mais clara. Pense em:

  • Orquestração: Airflow, Dagster, Prefect.

  • Processamento: Spark, Flink, Pandas.

  • Armazenamento: Data Lake (S3, GCS), Data Warehouse (BigQuery, Redshift, Snowflake).

  • Ingestão: Kafka, Kinesis, NiFi.

 

11. Quais são os Acordos de Nível de Serviço (SLAs)?

Defina os SLAs: qual a latência máxima aceitável para a entrega dos dados? Se o relatório precisa estar pronto às 8h da manhã, o pipeline deve ter a capacidade de rodar e entregar os dados antes disso. Os SLAs impactam a escolha das tecnologias e o design da arquitetura, influenciando a necessidade de processamento em batch ou streaming.

 

12. Qual o custo de implementar e manter os pipelines?

Analise não apenas o custo de implementação (licenças de software, infraestrutura) mas também a manutenção a longo prazo. Um pipeline pode ser barato de implementar, mas caro de manter devido a erros frequentes, complexidade ou altos custos de infraestrutura. A regra é: quanto mais complexo, mais caro de manter.

 

13. Qual será o destino do pipeline?

O destino é o ponto final do pipeline. Pode ser um banco de dados para uma aplicação, um data warehouse para análises, uma API, ou até mesmo um arquivo em um bucket de armazenamento. Conhecer o destino ajuda a definir o formato final dos dados e as otimizações necessárias.

 

14. Como será o monitoramento?

Planeje como você vai saber se o pipeline está funcionando corretamente. O monitoramento deve incluir alertas para falhas, métricas de desempenho (tempo de execução, volume processado) e logs para depuração. Ferramentas como o Datadog, Grafana ou as funcionalidades de monitoramento das próprias plataformas (AWS CloudWatch, GCP Monitoring) são essenciais.

 

15. Usaremos diversos pipeline encadeados?

Sim, na maioria dos projetos mais complexos, o processo é dividido em múltiplos pipelines. Por exemplo, um pipeline pode extrair e carregar os dados brutos em um data lake, e um segundo pipeline pode processar esses dados e movê-los para o data warehouse. Essa abordagem modular facilita o desenvolvimento, a manutenção e o reuso de código.

 

16. Vamos criar pipelines de dados locais, na nuvem ou ambos?

  • Local (On-Premises): Para empresas que precisam manter o controle total dos dados ou que já possuem uma infraestrutura robusta.

  • Nuvem (Cloud): Oferece flexibilidade, escalabilidade e custo-benefício. A maioria das novas arquiteturas é construída na nuvem (AWS, GCP, Azure) devido à facilidade de gerenciamento.

  • Híbrido: Uma mistura de ambos, onde algumas partes do pipeline rodam localmente e outras na nuvem.

A escolha depende de fatores como custo, segurança, requisitos regulatórios e a infraestrutura existente.

Com essas perguntas respondidas, você terá uma base sólida para começar a desenhar a arquitetura do seu pipeline de dados. Se precisar de mais detalhes sobre alguma pergunta ou quiser explorar uma tecnologia específica, é só me dizer!