Pipeline frágil quebra confiança. Quando dashboard executivo mostra número errado uma vez, recuperar credibilidade do dado leva trimestres. O anti-pattern do pipeline artesanal sem orquestração é o que produz esse custo: job cron isolado, ninguém sabe quando quebra, descoberta vem do zero no relatório que a diretoria abre na reunião de resultados. Pipeline que falha silenciosamente é mais perigoso que pipeline que falha visivelmente porque a decisão errada já foi tomada antes da falha ser detectada.
Subcapability 02 de 05 · Data & Analytics
Data Engineering & Pipelines
Stack Apache com orquestração, observabilidade e idempotência que elimina o pipeline artesanal sem monitoramento e garante que dashboard executivo nunca mostre número errado com aparência de correto.
O que está em jogo
O pipeline rodou. O dashboard verde. A decisão foi tomada. Três dias depois alguém descobre que o dado estava errado desde segunda-feira. Esse é o custo do pipeline sem observabilidade: a falha silenciosa alimenta decisão errada durante dias sem que ninguém saiba. A falha visível pelo menos gera alerta.
O que é, na prática
Como atuamos
Orquestração com Apache Airflow
Implementamos DAGs com dependências explícitas, retry com backoff e observabilidade de cada execução. Falha em qualquer etapa gera alerta imediato, não descoberta tardia na reunião de resultados. Cada pipeline tem dono, documentação e critério de alerta.
Contratos de dado e data quality embarcada
Instrumentamos cada pipeline com validações automáticas via Great Expectations ou dbt tests. Dado que chega fora do contrato bloqueia o pipeline antes de contaminar a camada de consumo. Qualidade deixa de ser revisão manual e vira gate automático.
Streaming e batch com Apache Kafka e Spark
Estruturamos a decisão entre dado em tempo real via streaming com Apache Kafka e dado histórico em batch com Apache Spark. A escolha entre os dois segue o tempo de decisão do negócio, não a preferência técnica do time.
Apache Iceberg como open table format
Adotamos Apache Iceberg para suporte a ACID no data lake, schema evolution sem quebrar consumidores e time travel que permite auditoria retroativa de qualquer ponto histórico. Dado no lake passa a ter as mesmas garantias de um banco transacional.
Change Data Capture para integração sem impacto
Capturamos mudanças nos sistemas transacionais via CDC sem consulta em batch que impacta a operação. Dado fresco chega ao analytics minutos depois do evento, sem que o sistema de origem perceba a carga adicional.
Ganhos mensuráveis
O que muda no resultado quando essa subcapacidade amadurece.
Taxa de execuções de pipeline sem falha por semana
Orquestração com observabilidade e alertas automáticos eleva a confiabilidade do pipeline. Time que operava com scripts sem monitoramento começa a medir e manter taxa de execução acima de 99% de forma verificável.
Tempo entre evento e disponibilidade do dado para decisão
Pipeline freshness mede o lag entre o evento que acontece no sistema operacional e o momento em que o dado está disponível para o analista ou para o modelo. Reduzir esse lag de horas para minutos muda a velocidade de resposta da operação.
Custo de incidente por decisão baseada em dado incorreto
Contratos de dado e validação automática no pipeline eliminam a categoria de erro mais cara: dado que parece correto e está errado. O custo de uma decisão baseada em número incorreto raramente aparece no relatório de TI, mas aparece no resultado financeiro.
Tempo de recuperação de pipeline após falha detectada
Pipeline com retry configurado, alertas imediatos e runbook de recuperação reduz o tempo entre a detecção da falha e o dado disponível para o consumidor. O que antes levava um dia de investigação passa a ter processo com prazo definido.
Perguntas frequentes
O que é ETL e qual a diferença para ELT moderno?
ETL (Extract, Transform, Load) processa e transforma o dado antes de carregá-lo no destino. ELT (Extract, Load, Transform) carrega primeiro e transforma depois, aproveitando a capacidade de processamento do data warehouse ou data lake moderno. ELT tornou-se o padrão com plataformas como BigQuery, Snowflake e Redshift porque elimina o gargalo de transformação fora do destino e permite transformações declarativas versionadas via dbt.
Quando usar streaming versus batch?
Batch processa volumes acumulados em janelas definidas: hora, dia, semana. Streaming processa cada evento no momento em que acontece. A escolha segue o tempo de decisão do negócio: detecção de fraude exige streaming porque o bloqueio precisa acontecer antes da transação confirmar. Relatório mensal de vendas funciona perfeitamente em batch noturno. Muitas organizações operam os dois em paralelo para casos de uso distintos.
O que é um contrato de dado e por que ele importa?
Contrato de dado é o acordo formal entre produtor e consumidor de dado que especifica schema, qualidade mínima esperada, latência e processo de notificação quando algo muda. Com o contrato, mudança de schema não quebra o consumidor de surpresa. O produtor notifica, o consumidor se adapta dentro do prazo acordado. Sem contrato, mudanças chegam como bug no dashboard de quem consome.
Como medir a saúde de uma infraestrutura de dados?
Quatro indicadores cobrem a saúde operacional: pipeline reliability (percentual de execuções sem falha), pipeline freshness (lag entre evento e disponibilidade), Mean Time to Recover (tempo de recuperação após falha detectada) e data quality score por domínio. Cada indicador tem threshold operacional definido. Quando ultrapassa, gera alerta antes que o consumidor perceba.
Apache Airflow, Prefect ou Dagster: qual escolher?
Apache Airflow é o padrão de mercado com maior adoção e ecossistema de integrações. Prefect e Dagster são alternativas mais modernas com interface mais amigável e observabilidade nativa melhor. A escolha depende da maturidade do time, do volume de pipelines e da necessidade de integrações com ferramentas específicas. Para quem começa, Airflow com managed service em nuvem reduz a carga operacional sem abrir mão da robustez.
Outras subcapabilities desta capability
Data Architecture & Governance
Data Management Body of Knowledge e Data Mesh que estruturam dado como ativo com owner formal, lineage rastreável e governança federada que escala sem gargalo central e habilita IA em produção.
Analytics & Business Intelligence
Analytics com semantic layer, self-service governado e KPIs conectados ao resultado que substituem intuição cara por decisão baseada em evidência e eliminam o debate sobre origem do número.
Data Quality & Master Data
Seis dimensões de qualidade de dado e MDM Hub Architecture que eliminam as três versões do mesmo cliente e transformam dado de fonte de debate em base de decisão verificável.
Data Products
DATSIS e Data Contracts que transformam dataset sem dono em produto com SLA, consumidor e accountability explícita, eliminando o gargalo central que nenhum backlog consegue absorver.
Quer clareza sobre onde investir primeiro?
Diagnóstico completo de capacidades de tecnologia com roadmap de evolução conectado ao resultado financeiro.