Ingestão
Pipelines contínuos e incrementais: lote, CDC, eventos e near real-time.
| Pipeline | Origem | Modo | Cadência | Atraso | Volume / h | Estado |
|---|---|---|---|---|---|---|
crm_accounts_cdc 91% | Salesforce | CDC | Contínuo | 23 min | 48k | Degradado |
finance_gl_daily 100% | SAP S/4HANA | Lote | Diário 02:00 | 31 min | 1.2M | Saudável |
kb_pages_events 99% | Confluence | Eventos | Por evento | 8 min | 3.4k | Saudável |
lake_curated_parquet 98% | Amazon S3 | Lote | A cada 15 min | 17 min | 820k | Saudável |
ops_incidents_stream 100% | ServiceNow | Eventos | Por evento | 2 min | 12k | Saudável |
conversations_rt 100% | Slack | Near real-time | Near real-time | 9 s | 64k | Saudável |
teams_files_rt 0% | Microsoft Teams | Near real-time | Near real-time | — | 0 | Pausado |
wh_metrics_snapshots 100% | Snowflake | CDC | Contínuo | 1 min | 2.1M | Saudável |
Execuções recentes
- Saudável
wh_metrics_snapshots
09:44 · 38 s · 214k linhas
- Degradado
crm_accounts_cdc
09:41 · 4 min · 12k linhas
- Saudável
kb_pages_events
09:37 · 9 s · 340 linhas
- Saudável
lake_curated_parquet
09:30 · 2 min · 180k linhas
- Falhou
teams_files_rt
06:52 · — · 0 linhas
Estratégia incremental
Lote
Janelas particionadas com marca d'água por watermark e reprocessamento idempotente.CDC
Log de replicação lógica, ordenação por LSN e deduplicação por chave primária.Eventos
Webhooks assinados com retentativa exponencial e fila de mensagens mortas.Near real-time
Consumo contínuo com checkpoint e latência alvo abaixo de 30 segundos.