Referências

[4lessandrodev]

Referências “núcleo” (local-first + pipeline auditável)

1) DuckDB — storage/query local, reprodutível

• Por que olhar: roda embutido (sem servidor), SQL forte, ótimo pra snapshots (CSV/Parquet/JSON) e execução local.
• Repo: ([GitHub]1)

2) Polars — ETL rápido (DataFrames) sem stack pesada

• Por que olhar: performance muito alta em máquina única (Rust por baixo), bom pra normalização/transformações e pipelines “enxutos”.
• Repo: ([GitHub]2)

3) Frictionless Data — “Data Package” + schemas para datasets

• Por que olhar: disciplina de esquema + metadados (facilita auditoria, reuso, validação e documentação).
• Organização/repos: ([GitHub]3)

4) Great Expectations — testes de qualidade do dado (data QA)

• Por que olhar: validações tipo “unit tests” pro dado (nulos, duplicatas, ranges, formatos), reduz falso positivo causado por sujeira.
• Repo: ([GitHub]4)

---

Referências “OSINT / investigativo” (modelagem + dedupe + explicabilidade)

5) OpenSanctions — pipeline real de agregação + limpeza + export

• Por que olhar: exemplo completo de ingestão, padronização, deduplicação e export com governança de dados.
• Repo: ([GitHub]5)

6) nomenklatura — dedupe / integração de entidades (FollowTheMoney)

• Por que olhar: referência prática pra “resolver” entidades (unificar registros equivalentes) de forma mais defensável.
• Repo: ([GitHub]6)

7) FollowTheMoney — modelo semântico de entidades investigativas

• Por que olhar: esquema pragmático (pessoa, empresa, pagamento, contrato etc.) pensado pra investigação, sem inventar do zero.
• Repo: ([GitHub]7)

8) Aleph (alephdata) — busca/indexação de docs + dados (investigação)

• Por que olhar: referência pra camada de exploração humana (quando vocês evoluírem para “pesquisa” e cross-reference).
• Repo: ([GitHub]8)

---

Referências “entity resolution / linkage” (onde falsos positivos nascem)

9) Splink — record linkage probabilístico (metodologia forte)

• Por que olhar: linkagem quando não há chave única (nome/endereço), com abordagem probabilística e calibrável.
• Repo: ([GitHub]9)

(extra útil) Splink UDFs p/ DuckDB — fuzzy matching no SQL local

• Repo: ([GitHub]10)

---

Referências “publicação/catálogo” (se um dia fizer sentido expor metadados)

10) CKAN — portal/catálogo de dados

• Por que olhar: caso vocês publiquem catálogo (metadados, versões, descrições), não necessariamente datasets brutos.
• Repo: ([GitHub]11)

---

Referências “observabilidade/auditoria operacional” (para rastrear execuções)

11) OpenTelemetry — logs/métricas/traces padrão

• Por que olhar: rastrear execuções do pipeline (tempo por etapa, falhas, inputs), reforça auditoria interna do projeto.
• Organização: ([GitHub]12)

---

Sugestão

• MVP local-first: DuckDB + Polars + (Frictionless ou schemas simples) + Great Expectations
• Semântica e dedupe: FollowTheMoney + nomenklatura (inspirar modelagem e integração)
• Linkage sério: Splink (quando cruzar bases com chaves fracas)
• Exploração humana (futuro): Aleph (referência) / Superset (opcional BI) ([GitHub]13)
• Governança de dados: aprender com OpenSanctions (pipeline + padrões)