Samenvatting
Cataloom is een zelfgebouwde catalogtool voor de Microsoft-datastack die read-only tegen SQL Server of Azure SQL draait en drie lagen oplevert: AI-gegenereerde documentatie met een interactieve lineage-graaf, een deterministische audit (dode objecten, verweesde foreign keys, collation-conflicten, non-deterministische UPDATE...FROM) en een compact llms.txt-achtig contextformaat voor je DWH. Alle output is self-contained HTML zonder externe requests; de AI-stappen draaien optioneel tegen de eigen Azure OpenAI-resource van de gebruiker, zodat schema- en proc-logica de tenant niet verlaat. Relaties en lineage worden deterministisch uit de echte view- en proc-code gemined, niet door een taalmodel verzonnen.
De vraag
Bestaande catalogtools dumpen de schema-structuur en laten de mens de beschrijvingen typen; Microsoft Purview bedient dezelfde behoefte alleen zwaar en enterprise. Cataloom laat de AI de proc- en view-logica zelf lezen en de businessbeschrijving schrijven, terwijl relatie- en lineage-kennis deterministisch uit de code komt, zodat de AI geen bewijs verzint.
Wat ik heb gebouwd
- Een read-only connector (SQL-auth of Entra-token) tegen SQL Server en Azure SQL
- Catalog-introspectie: objecten, kolommen, keys, foreign keys, triggers, dependencies en index-gebruik
- Een AI-beschrijf-engine die proc- en view-definities omzet naar businessbeschrijvingen, met een bring-your-own Azure OpenAI-key
- Deterministische relatie-mining: declared foreign keys plus join-mining uit de view- en proc-code
- Een object-lineage-graaf met een eigen layout-implementatie, als interactieve self-contained HTML-viewer met zoeken en focus
- Een audit-checkregistry met deterministische checks, snapshot-diff tussen runs en live read-only bevestiging van onzekere kandidaten
In detail
- AI-documentatie met lineage: doorzoekbare, self-contained HTML met een feitzin per object en een interactieve lineage-graaf
- Deterministische audit: checks op dode indexen, verweesde referenties, collation-conflicten, uitgeschakelde triggers en non-deterministische UPDATE...FROM, met een AI-samenvattend oordeel
- AI-context (llms.txt voor je DWH): een compact, deterministisch feitzinnen-formaat met confidence-filter om een LLM-sessie van warehouse-kennis te voorzien
- Privacy-by-design: db_datareader-rechten volstaan, bring-your-own Azure OpenAI-key, geen enkele stap verlaat de eigen tenant
- Positionering als lichte wig tegenover Dataedo, Redgate SQL Doc, SchemaSpy en Microsoft Purview
Resultaat
Pre-launch: functioneel breed uitgewerkt en end-to-end geverifieerd tegen een productie-datawarehouse op Azure SQL, gedekt door een pytest-suite. Marktvalidatie (dogfood-gebruik, vraagtest, betaalbereidheid) is de volgende stap.