dataiotech Labs
dbaguidedataxtoolsdataopspheredataopsphereDataOps
dataopsphere.com
DataOps Başlangıç Kitleri & Docker Şablonları

DataOps Başlangıç Kitleri & Docker Şablonları

Lokal geliştirme ve kurumsal altyapılar için tek komutla ayağa kaldırılabilen Lakehouse, dbt ve Airflow ortamları.

lakehouseDocker Compose v3.8

Yerel Apache Iceberg Lakehouse (Trino + MinIO S3 + Apache Iceberg REST Catalog)

Geliştiricilerin bilgisayarında sıfır bulut maliyetiyle Apache Iceberg tabloları oluşturup, MinIO (S3 uyumlu depolama) üzerinde depolayıp Trino SQL motoru ile yüksek hızlı sorgulama yapabileceği tam Docker Compose ortamı.

Apache Iceberg (REST Catalog)Trino 440+MinIO (S3 Compatible Storage)MinIO MC CLIDocker Compose
docker compose up -d && trino --server localhost:8080 --catalog iceberg --schema default
streamingDocker Compose v3.8

Gerçek Zamanlı CDC Akış Yığını (PostgreSQL + Debezium + Kafka + ClickHouse + Kafka-UI)

PostgreSQL WAL (Write-Ahead Logging) loglarını Debezium ile yakalayıp Kafka üzerinden ClickHouse columnar veritabanına mikrosaniye gecikmeyle aktaran uçtan uca CDC laboratuvarı.

PostgreSQL 16 (Logical Replication)Debezium Connector 2.6Apache Kafka (KRaft Mode)ClickHouse 24.3Kafka-UI Web Dashboard
docker compose up -d && open http://localhost:8085 (Kafka-UI)
modern-data-stackDocker Compose v3.8

MDS Lite: Yerel Modern Veri Yığını (DuckDB + dbt-core + Metabase + dlt)

Bulut ambarı faturası olmadan yerel dosyalar veya API kaynaklarından DuckDB içerisine veri yükleme (dlt), dönüştürme (dbt-core) ve görselleştirme (Metabase) sağlayan süper hafif Modern Data Stack ortamı.

DuckDB 1.0+dbt-core 1.8+ (dbt-duckdb)dlt (Data Load Tool)Metabase Open SourceDocker Compose
docker compose up -d && docker exec -it mds-dbt-runner dbt build
orchestrationDocker Compose v3.8

Dagster Yazılım Tanımlı Varlıklar (SDA) + DuckDB + Great Expectations Ortamı

Yazılım Tanımlı Varlıklar (Software-Defined Assets) mimarisiyle çalışan Dagster orkestrasyon motoru, DuckDB depolama ve Great Expectations otomatik veri kalite denetimlerini içeren tam DataOps geliştirme ortamı.

Dagster 1.7+Dagster Webserver (UI)Dagster DaemonDuckDBGreat Expectations
docker compose up -d && open http://localhost:3001
observabilityDocker Compose v3.8

Uçtan Uca Veri Gözlemlenebilirliği (OpenTelemetry + Prometheus + Grafana + Elementary)

Boru hatlarındaki gecikmeleri, dbt model sürelerini, veri hacim anomalilerini ve hata loglarını toplayıp Grafana panellerinde görselleştiren açık kaynak Data Observability yığını.

OpenTelemetry CollectorPrometheusGrafana 10+Elementary Data (dbt Observability)
docker compose up -d && open http://localhost:3002 (Grafana: admin/admin)