paimon-manager Paimon管理,支持spark和flink 引擎
Paimon中的CDC数据摄取功能 Hive引擎集成Paimon Paimon性能优化和管理维护 paimon-flink-1.18-0.8.0.jar 代表flink 1.18版本 paimon 0.8.0版本
【2025最新版】 大数据 数据分析 电商系统 实时数仓 离线数仓 数据湖 建设方案及实战代码,涉及组件 #flink #paimon #doris #seatunnel #dolphinscheduler #datart #dinky #hudi #iceberg。
基于 antlr4 的多种数据库SQL解析器,获取SQL中元数据,可用于数据平台产品中的多个场景:ddl语句提取元数据、sql 权限校验、表级血缘、sql语法校验等场景。支持spark、flink、gauss、starrocks、Oracle、MYSQL、Postgresql,sqlserver, db2等
解析SQL,获取字段、表级别的血缘关系。转换成血缘模型,在图数据库neo4j上呈现。
数据血缘(Data Lineage),也有翻译为数据沿袭,都数据血缘(Data Lineage)是指追踪数据从其源头到目的地的路径,包括它在整个数据生命周期中的流动、转换和使用情况。数据血缘的核心目的是提供对数据流动和变化的完整可视化,从而帮助组织理解数据的来源、经过的处理步骤以及最终如何被利用。
数据血缘分析 基于开源的https://github.com/JupiterMouse/data-lineage-parent
在数据仓库建设中,经常会使用到数据血缘追踪方面的功能,本项目实现了对hql集合进行静态分析,获取hql对应的血缘图(表血缘 + 字段血缘)
Fire框架是中通大数据自主研发并开源的大数据框架,专为Spark和Flink任务开发设计,可显著降低70%以上的代码量。该框架创新性地采用基于注解的方式进行Spark和Flink任务开发,并集成了实时血缘追踪、根因诊断、动态调优以及参数热调整等多项平台化功能。Fire框架已被数十家公司采用,累计收获了近千个Star,并拥有超过200人的社区,其中包括来自美团、阿里巴巴、作业帮等知名企业的成员。
完整数据中台,web-kettle-vue 包含数据源,元数据,数据标准,数据质量,建模,数据采集,数据血缘,数据安全,数据服务,基于kettle和flink。
Make data connection easier