# 三足乌数据中台

**Repository Path**: waynejoe/szw-web

## Basic Information

- **Project Name**: 三足乌数据中台
- **Description**: 三足乌数据中台，集数据接入、数据开发、数据治理、数据标签、数据资产、数据服务、数据运维、系统管理等功能为一体。打通数据壁垒，解决数据孤岛问题，实现数据低代码开发，助力政府、企业数字化转型。
- **Primary Language**: Java
- **License**: Apache-2.0
- **Default Branch**: master
- **Homepage**: https://sanzuwu.cloud
- **GVP Project**: No

## Statistics

- **Stars**: 1
- **Forks**: 61
- **Created**: 2024-01-09
- **Last Updated**: 2024-01-09

## Categories & Tags

**Categories**: Uncategorized

**Tags**: None

## README

<p align="center" >
    <img src="logo.png">
    <h3 align="center">三足乌数据中台</h3>
    <p align="center">低代码、一体化数据平台</p>
</p>

## 项目介绍
三足乌数据中台——集数据接入、数据开发、数据治理、数据标签、数据资产、数据服务、数据运维、系统管理等功能为一体。打通数据壁垒，解决数据孤岛问题，实现数据低代码开发，助力政府、企业数字化转型。

## 演示平台（账号获取请联系公众号）
- https://www.sanzuwu.cloud

## 文档
- [中文文档](https://www.sanzuwu.cloud/doc)

## 架构图


## 项目截图
### 首页
![](capture/首页.png)
### 工作台
![](capture/首页.png)
### 数据接入
![](capture/数据同步管理.png)
![](capture/数据探查.png)
![](capture/数据同步.png)
### 数据开发
![](capture/离线任务.png)
![](capture/离线开发.png)
![](capture/实时开发.png)
![](capture/脚本开发.png)
### 数据治理
![](capture/数据标准.png)
![](capture/标准文件.png)
![](capture/数据质量.png)
### 数据标签
![](capture/标签管理.png)
![](capture/标签开发.png)
### 数据服务
![](capture/API管理.png)
![](capture/API测试.png)
![](capture/服务统计.png)

## 功能一览
- 工作台
    - 任务管理: 待办、已办任务
    - 任务总览: 
- 数据接入
    - 数据探查
        - 数据库探查: 配置可视化探查数据库工作流
        - 表探查: 配置可视化探查表工作流
    - 数据同步
        - DataX数据同步: 配置DataX可视化数据同步工作流
        - SeaTunnel数据同步: 配置SeaTunnel可视化数据同步工作流
        - ChunJun数据同步: 配置ChunJun可视化数据同步工作流
        - FlinkCDC数据同步: 配置FlinkCDC可视化数据同步工作流
    - 数据对账
        - 数据对账: 数据同步完成记录，展示数据同步总条数、错误条数等
    - 接入概览
        - 数据接入概览: 数据接入总体情况图表展示
- 数据开发
    - 离线开发: 配置可视化离线开发工作流，拖拉组件模块，提交任务到调度器
    - 实时开发: 集成Dinky
    - 脚本开发: 支持各类常见数据库SQL开发，BI展示结果，数据血缘关系分析
    - 工作流开发: 构建任务依赖流程图
- 数据治理
    - 数据标准: 本地数据中需要对照标准的数据维护
    - 数据质量
        - 规则配置: 数据质量规则配置
        - 数据校验: 配置数据质量校验工作流
        - 质量报告: 数据质量结果统计分析
- 数据标签
    - 标签管理: 标签分级、标签分类、标签规则定义
    - 标签开发: 配置可视化标签开发工作流，支持规则、统计、挖掘标签在线开发
    - 组合标签: 
    - 标签搜索: 
- 数据资产
    - 资产管理: 
- 数据服务
    - API管理: API定义、测试、授权、监控等
    - 令牌管理: 令牌管理
    - API日志: API接口调用日志
    - 服务概览: API接口统计展示
- 任务监控
    - 任务监控: 集成DolphinScheduler的运维日志
- 任务度器
    - 调度器: 调度器集成DolphinScheduler，并对DolphinScheduler做二次开发
- 资源管理
    - 数据源管理:
    - 算子管理: 
    - 函数管理: 
- 系统管理
    - 系统管理
        - 用户管理: 
        - 部门管理: 
        - 岗位管理: 
        - 菜单管理: 
        - 角色管理: 
        - 参数配置: 
        - 字典管理: 
    - 系统监控
        - 管理平台: 

## 技术选型
### 前端
- vue3
- antv/x6
- echarts
- pinia
- monaco-editor
### 后端
- springBoot
- springCloud
- Nacos
- Sentinel
- Seata
- SaToken
- Minio
- Mysql
- Redis
### 大数据端
- Hadoop
- Zookeeper
- Hive
- Spark
- Flink
- Kafka
- Presto
- Hbase
- DolpinScheduler
- ClickHouse
- ElasticSearch
- DataX
- SeaTunnel
- ChunJun

## 特别鸣谢！

## 关注
早上起来照了照镜子，又多了几根白头发，唉...😌😌😌<br>
关注微信公众号【三足乌】，并回复【三足乌】，开启你的数据之旅吧，愿君在数据的道路上越走越远。。。<br>
![](capture/gzh.jpg)