北极星(NorthStar) 大数据中台
北极星(NorthStar) 大数据中台产品，旨在帮助企业用户快速收集, 整理数据及构建数仓, 且可进行数据服务及数据资产管理。
- 快速构建数据模型
- 任务建模流程化
- 数据清洗: 模块化流程式
- 权限: 基于标签的权限形式,可快速为中台人员定制权限
- 数据质量: 自由定义质量规则及快速检测判定数据质量
- 数据知识: 基于用于业务自由定义业务元数据, 为企业积累数据知识
- 多种任务触发形式: 即可基于周期反复触发中台任务执行,也可基于业务进度实时触发中台任务执行
登陆页
登陆页
概述页
数仓管理
数据源管理
数据结构管理
任务列表
任务添加
工作流列表
工作流编辑
工作调度列表
新建调度
调度日志列表
日志详情
令牌管理
资产运维
资产列表
资产编辑
质量标准
质量检测结果
数据大屏
- 基于数据同步与计算引擎纯钧和实时计算引擎Flink，支持JSON模版配置任务，兼容Flink SQL语法；
- 支持分布式运行，支持flink-standalone、yarn-session、yarn-per job等多种提交方式；
- 支持Docker一键部署，支持K8S 部署运行；
- 支持多种异构数据源，可支持MySQL、Oracle、SQLServer、Hive、Kudu等20多种数据源的同步与计算；
- 易拓展，高灵活性，新拓展的数据源插件可以与现有数据源插件即时互通，插件开发者不需要关心其他插件的代码逻辑；
- 不仅仅支持全量同步，还支持增量同步、间隔轮训；
- 批流一体，不仅仅支持离线同步及计算，还兼容实时场景；
- 支持脏数据存储，并提供指标监控等；
- 配合checkpoint实现断点续传；
- 不仅仅支持同步DML数据，还支持Schema变更同步；
| 技术 | 说明 | 官网 |
|---|---|---|
| Vue | 前端框架 | https://vuejs.org/ |
| Vue-router | 路由框架 | https://router.vuejs.org/ |
| Pinia | 全局状态管理框架 | https://pinia.vuejs.org/ |
| ElementPlus | 前端UI框架 | https://element-plus.gitee.io/ |
| Axios | 前端HTTP框架 | https://github.com/axios/axios |
| Echarts | Echarts的图表框架 | https://echarts.apache.org/ |
| ChunkUI | 高级UI工具 | https://www.npmjs.com/package/chunk-ui |
| CodeMirror | 在线代码编辑器 | https://codemirror.net/ |
- 用户管理：用户是系统操作者，该功能主要完成系统用户配置。
- 菜单管理：配置系统菜单，操作权限，按钮权限标识等。
- 标签管理：配置系统公共标签，对数据源、任务、调度等进行标签区分。
- 数仓管理：对数据仓库进行分层分库，包含对贴源层、标准层、主题层、专题层等数据的分层设计，提供权限管理，配置用户对数仓层级中的资源使用权限。
- 数据源管理：对外部数据源进行配置，添加数据源、删除数据源、修改数据源、查询数据源等操作。
- 数据结构管理：对数据的分区分层管理，实现按分区创建分层，物理化分层结构至数据库。
- 任务管理：数据清选任务的管理功能，提供调度任务配置可视化页面，可在该页面中配置数据处理采集任务、计算任务、质量检测任务、脚本任务及 Jar 任务等。
- 工作流管理：处理任务的工作集合，可以将多个任务按执行顺序，条件添加至工作流中，在调度中心按配置的工作流顺序进行任务执行。
- 工作调度：配置本系统的数据处理调度任务、采集任务、数据质量检查任务及jar任务的工作流调度配置。
- 调度日志：调度执行列表，可以查看调度实例的详情、执行工作流实例图，各节点任务的执行状态及任务的日志详情等信息。
- 执行器管理：任务分布式执行终端的配置，任务"执行器"支持集群部署，可保证任务执行HA。执行器会周期性自动注册任务, 调度中心将会自动发现注册的任务并触发执行。同时，也支持手动录入执行器地址。
- 令牌管理：使用令牌来限制资源的使用率（例如，流带宽或API使用率）等，可以设置过期时间，访问频率及限制方式等。
- 资产运维：对资产使用情况进行统计，可以实现图表及成功率统计，可以查看资产的详细使用日志等。
- 资产列表：根据配置的分区分层，配置对外提供的API格式及属性，设置 Token 白名单列表，接口协议、请求方式、分页设置、排序及返回格式等。
- 质量标准：创建数据质检模型，为质检检测任务提供检测模板，通过质检模型对数据进行检验，输出质检报告。
- 质量检测结果：通过质量任务设置质量检测规则，按规则检测数据的合法性及有效性等。
- 邮箱：northstarbdg@gmail.com
- 群二维码
