Jay Chung
2 years ago
committed by
zhuangchong
@ -1,100 +1,76 @@ |
|||||||
Dolphin Scheduler Official Website |
# Apache Dolphinscheduler |
||||||
[dolphinscheduler.apache.org](https://dolphinscheduler.apache.org) |
|
||||||
================================================================== |
|
||||||
|
|
||||||
[](https://www.apache.org/licenses/LICENSE-2.0.html) |
[](https://www.apache.org/licenses/LICENSE-2.0.html) |
||||||
[](https://codecov.io/gh/apache/dolphinscheduler/branch/dev) |
[](https://codecov.io/gh/apache/dolphinscheduler/branch/dev) |
||||||
[](https://sonarcloud.io/dashboard?id=apache-dolphinscheduler) |
[](https://sonarcloud.io/dashboard?id=apache-dolphinscheduler) |
||||||
|
[](https://twitter.com/dolphinschedule) |
||||||
[](https://starchart.cc/apache/dolphinscheduler) |
[](https://s.apache.org/dolphinscheduler-slack) |
||||||
|
|
||||||
[](README_zh_CN.md) |
|
||||||
[](README.md) |
[](README.md) |
||||||
|
|
||||||
## 设计特点 |
## 关于 |
||||||
|
|
||||||
一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中`开箱即用`。 |
一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中`开箱即用`。 |
||||||
|
|
||||||
其主要目标如下： |
DolphinScheduler 的主要特性如下： |
||||||
|
|
||||||
- 以DAG图的方式将Task按照任务的依赖关系关联起来，可实时可视化监控任务的运行状态 |
|
||||||
- 支持丰富的任务类型：Shell、MR、Spark、SQL(mysql、postgresql、hive、sparksql)、Python、Sub_Process、Procedure等 |
|
||||||
- 支持工作流定时调度、依赖调度、手动调度、手动暂停/停止/恢复，同时支持失败重试/告警、从指定节点恢复失败、Kill任务等操作 |
|
||||||
- 支持工作流优先级、任务优先级及任务的故障转移及任务超时告警/失败 |
|
||||||
- 支持工作流全局参数及节点自定义参数设置 |
|
||||||
- 支持资源文件的在线上传/下载，管理等，支持在线文件创建、编辑 |
|
||||||
- 支持任务日志在线查看及滚动、在线下载日志等 |
|
||||||
- 实现集群HA，通过Zookeeper实现Master集群和Worker集群去中心化 |
|
||||||
- 支持对`Master/Worker` cpu load，memory，cpu在线查看 |
|
||||||
- 支持工作流运行历史树形/甘特图展示、支持任务状态统计、流程状态统计 |
|
||||||
- 支持补数 |
|
||||||
- 支持多租户 |
|
||||||
- 支持国际化 |
|
||||||
- 还有更多等待伙伴们探索 |
|
||||||
|
|
||||||
## 系统部分截图 |
|
||||||
|
|
||||||
 |
- 易于部署，提供四种部署方式，包括Standalone、Cluster、Docker和Kubernetes。 |
||||||
 |
- 易于使用，可以通过四种方式创建和管理工作流，包括Web UI、[Python SDK](https://dolphinscheduler.apache.org/python/main/index.html)、Yaml文件和Open API |
||||||
 |
- 高可靠高可用，多主多从的去中心化架构，原生支持横向扩展。 |
||||||
 |
- 高性能，性能比其他编排平台快N倍，每天可支持千万级任务 |
||||||
 |
- Cloud Native，DolphinScheduler支持编排多云/数据中心工作流，支持自定义任务类型 |
||||||
|
- 对工作流和工作流实例（包括任务）进行版本控制 |
||||||
|
- 工作流和任务的多种状态控制，支持随时暂停/停止/恢复它们 |
||||||
|
- 多租户支持 |
||||||
|
- 其他如回填支持（Web UI 原生），包括项目、资源和数据源的权限控制 |
||||||
|
|
||||||
## 近期研发计划 |
## 快速开始 |
||||||
|
|
||||||
DolphinScheduler的工作计划：<a href="https://github.com/apache/dolphinscheduler/projects/1" target="_blank">研发计划</a> ，其中 In Develop卡片下是正在研发的功能，TODO卡片是待做事项(包括 feature ideas) |
|
||||||
|
|
||||||
## 参与贡献 |
|
||||||
|
|
||||||
非常欢迎大家来参与贡献，贡献流程请参考： |
- 如果想要体验 |
||||||
[[参与贡献](docs/docs/zh/contribute/join/contribute.md)] |
- [standalone 启动](https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/installation/standalone) |
||||||
|
- [Docker 启动](https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/start/docker) |
||||||
|
- 想 Kubernetes 部署 |
||||||
|
- [Kubernetes 部署](https://dolphinscheduler.apache.org/zh-cn/docs/3.1.5/guide/installation/kubernetes) |
||||||
|
|
||||||
## 快速试用 Docker |
## 系统部分截图 |
||||||
|
|
||||||
请参考官方文档: [快速试用 Docker 部署](https://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/start/docker.html) |
|
||||||
|
|
||||||
## 快速试用 Kubernetes |
|
||||||
|
|
||||||
请参考官方文档: [快速试用 Kubernetes 部署](http://dolphinscheduler.apache.org/zh-cn/docs/latest/user_doc/guide/installation/kubernetes.html) |
* **主页**：项目和工作流概览，包括最新的工作流实例和任务实例状态统计。 |
||||||
|
 |
||||||
|
|
||||||
## 如何构建 |
* **工作流定义**： 通过拖拉拽创建和管理工作流，轻松构建和维护复杂的工作流。 |
||||||
|
 |
||||||
|
|
||||||
```bash |
* **工作流树状图**： 抽象的树形结构可以更清晰的理解任务之间的关系 |
||||||
./mvnw clean install -Prelease |
 |
||||||
``` |
|
||||||
|
|
||||||
### 构建不同版本的 Zookeeper 依赖 |
* **数据源**： 管理支持多种外部数据源，为MySQL、PostgreSQL、Hive、Trino等，并提供统一的数据访问能力。 |
||||||
|
 |
||||||
|
|
||||||
默认支持 Zookeeper Server 3.8.0。 |
* **监控**：实时查看master、worker和数据库的状态，包括服务器资源使用情况和负载情况，无需登录服务器即可快速进行健康检查。 |
||||||
```bash |
 |
||||||
# 默认 Zookeeper Client 3.8.0 |
|
||||||
./mvnw clean install -Prelease |
|
||||||
# 构建支持 Zookeeper 3.4.6+ |
|
||||||
./mvnw clean install -Prelease -Dzk-3.4 |
|
||||||
``` |
|
||||||
|
|
||||||
制品: |
## 建议和报告 bugs |
||||||
|
|
||||||
``` |
根据 [这个步骤](https://github.com/apache/dolphinscheduler/issues/new/choose) 来报告你的 bug 或者提交建议。 |
||||||
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-bin.tar.gz: DolphinScheduler 二进制包 |
|
||||||
dolphinscheduler-dist/target/apache-dolphinscheduler-${latest.release.version}-src.tar.gz: DolphinScheduler 源代码包 |
|
||||||
``` |
|
||||||
|
|
||||||
## 感谢 |
## 参与贡献 |
||||||
|
|
||||||
Dolphin Scheduler使用了很多优秀的开源项目，比如google的guava、grpc，netty，quartz，以及apache的众多开源项目等等， |
社区欢迎大家贡献，请参考此页面了解更多：[如何贡献](docs/docs/zh/contribute/join/contribute.md)，在[这里](https://github.com/apache/dolphinscheduler/contribute)可以找到good first issue |
||||||
正是由于站在这些开源项目的肩膀上，才有Dolphin Scheduler的诞生的可能。对此我们对使用的所有开源软件表示非常的感谢！我们也希望自己不仅是开源的受益者，也能成为开源的贡献者,也希望对开源有同样热情和信念的伙伴加入进来，一起为开源献出一份力！ |
如果你是首次贡献 dolphinscheduler。 |
||||||
|
|
||||||
## 获得帮助 |
## 社区 |
||||||
|
|
||||||
1. 提交 [issue](https://github.com/apache/dolphinscheduler/issues/new/choose) |
欢迎通过以方式加入社区： |
||||||
2. [加入slack群](https://s.apache.org/dolphinscheduler-slack) 并在频道 `#troubleshooting` 中提问 |
|
||||||
|
|
||||||
## 社区 |
- 加入 [DolphinScheduler Slack](https://s.apache.org/dolphinscheduler-slack) |
||||||
|
- 关注 [DolphinScheduler Twitter](https://twitter.com/dolphinschedule) 来获取最新消息 |
||||||
|
- 订阅 DolphinScheduler 邮件列表, 用户订阅 users@dolphinscheduler.apache.org 开发者请订阅 dev@dolphinscheduler.apache.org |
||||||
|
|
||||||
1. 通过[该申请链接](https://s.apache.org/dolphinscheduler-slack)加入slack channel |
# Landscapes |
||||||
2. 关注[Apache Dolphin Scheduler的Twitter账号](https://twitter.com/dolphinschedule)获取实时动态 |
|
||||||
|
|
||||||
## 版权 |
<p align="center"> |
||||||
|
<br/><br/> |
||||||
|
<img src="https://landscape.cncf.io/images/left-logo.svg" width="150"/> <img src="https://landscape.cncf.io/images/right-logo.svg" width="200"/> |
||||||
|
<br/><br/> |
||||||
|
DolphinScheduler enriches the <a href="https://landscape.cncf.io/?landscape=observability-and-analysis&license=apache-license-2-0">CNCF CLOUD NATIVE Landscape.</a > |
||||||
|
|
||||||
请参考 [LICENSE](https://github.com/apache/dolphinscheduler/blob/dev/LICENSE) 文件. |
</p > |
||||||
|
|||||||
|
Before Width: | Height: | Size: 79 KiB After Width: | Height: | Size: 79 KiB |
|
Before Width: | Height: | Size: 81 KiB |
|
Before Width: | Height: | Size: 116 KiB After Width: | Height: | Size: 116 KiB |
|
Before Width: | Height: | Size: 74 KiB After Width: | Height: | Size: 74 KiB |
|
After Width: | Height: | Size: 184 KiB |
|
Before Width: | Height: | Size: 64 KiB After Width: | Height: | Size: 64 KiB |
|
Before Width: | Height: | Size: 80 KiB |
|
Before Width: | Height: | Size: 78 KiB |
|
Before Width: | Height: | Size: 103 KiB |
|
Before Width: | Height: | Size: 73 KiB |
|
Before Width: | Height: | Size: 63 KiB |