DolphinScheduler

分布式调度框架。

16 KiB

Raw Blame History

DolphinScheduler是什么?

一个分布式易扩展的可视化DAG工作流任务调度系统。致力于解决数据处理流程中错综复杂的依赖关系，使调度系统在数据处理流程中开箱即用。

GitHub URL: https://github.com/apache/incubator-dolphinscheduler

Official Website: https://dolphinscheduler.apache.org

先决条件

Docker 1.13.1+
Docker Compose 1.11.0+

如何使用docker镜像

以 docker-compose 的方式启动dolphinscheduler(推荐)

$ docker-compose -f ./docker/docker-swarm/docker-compose.yml up -d

在docker-compose.yml文件中，默认的创建Postgres的用户、密码和数据库，默认值分别为：root、root、dolphinscheduler。

同时，默认的Zookeeper也会在docker-compose.yml文件中被创建。

访问前端页面：http://192.168.xx.xx:12345/dolphinscheduler

默认的用户是admin，默认的密码是dolphinscheduler123

提示: 为了在docker中快速开始，你可以创建一个名为ds的租户，并将这个租户ds关联到用户admin

或者通过环境变量 `DATABASE_HOST` `DATABASE_PORT` `ZOOKEEPER_QUORUM` 使用已存在的服务

你可以指定已经存在的 Postgres 和 Zookeeper 服务. 如下:

$ docker run -d --name dolphinscheduler \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-p 12345:12345 \
apache/dolphinscheduler:latest all

访问前端页面：http://192.168.xx.xx:12345/dolphinscheduler

或者运行dolphinscheduler中的部分服务

你能够运行dolphinscheduler中的部分服务。

创建一个 本地卷 用于资源存储，如下:

docker volume create dolphinscheduler-resource-local

启动一个 master server, 如下:

$ docker run -d --name dolphinscheduler-master \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
apache/dolphinscheduler:latest master-server

启动一个 worker server (包括 logger server), 如下:

$ docker run -d --name dolphinscheduler-worker \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-e ALERT_LISTEN_HOST="dolphinscheduler-alert" \
-v dolphinscheduler-resource-local:/dolphinscheduler \
apache/dolphinscheduler:latest worker-server

启动一个 api server, 如下:

$ docker run -d --name dolphinscheduler-api \
-e ZOOKEEPER_QUORUM="192.168.x.x:2181" \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
-v dolphinscheduler-resource-local:/dolphinscheduler \
-p 12345:12345 \
apache/dolphinscheduler:latest api-server

启动一个 alert server, 如下:

$ docker run -d --name dolphinscheduler-alert \
-e DATABASE_HOST="192.168.x.x" -e DATABASE_PORT="5432" -e DATABASE_DATABASE="dolphinscheduler" \
-e DATABASE_USERNAME="test" -e DATABASE_PASSWORD="test" \
apache/dolphinscheduler:latest alert-server

注意: 当你运行dolphinscheduler中的部分服务时，你必须指定这些环境变量 DATABASE_HOST DATABASE_PORT DATABASE_DATABASE DATABASE_USERNAME DATABASE_PASSWORD ZOOKEEPER_QUORUM。

如何构建一个docker镜像

你能够在类Unix系统和Windows系统中构建一个docker镜像。

类Unix系统, 如下:

$ cd path/incubator-dolphinscheduler
$ sh ./docker/build/hooks/build

Windows系统, 如下:

C:\incubator-dolphinscheduler>.\docker\build\hooks\build.bat

如果你不理解这些脚本 ./docker/build/hooks/build ./docker/build/hooks/build.bat，请阅读里面的内容。