You can not select more than 25 topics
Topics must start with a letter or number, can include dashes ('-') and can be up to 35 characters long.
1639 lines
175 KiB
1639 lines
175 KiB
|
|
<!DOCTYPE HTML> |
|
<html lang="zh-hans" > |
|
<head> |
|
<meta charset="UTF-8"> |
|
<meta content="text/html; charset=utf-8" http-equiv="Content-Type"> |
|
<title>使用手册 · 调度系统-EasyScheduler</title> |
|
<meta http-equiv="X-UA-Compatible" content="IE=edge" /> |
|
<meta name="description" content=""> |
|
<meta name="generator" content="GitBook 3.2.3"> |
|
<meta name="author" content="YIGUAN"> |
|
|
|
|
|
|
|
<link rel="stylesheet" href="../gitbook/style.css"> |
|
|
|
|
|
|
|
|
|
<link rel="stylesheet" href="../gitbook/gitbook-plugin-expandable-chapters/expandable-chapters.css"> |
|
|
|
|
|
|
|
<link rel="stylesheet" href="../gitbook/gitbook-plugin-insert-logo-link/plugin.css"> |
|
|
|
|
|
|
|
<link rel="stylesheet" href="../gitbook/gitbook-plugin-highlight/website.css"> |
|
|
|
|
|
|
|
<link rel="stylesheet" href="../gitbook/gitbook-plugin-search/search.css"> |
|
|
|
|
|
|
|
<link rel="stylesheet" href="../gitbook/gitbook-plugin-fontsettings/website.css"> |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
<link rel="stylesheet" href="../styles/website.css"> |
|
|
|
|
|
|
|
|
|
|
|
|
|
<meta name="HandheldFriendly" content="true"/> |
|
<meta name="viewport" content="width=device-width, initial-scale=1, user-scalable=no"> |
|
<meta name="apple-mobile-web-app-capable" content="yes"> |
|
<meta name="apple-mobile-web-app-status-bar-style" content="black"> |
|
<link rel="apple-touch-icon-precomposed" sizes="152x152" href="../gitbook/images/apple-touch-icon-precomposed-152.png"> |
|
<link rel="shortcut icon" href="../gitbook/images/favicon.ico" type="image/x-icon"> |
|
|
|
|
|
<link rel="next" href="guide-manual.html" /> |
|
|
|
|
|
<link rel="prev" href="guide-architecture.html" /> |
|
|
|
|
|
</head> |
|
<body> |
|
|
|
<div class="book"> |
|
<div class="book-summary"> |
|
|
|
|
|
<div id="book-search-input" role="search"> |
|
<input type="text" placeholder="输入并搜索" /> |
|
</div> |
|
|
|
|
|
<nav role="navigation"> |
|
|
|
|
|
|
|
<ul class="summary"> |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
<li class="chapter " data-level="1.1" data-path="../"> |
|
|
|
<a href="../"> |
|
|
|
|
|
Easyscheduler简介 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2" > |
|
|
|
<span> |
|
|
|
|
|
导读指南 |
|
|
|
</span> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.2.1" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html"> |
|
|
|
|
|
系统架构分析 |
|
|
|
</a> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.2.1.1" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#导语"> |
|
|
|
|
|
导语 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.2" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#背景"> |
|
|
|
|
|
背景 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.3" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#总架构设计"> |
|
|
|
|
|
总架构设计 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.4" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#中心化思想"> |
|
|
|
|
|
中心化思想 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.5" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#分布式锁实践"> |
|
|
|
|
|
分布式锁实践 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.6" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#线程不足循环等待问题"> |
|
|
|
|
|
线程不足循环等待问题 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.7" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#容错设计"> |
|
|
|
|
|
容错设计 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.8" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#日志访问"> |
|
|
|
|
|
Logback和gRPC实现日志访问 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.1.9" data-path="guide-architecture.html"> |
|
|
|
<a href="guide-architecture.html#总结"> |
|
|
|
|
|
总结 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
<li class="chapter active" data-level="1.2.2" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html"> |
|
|
|
|
|
使用手册 |
|
|
|
</a> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.2.2.1" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#登录"> |
|
|
|
|
|
登录 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.2.2" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#安全中心"> |
|
|
|
|
|
安全中心 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.2.3" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#资源中心"> |
|
|
|
|
|
资源中心 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.2.4" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#数据源中心"> |
|
|
|
|
|
数据源中心 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.2.5" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#项目管理"> |
|
|
|
|
|
项目管理 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.2.6" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#首页"> |
|
|
|
|
|
站点首页 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.2.7" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#任务依赖"> |
|
|
|
|
|
任务依赖 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.2.2.8" data-path="guide-manual.html"> |
|
|
|
<a href="guide-manual.html#系统参数"> |
|
|
|
|
|
系统参数 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3" > |
|
|
|
<span> |
|
|
|
|
|
项目部署文档 |
|
|
|
</span> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.3.1" data-path="deploy-foreground.html"> |
|
|
|
<a href="deploy-foreground.html"> |
|
|
|
|
|
前端部署 |
|
|
|
</a> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.3.1.1" data-path="deploy-foreground.html"> |
|
|
|
<a href="deploy-foreground.html#前端项目环境构建及编译"> |
|
|
|
|
|
前端项目环境构建及编译 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.1.2" data-path="deploy-foreground.html"> |
|
|
|
<a href="deploy-foreground.html#安装及配置"> |
|
|
|
|
|
安装及配置 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.1.3" data-path="deploy-foreground.html"> |
|
|
|
<a href="deploy-foreground.html#项目生产环境配置"> |
|
|
|
|
|
项目生产环境Nginx配置 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.1.4" data-path="deploy-foreground.html"> |
|
|
|
<a href="deploy-foreground.html#前端项目发布"> |
|
|
|
|
|
前端项目发布 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.1.5" data-path="deploy-foreground.html"> |
|
|
|
<a href="deploy-foreground.html#问题"> |
|
|
|
|
|
问题 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html"> |
|
|
|
|
|
后端部署 |
|
|
|
</a> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.3.2.1" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#基础软件安装"> |
|
|
|
|
|
基础软件安装 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.2" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#项目编译"> |
|
|
|
|
|
项目编译 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.3" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#数据库初始化"> |
|
|
|
|
|
数据库初始化 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.4" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#创建部署用户"> |
|
|
|
|
|
创建部署用户 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.5" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#配置文件"> |
|
|
|
|
|
配置文件 |
|
|
|
</a> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.3.2.5.1" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#escheduler-alert"> |
|
|
|
|
|
escheduler-alert |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.5.2" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#escheduler-common"> |
|
|
|
|
|
escheduler-common |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.5.3" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#escheduler-dao"> |
|
|
|
|
|
escheduler-dao |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.5.4" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#escheduler-server"> |
|
|
|
|
|
escheduler-server |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.5.5" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#escheduler-web"> |
|
|
|
|
|
escheduler-web |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.6" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#启动停止命令"> |
|
|
|
|
|
启动停止命令 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.7" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#一键启停脚本"> |
|
|
|
|
|
一键启停脚本 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.8" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#监控服务"> |
|
|
|
|
|
监控服务 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.3.2.9" data-path="deploy-background.html"> |
|
|
|
<a href="deploy-background.html#日志查看"> |
|
|
|
|
|
日志查看 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.4" > |
|
|
|
<span> |
|
|
|
|
|
前端开发文档 |
|
|
|
</span> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.4.1" data-path="foreground-2.html"> |
|
|
|
<a href="foreground-2.html"> |
|
|
|
|
|
安装 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
<li class="chapter " data-level="1.5" > |
|
|
|
<span> |
|
|
|
|
|
后端开发文档 |
|
|
|
</span> |
|
|
|
|
|
|
|
<ul class="articles"> |
|
|
|
|
|
<li class="chapter " data-level="1.5.1" data-path="background-2.html"> |
|
|
|
<a href="background-2.html"> |
|
|
|
|
|
后端说明2 |
|
|
|
</a> |
|
|
|
|
|
|
|
</li> |
|
|
|
|
|
</ul> |
|
|
|
</li> |
|
|
|
|
|
|
|
|
|
<li class="divider"></li> |
|
|
|
<li> |
|
<a href="https://www.gitbook.com" target="blank" class="gitbook-link"> |
|
本书使用 GitBook 发布 |
|
</a> |
|
</li> |
|
</ul> |
|
|
|
|
|
</nav> |
|
|
|
|
|
</div> |
|
|
|
<div class="book-body"> |
|
|
|
<div class="body-inner"> |
|
|
|
|
|
|
|
<div class="book-header" role="navigation"> |
|
|
|
|
|
<!-- Title --> |
|
<h1> |
|
<i class="fa fa-circle-o-notch fa-spin"></i> |
|
<a href=".." >使用手册</a> |
|
</h1> |
|
</div> |
|
|
|
|
|
|
|
|
|
<div class="page-wrapper" tabindex="-1" role="main"> |
|
<div class="page-inner"> |
|
|
|
<div id="book-search-results"> |
|
<div class="search-noresults"> |
|
|
|
<section class="normal markdown-section"> |
|
|
|
<h1 id="使用手册">使用手册</h1> |
|
<h2 id="登录">登录</h2> |
|
<h4 id="1输入http1921682202048888viewloginindexhtml-网址，输入用户名，密码登录-easyscheduler">1.输入<a href="http://192.168.220.204:8888/view/login/index.html" target="_blank">http://192.168.220.204:8888/view/login/index.html</a> 网址，输入用户名，密码登录 EasyScheduler</h4> |
|
<p><img src="../images/mal_1.png" alt="PNG"></p> |
|
<h4 id="2登录之后每个页面的右上角都有用户的身份标识。点击下拉箭头包含用户信息和退出两个按钮">2.登录之后每个页面的右上角都有用户的身份标识。点击下拉箭头包含用户信息和退出两个按钮</h4> |
|
<p><img src="../images/mal_2.png" alt="PNG"></p> |
|
<ul> |
|
<li><h4 id="点击用户信息按钮，如下图：">点击“用户信息”按钮，如下图：</h4> |
|
<img src="../images/mal_3.png" alt="PNG"></li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="点击修改按钮，修改用户信息">点击”修改”按钮，修改用户信息</h4> |
|
<p><img src="../images/mal_4.png" alt="PNG"></p> |
|
</li> |
|
<li><h4 id="点击退出按钮则退出系统，返回登录页面">点击退出按钮则退出系统，返回登录页面</h4> |
|
</li> |
|
</ul> |
|
<h2 id="安全中心">安全中心</h2> |
|
<blockquote> |
|
<pre><code>只有管理员才有安全中心，安全中心的主要功能是给管理员提供管理普通用户的功能。 |
|
管理员可以有多个，管理员是功能上的管理，不参与具体的业务。也就是说管理员是不能执行具体任务的。 |
|
</code></pre></blockquote> |
|
<h3 id="租户管理">租户管理</h3> |
|
<h4 id="租户是linux上的用户，用于作业的提交。">租户是Linux上的用户，用于作业的提交。</h4> |
|
<ul> |
|
<li><h4 id="创建、编辑租户">创建、编辑租户</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_5.png" alt="PNG"></p> |
|
<h5 id="租户编码：租户编码是linux上的用户，唯一，不能重复">租户编码：租户编码是Linux上的用户，唯一，不能重复</h5> |
|
<h5 id="租户名称：租户的名称">租户名称：租户的名称</h5> |
|
<h5 id="队列：租户对应的yarn上的队列，在数据库-teschedulerqueue-中设置">队列：租户对应的YARN上的队列，在数据库 t_escheduler_queue 中设置</h5> |
|
<h5 id="描述：租户的描述信息">描述：租户的描述信息</h5> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h3 id="用户管理">用户管理</h3> |
|
<h4 id="用户是easyscheduler上的用户，用于easyscheduler上的功能操作。">用户是EasyScheduler上的用户，用于EasyScheduler上的功能操作。</h4> |
|
<ul> |
|
<li><h4 id="创建、编辑用户">创建、编辑用户</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_6.png" alt="PNG"></p> |
|
<h5 id="用户名称：用户的名称，唯一，不能重复">用户名称：用户的名称，唯一，不能重复</h5> |
|
<h5 id="租户：设置该用户所属的租户">租户：设置该用户所属的租户</h5> |
|
<h5 id="邮箱：输入用户的邮箱，用来邮件发送和任务告警">邮箱：输入用户的邮箱，用来邮件发送和任务告警</h5> |
|
<h5 id="手机：输入用户的手机号">手机：输入用户的手机号</h5> |
|
<h4 id="注意：如果该用户切换了租户，则该用户所在租户下所有资源将复制到切换的新租户下">注意：如果该用户切换了租户，则该用户所在租户下所有资源将复制到切换的新租户下</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="授权">授权</h4> |
|
</li> |
|
</ul> |
|
<h5 id="管理员可以对普通用户进行非其创建的项目、资源、数据源和udf函数进行授权。因为项目、资源、数据源和udf函数授权方式都是一样的，所以以项目授权为例介绍。">管理员可以对普通用户进行非其创建的项目、资源、数据源和UDF函数进行授权。因为项目、资源、数据源和UDF函数授权方式都是一样的，所以以项目授权为例介绍。</h5> |
|
<h4 id="1点击指定人的授权按钮，如下图：">1.点击指定人的授权按钮，如下图：</h4> |
|
<p><img src="../images/mal_7.png" alt="PNG"></p> |
|
<h4 id="2选中项目按钮，进行项目授权">2.选中项目按钮，进行项目授权</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_8.png" alt="PNG"></p> |
|
<h4 id="项目列表：是该用户未授权的项目">项目列表：是该用户未授权的项目</h4> |
|
<h4 id="已选项目：是该用户已授权的项目。">已选项目：是该用户已授权的项目。</h4> |
|
<h4 id="特别注意：对于用户自己创建的项目，该用户拥有所有的权限。则项目列表和已选项目列表中不会体现。">特别注意：对于用户自己创建的项目，该用户拥有所有的权限。则项目列表和已选项目列表中不会体现。</h4> |
|
</blockquote> |
|
<h3 id="告警组管理">告警组管理</h3> |
|
<h4 id="告警组是告警用户抽象出来的组，使用告警组来管理用户。">告警组是告警用户抽象出来的组，使用告警组来管理用户。</h4> |
|
<ul> |
|
<li><h4 id="新建、编辑邮件组">新建、编辑邮件组</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_9.png" alt="PNG"></p> |
|
<h4 id="组名称：输入组的名称">组名称：输入组的名称</h4> |
|
<h4 id="组类型：支持邮件短信两种">组类型：支持邮件/短信两种</h4> |
|
<h4 id="备注：输入告警组的备注信息">备注：输入告警组的备注信息</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="管理用户">管理用户</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_10.png" alt="PNG"></p> |
|
<h4 id="管理用户列表：是未添加到该组的用户列表">管理用户列表：是未添加到该组的用户列表</h4> |
|
<h4 id="已选管理用户：是已添加到该组的用户列表">已选管理用户：是已添加到该组的用户列表</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h3 id="服务管理">服务管理</h3> |
|
<h4 id="服务管理是对easyscheduler的master、worker的任务监控">服务管理是对EasyScheduler的Master、Worker的任务监控</h4> |
|
<ul> |
|
<li><h4 id="master">Master</h4> |
|
<img src="../images/mal_11.png" alt="PNG"></li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="worker">Worker</h4> |
|
<img src="../images/mal_12.png" alt="PNG"></li> |
|
</ul> |
|
<h2 id="资源中心">资源中心</h2> |
|
<blockquote> |
|
<pre><code>资源中心主要分为文件管理和UDF函数管理。 |
|
文件管理：主要是用户的程序，脚本和配置文件需要上传到HDFS进行统一管理 |
|
UDF函数管理：对用户创建的UDF进行管理 |
|
</code></pre></blockquote> |
|
<h3 id="文件管理">文件管理</h3> |
|
<ul> |
|
<li><h4 id="创建文件">创建文件</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_13.png" alt="PNG"></p> |
|
<h4 id="文件格式支持以下几种类型：txt、log、sh、conf、cfg、py、java、sql、xml、hql">文件格式支持以下几种类型：txt、log、sh、conf、cfg、py、java、sql、xml、hql</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="上传文件">上传文件</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_14.png" alt="PNG"></p> |
|
<h4 id="文件名：输入文件的名称">文件名：输入文件的名称</h4> |
|
<h4 id="描述：输入文件的描述信息">描述：输入文件的描述信息</h4> |
|
<h4 id="上传文件：点击上传按钮进行上传，将文件拖拽到上传区域，文件名会自动以上传的文件名称补全">上传文件：点击上传按钮进行上传，将文件拖拽到上传区域，文件名会自动以上传的文件名称补全</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="文件查看">文件查看</h4> |
|
<blockquote> |
|
<h4 id="对可查看的文件类型，点击-文件名称-可以查看文件详情">对可查看的文件类型，点击 文件名称 可以查看文件详情</h4> |
|
<p><img src="../images/mal_15.png" alt="PNG"></p> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="下载文件">下载文件</h4> |
|
<blockquote> |
|
<h4 id="可以在-文件详情-中点击右上角下载按钮下载文件，或者在文件列表后的下载按钮下载文件">可以在 文件详情 中点击右上角下载按钮下载文件，或者在文件列表后的下载按钮下载文件</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="文件重命名">文件重命名</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_16.png" alt="PNG"></p> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="删除">删除</h4> |
|
<blockquote> |
|
<h4 id="文件列表，点击-删除-按钮，删除文件">文件列表，点击 删除 按钮，删除文件</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h3 id="udf管理">UDF管理</h3> |
|
<h3 id="资源管理">资源管理</h3> |
|
<h4 id="资源管理和文件管理功能类似，不同之处是资源管理是上传的udf函数，文件管理上传的是用户程序，脚本及配置文件">资源管理和文件管理功能类似，不同之处是资源管理是上传的UDF函数，文件管理上传的是用户程序，脚本及配置文件</h4> |
|
<h3 id="函数管理">函数管理</h3> |
|
<ul> |
|
<li><h4 id="创建、编辑udf函数">创建、编辑UDF函数</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_17.png" alt="PNG"></p> |
|
<h3 id="目前只支持hive的临时udf函数">目前只支持HIVE的临时UDF函数</h3> |
|
<h4 id="udf函数名称：输入udf函数时的名称">UDF函数名称：输入UDF函数时的名称</h4> |
|
<h4 id="包名类名：输入udf函数的全路径">包名类名：输入UDF函数的全路径</h4> |
|
<h4 id="参数：用来标注函数的输入参数">参数：用来标注函数的输入参数</h4> |
|
<h4 id="数据库名：预留字段，用于创建永久udf函数">数据库名：预留字段，用于创建永久UDF函数</h4> |
|
<h4 id="udf资源：设置创建的udf对应的资源文件">UDF资源：设置创建的UDF对应的资源文件</h4> |
|
<h4 id="使用说明：输入描述udf函数的使用">使用说明：输入描述UDF函数的使用</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h2 id="数据源中心">数据源中心</h2> |
|
<blockquote> |
|
<pre><code>数据源中心支持MySQL、POSTGRESQL、HIVE及Spark数据源 |
|
</code></pre></blockquote> |
|
<ul> |
|
<li><h4 id="创建、编辑mysql数据源">创建、编辑MySQL数据源</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_18.png" alt="PNG"></p> |
|
<h4 id="数据源：选择mysql">数据源：选择MYSQL</h4> |
|
<h4 id="数据源名称：输入数据源的名称">数据源名称：输入数据源的名称</h4> |
|
<h4 id="描述：输入数据源的描述">描述：输入数据源的描述</h4> |
|
<h4 id="ip主机名：输入连接mysql的ip">IP/主机名：输入连接MySQL的IP</h4> |
|
<h4 id="端口：输入连接mysql的端口">端口：输入连接MySQL的端口</h4> |
|
<h4 id="用户名：设置连接mysql的用户名">用户名：设置连接MySQL的用户名</h4> |
|
<h4 id="密码：设置连接mysql的密码">密码：设置连接MySQL的密码</h4> |
|
<h4 id="数据库名：输入连接mysql的数据库名称">数据库名：输入连接MySQL的数据库名称</h4> |
|
<h4 id="jdbc连接参数：用于mysql连接的参数设置，以json形式填写">Jdbc连接参数：用于MySQL连接的参数设置，以JSON形式填写</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="创建、编辑postgresql数据源">创建、编辑POSTGRESQL数据源</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_19.png" alt="PNG"></p> |
|
<h4 id="数据源：选择postgresql">数据源：选择POSTGRESQL</h4> |
|
<h4 id="数据源名称：输入数据源的名称">数据源名称：输入数据源的名称</h4> |
|
<h4 id="描述：输入数据源的描述">描述：输入数据源的描述</h4> |
|
<h4 id="ip主机名：输入连接postgresql的ip">IP/主机名：输入连接POSTGRESQL的IP</h4> |
|
<h4 id="端口：输入连接postgresql的端口">端口：输入连接POSTGRESQL的端口</h4> |
|
<h4 id="用户名：设置连接postgresql的用户名">用户名：设置连接POSTGRESQL的用户名</h4> |
|
<h4 id="密码：设置连接postgresql的密码">密码：设置连接POSTGRESQL的密码</h4> |
|
<h4 id="数据库名：输入连接postgresql的数据库名称">数据库名：输入连接POSTGRESQL的数据库名称</h4> |
|
<h4 id="jdbc连接参数：用于postgresql连接的参数设置，以json形式填写">Jdbc连接参数：用于POSTGRESQL连接的参数设置，以JSON形式填写</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="创建、编辑hive数据源">创建、编辑HIVE数据源</h4> |
|
<h4 id="1使用hiveserver2方式连接">1.使用HiveServer2方式连接</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_20.png" alt="PNG"></p> |
|
<h4 id="数据源：选择hive">数据源：选择HIVE</h4> |
|
<h4 id="数据源名称：输入数据源的名称">数据源名称：输入数据源的名称</h4> |
|
<h4 id="描述：输入数据源的描述">描述：输入数据源的描述</h4> |
|
<h4 id="ip主机名：输入连接hive的ip">IP/主机名：输入连接HIVE的IP</h4> |
|
<h4 id="端口：输入连接hive的端口">端口：输入连接HIVE的端口</h4> |
|
<h4 id="用户名：设置连接hive的用户名">用户名：设置连接HIVE的用户名</h4> |
|
<h4 id="密码：设置连接hive的密码">密码：设置连接HIVE的密码</h4> |
|
<h4 id="数据库名：输入连接hive的数据库名称">数据库名：输入连接HIVE的数据库名称</h4> |
|
<h4 id="jdbc连接参数：用于hive连接的参数设置，以json形式填写">Jdbc连接参数：用于HIVE连接的参数设置，以JSON形式填写</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h4 id="2使用hiveserver2-ha-zookeeper方式连接">2.使用HiveServer2 HA Zookeeper方式连接</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_21.png" alt="PNG"></p> |
|
<h4 id="数据源：选择hive">数据源：选择HIVE</h4> |
|
<h4 id="数据源名称：输入数据源的名称">数据源名称：输入数据源的名称</h4> |
|
<h4 id="描述：输入数据源的描述">描述：输入数据源的描述</h4> |
|
<h4 id="ip主机名：输入连接zookeeper的集群">IP/主机名：输入连接Zookeeper的集群</h4> |
|
<h4 id="端口：输入连接zookeeper的端口">端口：输入连接Zookeeper的端口</h4> |
|
<h4 id="用户名：设置连接hive的用户名">用户名：设置连接HIVE的用户名</h4> |
|
<h4 id="密码：设置连接hive的密码">密码：设置连接HIVE的密码</h4> |
|
<h4 id="数据库名：输入连接hive的数据库名称">数据库名：输入连接HIVE的数据库名称</h4> |
|
<h4 id="jdbc连接参数：用于zookeeper连接的参数设置，以json形式填写">Jdbc连接参数：用于Zookeeper连接的参数设置，以JSON形式填写</h4> |
|
</blockquote> |
|
<ul> |
|
<li><h4 id="创建、编辑spark数据源">创建、编辑Spark数据源</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_22.png" alt="PNG"></p> |
|
<h4 id="数据源：选择spark">数据源：选择Spark</h4> |
|
<h4 id="数据源名称：输入数据源的名称">数据源名称：输入数据源的名称</h4> |
|
<h4 id="描述：输入数据源的描述">描述：输入数据源的描述</h4> |
|
<h4 id="ip主机名：输入连接spark的ip">IP/主机名：输入连接Spark的IP</h4> |
|
<h4 id="端口：输入连接spark的端口">端口：输入连接Spark的端口</h4> |
|
<h4 id="用户名：设置连接spark的用户名">用户名：设置连接Spark的用户名</h4> |
|
<h4 id="密码：设置连接spark的密码">密码：设置连接Spark的密码</h4> |
|
<h4 id="数据库名：输入连接spark的数据库名称">数据库名：输入连接Spark的数据库名称</h4> |
|
<h4 id="jdbc连接参数：用于spark连接的参数设置，以json形式填写">Jdbc连接参数：用于Spark连接的参数设置，以JSON形式填写</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h2 id="项目管理">项目管理</h2> |
|
<blockquote> |
|
<pre><code>项目是调度对用户流程定义DAG分组的一个抽象 |
|
</code></pre></blockquote> |
|
<ul> |
|
<li><h4 id="创建、编辑项目">创建、编辑项目</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_23.png" alt="PNG"></p> |
|
<h4 id="项目名称：输入项目的名称">项目名称：输入项目的名称</h4> |
|
<h4 id="描述：输入项目的描述">描述：输入项目的描述</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h3 id="项目首页">项目首页</h3> |
|
<h4 id="点击项目列表中的项目名称，可以跳转到指定的项目首页，如下图：">点击项目列表中的项目名称，可以跳转到指定的项目首页，如下图：</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_24.png" alt="PNG"></p> |
|
<h4 id="项目首页其中包含四个部分，任务状态统计，流程状态统计、流程定义统计及统计的时间范围">项目首页其中包含四个部分，任务状态统计，流程状态统计、流程定义统计及统计的时间范围</h4> |
|
<h4 id="任务状态统计：是指在指定时间范围内，统计任务实例中的待运行、失败、运行中、完成、成功的个数">任务状态统计：是指在指定时间范围内，统计任务实例中的待运行、失败、运行中、完成、成功的个数</h4> |
|
<h4 id="流程状态统计：是指在指定时间范围内，统计流程实例中的待运行、失败、运行中、完成、成功的个数">流程状态统计：是指在指定时间范围内，统计流程实例中的待运行、失败、运行中、完成、成功的个数</h4> |
|
<h4 id="流程定义统计：是统计该用户创建的流程定义及管理员授予该用户的流程定义">流程定义统计：是统计该用户创建的流程定义及管理员授予该用户的流程定义</h4> |
|
<h4 id="注意：可以点击图，或者数量跳转到相应的任务实例，流程实例和流程定义列表">注意：可以点击图，或者数量跳转到相应的任务实例，流程实例和流程定义列表</h4> |
|
</blockquote> |
|
<h3 id="工作流">工作流</h3> |
|
<blockquote> |
|
<pre><code>工作流下分为流程定义、流程实例和任务实例三个功能模块 |
|
流程定义：是可视化拖拽成的DAG的统称，它是静态的，没有状态 |
|
流程实例：对流程定义的每次实例化会生成一个流程实例，是动态的，是有状态的 |
|
任务实例：流程实例DAG中每个Task称为任务实例，是动态的，是有状态的 |
|
</code></pre></blockquote> |
|
<h3 id="流程定义">流程定义</h3> |
|
<ul> |
|
<li><h4 id="创建工作流">创建工作流</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_25.png" alt="PNG"></p> |
|
<h4 id="左侧工具栏--是目前调度支持的任务类型，当前调度支持shell、子流程、存储过程、sql、mr、spark和python七种任务类型">左侧工具栏 => 是目前调度支持的任务类型，当前调度支持SHELL、子流程、存储过程、SQL、MR、Spark和Python七种任务类型</h4> |
|
<h4 id="右上角图标--分别是拖动节点和选中项、选择线条连线、删除选中的线或节点、全屏和流程定义保持，其主要功能是dag的绘制所用">右上角图标 => 分别是拖动节点和选中项、选择线条连线、删除选中的线或节点、全屏和流程定义保持，其主要功能是DAG的绘制所用</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="1创建-shell节点">1.创建 SHELL节点</h4> |
|
<blockquote> |
|
<h4 id="拖动工具栏中的任务节点到画板中，双击任务节点，如下图：">拖动工具栏中的<img src="../images/mal_26.png" alt="PNG">任务节点到画板中，双击任务节点，如下图：</h4> |
|
<p><img src="../images/mal_27.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="失败重试次数：任务失败重新提交的次数，支持下拉和手填">失败重试次数：任务失败重新提交的次数，支持下拉和手填</h4> |
|
<h4 id="失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填">失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填</h4> |
|
<h4 id="脚本：用户开发的shell程序">脚本：用户开发的SHELL程序</h4> |
|
<h4 id="资源：是指脚本中需要调用的资源文件列表">资源：是指脚本中需要调用的资源文件列表</h4> |
|
<h4 id="自定义参数：是shell局部的用户自定义参数，会替换脚本中以变量的内容">自定义参数：是SHELL局部的用户自定义参数，会替换脚本中以${变量}的内容</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="2创建-子流程-节点">2.创建 子流程 节点</h4> |
|
<blockquote> |
|
<h4 id="拖动工具栏中的任务节点到画板中，双击任务节点，如下图：">拖动工具栏中的<img src="../images/mal_28.png" alt="PNG">任务节点到画板中，双击任务节点，如下图：</h4> |
|
<p><img src="../images/mal_29.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="子节点：是选择子流程的流程定义，右上角进入该子节点可以跳转到所选子流程的流程定义">子节点：是选择子流程的流程定义，右上角进入该子节点可以跳转到所选子流程的流程定义</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="3创建-存储过程-节点">3.创建 存储过程 节点</h4> |
|
<blockquote> |
|
<h4 id="拖动工具栏中的任务节点到画板中，双击任务节点，如下图：">拖动工具栏中的<img src="../images/mal_30.png" alt="PNG">任务节点到画板中，双击任务节点，如下图：</h4> |
|
<p><img src="../images/mal_31.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="失败重试次数：任务失败重新提交的次数，支持下拉和手填">失败重试次数：任务失败重新提交的次数，支持下拉和手填</h4> |
|
<h4 id="失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填">失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填</h4> |
|
<h4 id="数据源：存储过程的数据源类型支持mysql和postgresql两种，选择对应的数据源">数据源：存储过程的数据源类型支持MySQL和POSTGRESQL两种，选择对应的数据源</h4> |
|
<h4 id="方法：是存储过程的方法名称">方法：是存储过程的方法名称</h4> |
|
<h4 id="自定义参数：存储过程的自定义参数类型支持in、out两种，数据类型支持varchar、integer、long、float、double、date、time、timestamp、boolean九种数据类型">自定义参数：存储过程的自定义参数类型支持IN、OUT两种，数据类型支持VARCHAR、INTEGER、LONG、FLOAT、DOUBLE、DATE、TIME、TIMESTAMP、BOOLEAN九种数据类型</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="4创建-sql-节点">4.创建 SQL 节点</h4> |
|
<blockquote> |
|
<h4 id="拖动工具栏中的任务节点到画板中，双击任务节点，如下图：">拖动工具栏中的<img src="../images/mal_32.png" alt="PNG">任务节点到画板中，双击任务节点，如下图：</h4> |
|
<p><img src="../images/mal_33.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="失败重试次数：任务失败重新提交的次数，支持下拉和手填">失败重试次数：任务失败重新提交的次数，支持下拉和手填</h4> |
|
<h4 id="失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填">失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填</h4> |
|
<h4 id="数据源：sql数据源支持mysql、postgresql、hive和spark四中数据源类型，选择对应的数据源">数据源：SQL数据源支持MySQL、POSTGRESQL、HIVE和Spark四中数据源类型，选择对应的数据源</h4> |
|
<h4 id="sql类型：支持查询和非查询两种，查询是select类型的查询，是有结果集返回的，可以指定邮件通知为表格、附件或表格附件三种模板。非查询是没有结果集返回的，是针对update、delete、insert三种类型的操作">sql类型：支持查询和非查询两种，查询是select类型的查询，是有结果集返回的，可以指定邮件通知为表格、附件或表格附件三种模板。非查询是没有结果集返回的，是针对update、delete、insert三种类型的操作</h4> |
|
<h4 id="sql参数：输入参数格式为key1value1key2value2">sql参数：输入参数格式为key1=value1;key2=value2…</h4> |
|
<h4 id="sql语句：sql语句">sql语句：SQL语句</h4> |
|
<h4 id="udf函数：对于hive类型的数据源，可以引用资源中心中创建的udf函数其他类型的数据源暂不支持udf函数">UDF函数：对于HIVE类型的数据源，可以引用资源中心中创建的UDF函数,其他类型的数据源暂不支持UDF函数</h4> |
|
<h4 id="自定义参数：sql任务类型自定义参数类型和数据类型同存储过程任务类型一样。区别在于sql任务类型自定义参数会替换sql语句中变量，而存储过程是自定义参数顺序的给方法设置值">自定义参数：SQL任务类型自定义参数类型和数据类型同存储过程任务类型一样。区别在于SQL任务类型自定义参数会替换sql语句中${变量}，而存储过程是自定义参数顺序的给方法设置值</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="4创建-mr-节点">4.创建 MR 节点</h4> |
|
<blockquote> |
|
<h4 id="拖动工具栏中的任务节点到画板中，双击任务节点，如下图：">拖动工具栏中的<img src="../images/mal_34.png" alt="PNG">任务节点到画板中，双击任务节点，如下图：</h4> |
|
<h4 id="1-java程序">(1) JAVA程序</h4> |
|
<p><img src="../images/mal_35.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="失败重试次数：任务失败重新提交的次数，支持下拉和手填">失败重试次数：任务失败重新提交的次数，支持下拉和手填</h4> |
|
<h4 id="失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填">失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填</h4> |
|
<h4 id="主函数的class：是mr程序的入口main-class的全路径">主函数的class：是MR程序的入口Main Class的全路径</h4> |
|
<h4 id="程序类型：选择java语言">程序类型：选择JAVA语言</h4> |
|
<h4 id="主jar包：是mr的jar包">主jar包：是MR的jar包</h4> |
|
<h4 id="命令行参数：是设置mr程序的输入参数，支持自定义参数变量的替换">命令行参数：是设置MR程序的输入参数，支持自定义参数变量的替换</h4> |
|
<h4 id="其他参数：支持-–d、-files、-libjars、-archives格式">其他参数：支持 –D、-files、-libjars、-archives格式</h4> |
|
<h4 id="资源：-如果其他参数中引用了资源文件，需要在资源中选择指定">资源： 如果其他参数中引用了资源文件，需要在资源中选择指定</h4> |
|
<h4 id="自定义参数：是mr局部的用户自定义参数，会替换脚本中以变量的内容">自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
<h4 id="2-python程序">(2) Python程序</h4> |
|
<p><img src="../images/mal_36.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="失败重试次数：任务失败重新提交的次数，支持下拉和手填">失败重试次数：任务失败重新提交的次数，支持下拉和手填</h4> |
|
<h4 id="失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填">失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填</h4> |
|
<h4 id="程序类型：选择python语言">程序类型：选择Python语言</h4> |
|
<h4 id="主jar包：是运行mr的python-jar包">主jar包：是运行MR的Python jar包</h4> |
|
<h4 id="其他参数：支持-–d、-mapper、-reducer、-input---output格式，这里可以设置用户自定义参数的输入，比如：">其他参数：支持 –D、-mapper、-reducer、-input -output格式，这里可以设置用户自定义参数的输入，比如：</h4> |
|
<h4 id="mapper--mapperpy-1---file-mapperpy----reducer-reducerpy---file-reducerpy-–input-journeywordstxt--output-journeyoutmrcurrenttimemillis">-mapper "mapper.py 1" -file mapper.py -reducer reducer.py -file reducer.py –input /journey/words.txt -output /journey/out/mr/${currentTimeMillis}</h4> |
|
<h4 id="其中--mapper-后的-mapperpy-1是两个参数，第一个参数是mapperpy，第二个参数是1">其中 -mapper 后的 mapper.py 1是两个参数，第一个参数是mapper.py，第二个参数是1</h4> |
|
<h4 id="资源：-如果其他参数中引用了资源文件，需要在资源中选择指定">资源： 如果其他参数中引用了资源文件，需要在资源中选择指定</h4> |
|
<h4 id="自定义参数：是mr局部的用户自定义参数，会替换脚本中以变量的内容">自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="4创建-spark-节点">4.创建 Spark 节点</h4> |
|
<blockquote> |
|
<h4 id="拖动工具栏中的任务节点到画板中，双击任务节点，如下图：">拖动工具栏中的<img src="../images/mal_37.png" alt="PNG">任务节点到画板中，双击任务节点，如下图：</h4> |
|
<p><img src="../images/mal_38.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="失败重试次数：任务失败重新提交的次数，支持下拉和手填">失败重试次数：任务失败重新提交的次数，支持下拉和手填</h4> |
|
<h4 id="失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填">失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填</h4> |
|
<h4 id="程序类型：支持java、scala和python三种语言">程序类型：支持JAVA、Scala和Python三种语言</h4> |
|
<h4 id="主函数的class：是spark程序的入口main-class的全路径">主函数的class：是Spark程序的入口Main Class的全路径</h4> |
|
<h4 id="主jar包：是spark的jar包">主jar包：是Spark的jar包</h4> |
|
<h4 id="部署方式：支持yarn-cluster、yarn-client、和local三种模式">部署方式：支持yarn-cluster、yarn-client、和local三种模式</h4> |
|
<h4 id="driver内核数：可以设置driver内核数及内存数">Driver内核数：可以设置Driver内核数及内存数</h4> |
|
<h4 id="executor数量：可以设置executor数量、executor内存数和executor内核数">Executor数量：可以设置Executor数量、Executor内存数和Executor内核数</h4> |
|
<h4 id="命令行参数：是设置spark程序的输入参数，支持自定义参数变量的替换。">命令行参数：是设置Spark程序的输入参数，支持自定义参数变量的替换。</h4> |
|
<h4 id="其他参数：支持---jars、--files、--archives、--conf格式">其他参数：支持 --jars、--files、--archives、--conf格式</h4> |
|
<h4 id="资源：如果其他参数中引用了资源文件，需要在资源中选择指定">资源：如果其他参数中引用了资源文件，需要在资源中选择指定</h4> |
|
<h4 id="自定义参数：是mr局部的用户自定义参数，会替换脚本中以变量的内容">自定义参数：是MR局部的用户自定义参数，会替换脚本中以${变量}的内容</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
<h3 id="注意：java和scala只是用来标识，没有区别，如果是python开发的spark则没有主函数的class，其他都是一样">注意：JAVA和Scala只是用来标识，没有区别，如果是Python开发的Spark则没有主函数的class，其他都是一样</h3> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="4创建-python-节点">4.创建 Python 节点</h4> |
|
<blockquote> |
|
<h4 id="拖动工具栏中的任务节点到画板中，双击任务节点，如下图：">拖动工具栏中的<img src="../images/mal_39.png" alt="PNG">任务节点到画板中，双击任务节点，如下图：</h4> |
|
<p><img src="../images/mal_40.png" alt="PNG"></p> |
|
<h4 id="节点名称：一个流程定义中的节点名称是唯一的">节点名称：一个流程定义中的节点名称是唯一的</h4> |
|
<h4 id="运行标志：标识这个节点是否能正常调度">运行标志：标识这个节点是否能正常调度</h4> |
|
<h4 id="描述信息：描述该节点的功能">描述信息：描述该节点的功能</h4> |
|
<h4 id="失败重试次数：任务失败重新提交的次数，支持下拉和手填">失败重试次数：任务失败重新提交的次数，支持下拉和手填</h4> |
|
<h4 id="失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填">失败重试间隔：任务失败重新提交任务的时间间隔，支持下拉和手填</h4> |
|
<h4 id="脚本：用户开发的python程序">脚本：用户开发的Python程序</h4> |
|
<h4 id="资源：是指脚本中需要调用的资源文件列表">资源：是指脚本中需要调用的资源文件列表</h4> |
|
<h4 id="自定义参数：是python局部的用户自定义参数，会替换脚本中以变量的内容">自定义参数：是Python局部的用户自定义参数，会替换脚本中以${变量}的内容</h4> |
|
<h4 id="任务依赖：请参考任务依赖讲解">任务依赖：请参考任务依赖讲解</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h3 id="流程定义操作">流程定义操作</h3> |
|
<h4 id="流程定义列表">流程定义列表</h4> |
|
<p><img src="../images/mal_41.png" alt="PNG"></p> |
|
</li> |
|
<li><h4 id="1编辑保存">1.编辑/保存</h4> |
|
<blockquote> |
|
<h4 id="对下线状态的流程定义，用户可对dag进行编辑">对下线状态的流程定义，用户可对DAG进行编辑</h4> |
|
<p><img src="../images/mal_42.png" alt="PNG"></p> |
|
<h4 id="在保存流程定义的时候可以设置全局参数，局部参数可以使用变量的方式引用全局参数">在保存流程定义的时候可以设置全局参数，局部参数可以使用${变量}的方式引用全局参数</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="2启动">2.启动</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_43.png" alt="PNG"></p> |
|
<h4 id="失败策略：继续是如果有失败的任务节点，其他并行的任务节点将继续执行。结束是如果有失的败节点，其他并行任的务节点将被kill掉">失败策略：继续是如果有失败的任务节点，其他并行的任务节点将继续执行。结束是如果有失的败节点，其他并行任的务节点将被Kill掉</h4> |
|
<h4 id="通知策略：都不发、成功发、失败发、成功或失败都发四种策略">通知策略：都不发、成功发、失败发、成功或失败都发四种策略</h4> |
|
<h4 id="通知组：是通知用户所属的组">通知组：是通知用户所属的组</h4> |
|
<h4 id="收件人：邮件收件人列表">收件人：邮件收件人列表</h4> |
|
<h4 id="抄送人：邮件抄送人列表">抄送人：邮件抄送人列表</h4> |
|
<h4 id="补数：是对流程进行历史的补数，支持区间补数和某一天的补数，如下图：">补数：是对流程进行历史的补数，支持区间补数和某一天的补数，如下图：</h4> |
|
<p><img src="../images/mal_44.png" alt="PNG"></p> |
|
<h4 id="执行方式：补数可以以串行执行或并行执行，串行执行是流程实例列表以队列的形式逐个提交执行，并行执行是流程实例列表并发形式的提交执行">执行方式：补数可以以串行执行或并行执行，串行执行是流程实例列表以队列的形式逐个提交执行，并行执行是流程实例列表并发形式的提交执行</h4> |
|
<h4 id="时间：选择指定的补数时间区间，此时业务时间为补数时间，如果起始时间和结束时间相等，则为某一天的补数，否则为区间补数。关于系统参数，请参考系统参数的讲解">时间：选择指定的补数时间区间，此时业务时间为补数时间，如果起始时间和结束时间相等，则为某一天的补数，否则为区间补数。关于系统参数，请参考系统参数的讲解</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="3定时">3.定时</h4> |
|
<blockquote> |
|
<h4 id="流程定义可以设置定时，周期性的跑作业。如下图：">流程定义可以设置定时，周期性的跑作业。如下图：</h4> |
|
<p><img src="../images/mal_45.png" alt="PNG"></p> |
|
<h4 id="起止时间：选择该定时的有效时间范围">起止时间：选择该定时的有效时间范围</h4> |
|
<h4 id="定时：可视化定时，设置相应的定时">定时：可视化定时，设置相应的定时</h4> |
|
<p><img src="../images/mal_46.png" alt="PNG"></p> |
|
<h4 id="失败策略：继续是如果有失败的任务节点，其他并行的任务节点将继续执行。结束是如果有失的败节点，其他并行任的务节点将被kill掉">失败策略：继续是如果有失败的任务节点，其他并行的任务节点将继续执行。结束是如果有失的败节点，其他并行任的务节点将被Kill掉</h4> |
|
<h4 id="通知策略：都不发、成功发、失败发、成功或失败都发四种策略">通知策略：都不发、成功发、失败发、成功或失败都发四种策略</h4> |
|
<h4 id="通知组：是通知用户所属的组">通知组：是通知用户所属的组</h4> |
|
<h4 id="收件人：邮件收件人列表">收件人：邮件收件人列表</h4> |
|
<h4 id="抄送人：邮件抄送人列表">抄送人：邮件抄送人列表</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="4上线下线">4.上线/下线</h4> |
|
<blockquote> |
|
<h4 id="流程定义有两个状态：上线和下线。只有上线的流程才能启动或调度，下线的流程用来编辑">流程定义有两个状态：上线和下线。只有上线的流程才能启动或调度，下线的流程用来编辑</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="5定时管理">5.定时管理</h4> |
|
<blockquote> |
|
<h4 id="一个流程定义可以添加1个定时，定时管理是对一个流程定义上的定时的修改，只有上线的定时才是有效的定时">一个流程定义可以添加1个定时，定时管理是对一个流程定义上的定时的修改，只有上线的定时才是有效的定时</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="6指定节点启动">6.指定节点启动</h4> |
|
<blockquote> |
|
<h4 id="对流程定义可以选择节点右击-指定节点启动，如下图：">对流程定义可以选择节点右击 指定节点启动，如下图：</h4> |
|
<p><img src="../images/mal_47.png" alt="PNG"></p> |
|
<h4 id="启动前可以设置若干参数，如下图：">启动前可以设置若干参数，如下图：</h4> |
|
<p><img src="../images/mal_48.png" alt="PNG"></p> |
|
<h4 id="失败策略：继续是如果有失败的任务节点，其他并行的任务节点将继续执行。结束是如果有失的败节点，其他并行任的务节点将被kill掉">失败策略：继续是如果有失败的任务节点，其他并行的任务节点将继续执行。结束是如果有失的败节点，其他并行任的务节点将被Kill掉</h4> |
|
<h4 id="节点执行：节点执行模式有三种，分别为向后执行、向前执行和仅执行当前节点">节点执行：节点执行模式有三种，分别为向后执行、向前执行和仅执行当前节点</h4> |
|
<h4 id="向后执行是从指定节点向后执行，一直到后续节点不能继续执行为止。向前执行是从开始节点到指定的节点区间执行。仅执行当前节点是只执行指定的节点">向后执行是从指定节点向后执行，一直到后续节点不能继续执行为止。向前执行是从开始节点到指定的节点区间执行。仅执行当前节点是只执行指定的节点</h4> |
|
<h4 id="通知策略：都不发、成功发、失败发、成功或失败都发四种策略">通知策略：都不发、成功发、失败发、成功或失败都发四种策略</h4> |
|
<h4 id="通知组：是通知用户所属的组">通知组：是通知用户所属的组</h4> |
|
<h4 id="收件人：邮件收件人列表">收件人：邮件收件人列表</h4> |
|
<h4 id="抄送人：邮件抄送人列表">抄送人：邮件抄送人列表</h4> |
|
<h4 id="补数：见流程定义-启动">补数：见流程定义 启动</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="7treeview">7.TreeView</h4> |
|
<blockquote> |
|
<h4 id="用来显示某个流程定义跑过的流程实例及任务实例的状态">用来显示某个流程定义跑过的流程实例及任务实例的状态</h4> |
|
<p><img src="../images/mal_49.png" alt="PNG"></p> |
|
<h4 id="左侧是流程定义-dag-tree的展示，非叶子节点有展开和收缩的功能。右边是流程实例的集合，每一列都是流程定义的一次调度，圆点表示的是流程实例的状态，方块表示的是任务实例的状态。如果是子流程，可以通过任务实例跳转到相应的子流程">左侧是流程定义 DAG Tree的展示，非叶子节点有展开和收缩的功能。右边是流程实例的集合，每一列都是流程定义的一次调度，圆点表示的是流程实例的状态，方块表示的是任务实例的状态。如果是子流程，可以通过任务实例跳转到相应的子流程</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h3 id="流程实例">流程实例</h3> |
|
<h4 id="流程实例是流程定义的实例化">流程实例是流程定义的实例化</h4> |
|
<ul> |
|
<li><h4 id="1流程实例列表">1.流程实例列表</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_50.png" alt="PNG"></p> |
|
</blockquote> |
|
</li> |
|
<li><h4 id="工作流名称：是根据流程定义名称外加一个随机数">工作流名称：是根据流程定义名称外加一个随机数</h4> |
|
</li> |
|
<li><h4 id="运行类型：包括启动工作流、从当前节点开始执行、恢复被容错的工作流、恢复暂停流程、从失败节点开始执行、补数、调度执行、重跑、暂停、停止、恢复等待线程的流程">运行类型：包括启动工作流、从当前节点开始执行、恢复被容错的工作流、恢复暂停流程、从失败节点开始执行、补数、调度执行、重跑、暂停、停止、恢复等待线程的流程</h4> |
|
</li> |
|
<li><h4 id="开始时间：流程实例运行的开始时间">开始时间：流程实例运行的开始时间</h4> |
|
</li> |
|
<li><h4 id="结束时间：流程实例运行的结束时间">结束时间：流程实例运行的结束时间</h4> |
|
</li> |
|
<li><h4 id="运行时长秒：结束时间减去开始时间">运行时长(秒)：结束时间减去开始时间</h4> |
|
</li> |
|
<li><h4 id="运行次数：流程实例运行的次数-，对于重跑流程实例的记录">运行次数：流程实例运行的次数 ，对于重跑流程实例的记录</h4> |
|
</li> |
|
<li><h4 id="host：标识流程实例调度的机器ip">host：标识流程实例调度的机器ip</h4> |
|
</li> |
|
<li><h4 id="容错：流程实例是否被容错过">容错：流程实例是否被容错过</h4> |
|
</li> |
|
<li><h4 id="状态：流程实例最终运行的状态">状态：流程实例最终运行的状态</h4> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="2编辑保存">2.编辑/保存</h4> |
|
<blockquote> |
|
<h4 id="对于终态的流程实例，可以进行编辑保存。终态是流程实例最终的状态为成功、失败、暂停或停止四个状态。">对于终态的流程实例，可以进行编辑保存。终态是流程实例最终的状态为成功、失败、暂停或停止四个状态。</h4> |
|
<p><img src="../images/mal_51.png" alt="PNG"></p> |
|
<h4 id="是否更新流程定义：-如果checkbox勾选，表示流程实例的修改会更新流程定义">是否更新流程定义： 如果checkbox勾选，表示流程实例的修改会更新流程定义</h4> |
|
<h4 id="如果不勾选，表示只编辑本次流程实例">如果不勾选，表示只编辑本次流程实例</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="3重跑">3.重跑</h4> |
|
<blockquote> |
|
<h4 id="重跑是在不生成新的流程实例情况下，重新跑任务实例">重跑是在不生成新的流程实例情况下，重新跑任务实例</h4> |
|
<h3 id="特别注意：重跑时系统参数已经固化了，系统参数不会随着时间改变而改变">特别注意：重跑时系统参数已经固化了，系统参数不会随着时间改变而改变</h3> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="4恢复失败">4.恢复失败</h4> |
|
<blockquote> |
|
<h4 id="点击-恢复失败-可以让流程实例从失败节点开始重新执行">点击 恢复失败 可以让流程实例从失败节点开始重新执行</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="5停止">5.停止</h4> |
|
<blockquote> |
|
<h4 id="点击-停止-将kill掉正在运行的任务节点">点击 停止 将Kill掉正在运行的任务节点</h4> |
|
<h3 id="特别注意：如果任务运行周期比较短或者正好在kill任务的时候，任务已经结束了，此时将kill不掉正在运行的任务，继而会把下一个任务设置为kill状态">特别注意：如果任务运行周期比较短或者正好在Kill任务的时候，任务已经结束了，此时将Kill不掉正在运行的任务，继而会把下一个任务设置为Kill状态</h3> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="6暂停">6.暂停</h4> |
|
<blockquote> |
|
<h4 id="对-正在运行-的流程实例，点击-暂停-可以让-正在运行任务的后继节点-设置为暂停">对 正在运行 的流程实例，点击 暂停 可以让 正在运行任务的后继节点 设置为暂停</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="7恢复暂停">7.恢复暂停</h4> |
|
<blockquote> |
|
<h4 id="对于-暂停-的流程实例，点击-恢复暂停-可以让流程实例从暂停位置继续执行">对于 暂停 的流程实例，点击 恢复暂停 可以让流程实例从暂停位置继续执行</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="8删除">8.删除</h4> |
|
<blockquote> |
|
<h4 id="删除流程实例及流程实例下的任务实例">删除流程实例及流程实例下的任务实例</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="9gantt">9.Gantt</h4> |
|
<blockquote> |
|
<h4 id="gantt图纵轴是某个流程实例下的任务实例的拓扑排序，横轴是任务实例的运行时间">Gantt图纵轴是某个流程实例下的任务实例的拓扑排序，横轴是任务实例的运行时间</h4> |
|
<p><img src="../images/mal_52.png" alt="PNG"></p> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="10查看流程实例运行变量">10.查看流程实例运行变量</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_53.png" alt="PNG"></p> |
|
<h4 id="点击隐藏按钮，查看流程实例运行变量。如下图：">点击隐藏按钮，查看流程实例运行变量。如下图：</h4> |
|
<p><img src="../images/mal_54.png" alt="PNG"></p> |
|
<h4 id="点击变量是对变量的复制">点击变量是对变量的复制</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="11查看历史任务实例">11.查看历史任务实例</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_55.png" alt="PNG"></p> |
|
<h4 id="点击任务实例节点，点击-查看历史，可以查看该流程实例运行的该任务实例列表">点击任务实例节点，点击 查看历史，可以查看该流程实例运行的该任务实例列表</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h4 id="12查看日志">12.查看日志</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_56.png" alt="PNG"></p> |
|
<h4 id="点击任务实例节点，点击-查看日志，可以查看该任务实例运行的日志，如下图：">点击任务实例节点，点击 查看日志，可以查看该任务实例运行的日志，如下图：</h4> |
|
<p><img src="../images/mal_57.png" alt="PNG"></p> |
|
<h4 id="右上角是下载日志、刷新日志和放大缩小按钮">右上角是下载日志、刷新日志和放大/缩小按钮</h4> |
|
<h4 id="注意：日志查看是分片的查看，上下滚动查看">注意：日志查看是分片的查看，上下滚动查看</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<h3 id="任务实例">任务实例</h3> |
|
<h4 id="任务实例是流程实例任务节点的列表">任务实例是流程实例任务节点的列表</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_58.png" alt="PNG"></p> |
|
</blockquote> |
|
<h4 id="两种方式查看任务实例：">两种方式查看任务实例：</h4> |
|
<ul> |
|
<li><h5 id="第一种是通过流程实例任务节点-查看历史，这时查看的是此流程实例的任务实例-重跑的列表">第一种是通过流程实例任务节点 查看历史，这时查看的是此流程实例的任务实例 重跑的列表</h5> |
|
</li> |
|
<li><h5 id="第二种是通过点击-流程实例-导航栏，调转到流程实例列表，这时查看的是所有流程实例的任务实例列表">第二种是通过点击 流程实例 导航栏，调转到流程实例列表，这时查看的是所有流程实例的任务实例列表</h5> |
|
</li> |
|
</ul> |
|
<blockquote> |
|
<h4 id="查看日志：点击-查看日志-按钮，可下载和查看日志">查看日志：点击 查看日志 按钮，可下载和查看日志</h4> |
|
</blockquote> |
|
<h3 id="任务记录">任务记录</h3> |
|
<h4 id="任务记录是千帆的数据稽核">任务记录是千帆的数据稽核</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_59.png" alt="PNG"></p> |
|
<h4 id="可以按照任务名称、日期、状态、原表、目标表、日期区间查询">可以按照任务名称、日期、状态、原表、目标表、日期区间查询</h4> |
|
</blockquote> |
|
<h2 id="首页">首页</h2> |
|
<p><img src="../images/mal_60.png" alt="PNG"></p> |
|
<h4 id="首页是对所有项目在指定时间范围内的任务状态、流程状态和流程定义的统计。">首页是对所有项目在指定时间范围内的任务状态、流程状态和流程定义的统计。</h4> |
|
<h4 id="首页和项目首页的主要区别在于：">首页和项目首页的主要区别在于：</h4> |
|
<ul> |
|
<li><h5 id="首页中的图表是没有链接的，项目首页中图表是有链接的">首页中的图表是没有链接的，项目首页中图表是有链接的</h5> |
|
</li> |
|
<li><h5 id="首页统计的是所有的项目，项目首页统计的是某一个项目">首页统计的是所有的项目，项目首页统计的是某一个项目</h5> |
|
</li> |
|
</ul> |
|
<h2 id="任务依赖">任务依赖</h2> |
|
<h4 id="任务依赖分为水平依赖和垂直依赖">任务依赖分为水平依赖和垂直依赖</h4> |
|
<ul> |
|
<li><h5 id="水平依赖就是指dag图的有向依赖，是同一个流程实例任务节点的前驱，后继之间的依赖关系">水平依赖就是指DAG图的有向依赖，是同一个流程实例任务节点的前驱，后继之间的依赖关系</h5> |
|
</li> |
|
<li><h5 id="垂直依赖是流程实例之间的任务依赖，基于定时的依赖。垂直依赖又分为自依赖和外部依赖。">垂直依赖是流程实例之间的任务依赖，基于定时的依赖。垂直依赖又分为自依赖和外部依赖。</h5> |
|
<h4 id="自依赖：是同一个流程实例的上一周期的-任务-依赖，如图：">自依赖：是同一个流程实例的上一周期的 任务 依赖，如图：</h4> |
|
<img src="../images/mal_61.png" alt="PNG"><h4 id="外部依赖：是对多个外部流程流程实例的任务实例的依赖">外部依赖：是对多个外部流程流程实例的任务实例的依赖</h4> |
|
<h4 id="外部依赖策略存在依赖策略，分别有自定义、全部成功、全部失败、任一成功、任一失败">外部依赖策略存在依赖策略，分别有自定义、全部成功、全部失败、任一成功、任一失败</h4> |
|
<h4 id="注意：自定义是可以自定义外部流程任务是成功或失败">注意：自定义是可以自定义外部流程任务是成功或失败</h4> |
|
<h4 id="依赖任务：">依赖任务：</h4> |
|
</li> |
|
</ul> |
|
<p><img src="../images/mal_62.png" alt="PNG"></p> |
|
<blockquote> |
|
<h4 id="定时依赖图解：-a流程定义某任务依赖b流程定义某任务，ta-为流程定义a的定时器，tb为流程定义b的定时器，tbstart到tbend为tb的周期，周期分别支持小时、天、月">定时依赖图解： A流程定义某任务依赖B流程定义某任务，TA 为流程定义A的定时器，TB为流程定义B的定时器，TBStart到TBEnd为TB的周期，周期分别支持小时、天、月</h4> |
|
<p><img src="../images/mal_t_1.jpg" alt="PNG"></p> |
|
<h4 id="只有在tb到tbend区间范围内符合任务实例依赖条件的，才能依赖成功。否则依赖失败">只有在TB到TBEnd区间范围内符合任务实例依赖条件的，才能依赖成功。否则依赖失败</h4> |
|
<p><img src="../images/mal_t_2.jpg" alt="PNG"></p> |
|
<h4 id="只有在-tb-到-ta区间范围内符合任务实例依赖条件的，才能依赖成功。否则依赖失败">只有在 TB 到 TA区间范围内符合任务实例依赖条件的，才能依赖成功。否则依赖失败</h4> |
|
</blockquote> |
|
<h2 id="系统参数">系统参数</h2> |
|
<ul> |
|
<li><h3 id="系统参数">系统参数</h3> |
|
<table> |
|
<tr><th>变量</th><th>含义</th></tr> |
|
<tr> |
|
<td>${system.biz.date}</td> |
|
<td>日常调度实例定时的定时时间前一天，格式为 yyyyMMdd，补数据时，该日期 +1</td> |
|
</tr> |
|
<tr> |
|
<td>${system.biz.curdate}</td> |
|
<td>日常调度实例定时的定时时间，格式为 yyyyMMdd，补数据时，该日期 +1</td> |
|
</tr> |
|
<tr> |
|
<td>${system.datetime}</td> |
|
<td>日常调度实例定时的定时时间，格式为 yyyyMMddHHmmss，补数据时，该日期 +1</td> |
|
</tr> |
|
</table> |
|
|
|
|
|
|
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h3 id="时间自定义参数">时间自定义参数</h3> |
|
<blockquote> |
|
<h4 id="支持代码中自定义变量名，声明方式：变量名。可以是引用-系统参数-或指定-常量。">支持代码中自定义变量名，声明方式：${变量名}。可以是引用 "系统参数" 或指定 "常量"。</h4> |
|
<h3 id="注意，我们定义这种基准变量为--格式的，yyyymmddhhmmss-是可以任意分解组合的，比如：yyyymmdd-hhmmss-yyyy-mm-dd-hhmmss-等">注意，我们定义这种基准变量为 $[...] 格式的，$[yyyyMMddHHmmss] 是可以任意分解组合的，比如：$[yyyyMMdd], $[HHmmss], $[yyyy-MM-dd], $[HH:mm:ss] 等</h3> |
|
<h3 id="也可以这样：">也可以这样：</h3> |
|
<h4 id="后-n-年：addmonthsyyyymmdd12n">后 N 年：$[add_months(yyyyMMdd,12*N)]</h4> |
|
<h4 id="前-n-年：addmonthsyyyymmdd-12n">前 N 年：$[add_months(yyyyMMdd,-12*N)]</h4> |
|
<h4 id="后-n-月：addmonthsyyyymmddn">后 N 月：$[add_months(yyyyMMdd,N)]</h4> |
|
<h4 id="前-n-月：addmonthsyyyymmdd-n">前 N 月：$[add_months(yyyyMMdd,-N)]</h4> |
|
<h4 id="后-n-周：yyyymmdd7n">后 N 周：$[yyyyMMdd+7*N]</h4> |
|
<h4 id="前-n-周：yyyymmdd-7n">前 N 周：$[yyyyMMdd-7*N]</h4> |
|
<h4 id="后-n-天：yyyymmddn">后 N 天：$[yyyyMMdd+N]</h4> |
|
<h4 id="前-n-天：yyyymmdd-n">前 N 天：$[yyyyMMdd-N]</h4> |
|
<h4 id="后-n-小时：hhmmssn24">后 N 小时：$[HHmmss+N/24]</h4> |
|
<h4 id="前-n-小时：hhmmss-n24">前 N 小时：$[HHmmss-N/24]</h4> |
|
<h4 id="后-n-分钟：hhmmssn2460">后 N 分钟：$[HHmmss+N/24/60]</h4> |
|
<h4 id="前-n-分钟：hhmmss-n2460">前 N 分钟：$[HHmmss-N/24/60]</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
<ul> |
|
<li><h3 id="用户自定义参数">用户自定义参数</h3> |
|
<h4 id="用户自定义参数分为全局参数和局部参数。全局参数是保存流程定义和流程实例的时候传递的全局参数，全局参数可以在整个流程中的任何一个任务节点的局部参数引用。">用户自定义参数分为全局参数和局部参数。全局参数是保存流程定义和流程实例的时候传递的全局参数，全局参数可以在整个流程中的任何一个任务节点的局部参数引用。</h4> |
|
<h4 id="例如：">例如：</h4> |
|
<blockquote> |
|
<p><img src="../images/mal_63.png" alt="PNG"></p> |
|
<h4 id="ds为全局参数，引用的是系统参数。">ds为全局参数，引用的是系统参数。</h4> |
|
<p><img src="../images/mal_64.png" alt="PNG"></p> |
|
<h4 id="任务中partition通过ds来引用全局参数，对于脚本可以通过partition来引用变量partition的值，或通过jdbc直接将partition的值set进去">任务中partition通过${ds}来引用全局参数，对于脚本可以通过${partition}来引用变量partition的值，或通过JDBC直接将partition的值set进去</h4> |
|
</blockquote> |
|
</li> |
|
</ul> |
|
|
|
|
|
</section> |
|
|
|
</div> |
|
<div class="search-results"> |
|
<div class="has-results"> |
|
|
|
<h1 class="search-results-title"><span class='search-results-count'></span> results matching "<span class='search-query'></span>"</h1> |
|
<ul class="search-results-list"></ul> |
|
|
|
</div> |
|
<div class="no-results"> |
|
|
|
<h1 class="search-results-title">No results matching "<span class='search-query'></span>"</h1> |
|
|
|
</div> |
|
</div> |
|
</div> |
|
|
|
</div> |
|
</div> |
|
|
|
</div> |
|
|
|
|
|
|
|
<a href="guide-architecture.html#总结" class="navigation navigation-prev " aria-label="Previous page: 总结"> |
|
<i class="fa fa-angle-left"></i> |
|
</a> |
|
|
|
|
|
<a href="guide-manual.html#登录" class="navigation navigation-next " aria-label="Next page: 登录"> |
|
<i class="fa fa-angle-right"></i> |
|
</a> |
|
|
|
|
|
|
|
</div> |
|
|
|
<script> |
|
var gitbook = gitbook || []; |
|
gitbook.push(function() { |
|
gitbook.page.hasChanged({"page":{"title":"使用手册","level":"1.2.2","depth":2,"next":{"title":"登录","level":"1.2.2.1","depth":3,"anchor":"#登录","path":"pages/guide-manual.md","ref":"pages/guide-manual.md#登录","articles":[]},"previous":{"title":"总结","level":"1.2.1.9","depth":3,"anchor":"#总结","path":"pages/guide-architecture.md","ref":"pages/guide-architecture.md#总结","articles":[]},"dir":"ltr"},"config":{"plugins":["expandable-chapters","insert-logo-link","livereload"],"styles":{"website":"./styles/website.css"},"pluginsConfig":{"livereload":{},"insert-logo-link":{"src":"../images/logo.png","url":"/"},"search":{},"lunr":{"maxIndexSize":1000000,"ignoreSpecialCharacters":false},"fontsettings":{"theme":"white","family":"sans","size":2},"highlight":{},"sharing":{"facebook":true,"twitter":true,"google":false,"weibo":false,"instapaper":false,"vk":false,"all":["facebook","google","twitter","weibo","instapaper"]},"theme-default":{"styles":{"website":"styles/website.css","pdf":"styles/pdf.css","epub":"styles/epub.css","mobi":"styles/mobi.css","ebook":"styles/ebook.css","print":"styles/print.css"},"showLevel":false},"expandable-chapters":{}},"theme":"default","author":"YIGUAN","pdf":{"pageNumbers":true,"fontSize":12,"fontFamily":"Arial","paperSize":"a4","chapterMark":"pagebreak","pageBreaksBefore":"/","margin":{"right":62,"left":62,"top":56,"bottom":56}},"structure":{"langs":"LANGS.md","readme":"README.md","glossary":"GLOSSARY.md","summary":"SUMMARY.md"},"variables":{},"title":"调度系统-EasyScheduler","language":"zh-hans","gitbook":"3.2.3","description":"调度系统"},"file":{"path":"pages/guide-manual.md","mtime":"2019-03-07T08:53:26.534Z","type":"markdown"},"gitbook":{"version":"3.2.3","time":"2019-03-07T11:30:18.635Z"},"basePath":"..","book":{"language":""}}); |
|
}); |
|
</script> |
|
</div> |
|
|
|
|
|
<script src="../gitbook/gitbook.js"></script> |
|
<script src="../gitbook/theme.js"></script> |
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-expandable-chapters/expandable-chapters.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-insert-logo-link/plugin.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-livereload/plugin.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-search/search-engine.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-search/search.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-lunr/lunr.min.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-lunr/search-lunr.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-sharing/buttons.js"></script> |
|
|
|
|
|
|
|
<script src="../gitbook/gitbook-plugin-fontsettings/fontsettings.js"></script> |
|
|
|
|
|
|
|
</body> |
|
</html> |
|
|
|
|