|
|
@ -6,7 +6,7 @@ |
|
|
|
* [Mysql](https://blog.csdn.net/u011886447/article/details/79796802) (5.5+) : 必装 |
|
|
|
* [Mysql](https://blog.csdn.net/u011886447/article/details/79796802) (5.5+) : 必装 |
|
|
|
* [JDK](https://www.oracle.com/technetwork/java/javase/downloads/index.html) (1.8+) : 必装 |
|
|
|
* [JDK](https://www.oracle.com/technetwork/java/javase/downloads/index.html) (1.8+) : 必装 |
|
|
|
* [ZooKeeper](https://www.jianshu.com/p/de90172ea680)(3.4.6) :必装 |
|
|
|
* [ZooKeeper](https://www.jianshu.com/p/de90172ea680)(3.4.6) :必装 |
|
|
|
* [Hadoop](https://blog.csdn.net/Evankaka/article/details/51612437)(2.7.3) :选装, 如果需要使用到资源上传功能,MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上) |
|
|
|
* [Hadoop](https://blog.csdn.net/Evankaka/article/details/51612437)(2.6+) :选装, 如果需要使用到资源上传功能,MapReduce任务提交则需要配置Hadoop(上传的资源文件目前保存在Hdfs上) |
|
|
|
* [Hive](https://staroon.pro/2017/12/09/HiveInstall/)(1.2.1) : 选装,hive任务提交需要安装 |
|
|
|
* [Hive](https://staroon.pro/2017/12/09/HiveInstall/)(1.2.1) : 选装,hive任务提交需要安装 |
|
|
|
* Spark(1.x,2.x) : 选装,Spark任务提交需要安装 |
|
|
|
* Spark(1.x,2.x) : 选装,Spark任务提交需要安装 |
|
|
|
* PostgreSQL(8.2.15+) : 选装,PostgreSQL PostgreSQL存储过程需要安装 |
|
|
|
* PostgreSQL(8.2.15+) : 选装,PostgreSQL PostgreSQL存储过程需要安装 |
|
|
@ -65,7 +65,7 @@ mysql -h {host} -u {user} -p{password} -D {db} < quartz.sql |
|
|
|
|
|
|
|
|
|
|
|
## 创建部署用户 |
|
|
|
## 创建部署用户 |
|
|
|
|
|
|
|
|
|
|
|
- 在所有需要部署调度的机器上创建部署用户,因为worker是以 sudo -u {linux-user} 方式来执行作业,所以部署用户需要有 sudo 权限,而且是免密的。 |
|
|
|
- 在所有需要部署调度的机器上创建部署用户,因为worker服务是以 sudo -u {linux-user} 方式来执行作业,所以部署用户需要有 sudo 权限,而且是免密的。 |
|
|
|
|
|
|
|
|
|
|
|
```部署账号 |
|
|
|
```部署账号 |
|
|
|
vi /etc/sudoers |
|
|
|
vi /etc/sudoers |
|
|
@ -78,7 +78,7 @@ escheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL |
|
|
|
``` |
|
|
|
``` |
|
|
|
|
|
|
|
|
|
|
|
## ssh免密配置 |
|
|
|
## ssh免密配置 |
|
|
|
在部署机和其他安装机器上配置ssh免密登录,如果要在部署机上安装调度,需要配置本机免密登录自己 |
|
|
|
在部署机器和其他安装机器上配置ssh免密登录,如果要在部署机上安装调度,需要配置本机免密登录自己 |
|
|
|
|
|
|
|
|
|
|
|
- [将 **主机器** 和各个其它机器SSH打通](http://geek.analysys.cn/topic/113) |
|
|
|
- [将 **主机器** 和各个其它机器SSH打通](http://geek.analysys.cn/topic/113) |
|
|
|
|
|
|
|
|
|
|
@ -97,7 +97,7 @@ escheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL |
|
|
|
sql |
|
|
|
sql |
|
|
|
|
|
|
|
|
|
|
|
``` |
|
|
|
``` |
|
|
|
- 修改权限 |
|
|
|
- 修改权限(deployUser修改为对应部署用户) |
|
|
|
|
|
|
|
|
|
|
|
`sudo chown -R deployUser:deployUser *` |
|
|
|
`sudo chown -R deployUser:deployUser *` |
|
|
|
|
|
|
|
|
|
|
@ -107,7 +107,6 @@ escheduler ALL=(ALL) NOPASSWD: NOPASSWD: ALL |
|
|
|
|
|
|
|
|
|
|
|
### 3. 修改部署参数 |
|
|
|
### 3. 修改部署参数 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
- 修改 **install.sh**中的参数,替换成自身业务所需的值 |
|
|
|
- 修改 **install.sh**中的参数,替换成自身业务所需的值 |
|
|
|
|
|
|
|
|
|
|
|
- 如果使用hdfs相关功能,需要拷贝**hdfs-site.xml**和**core-site.xml**到conf目录下 |
|
|
|
- 如果使用hdfs相关功能,需要拷贝**hdfs-site.xml**和**core-site.xml**到conf目录下 |
|
|
|