登 录
注 册
< 大 数 据
Flink
Hadoop
Spark
Hive
HBase
Kafka
其他框架
Azkaban 3.x版本部署(一)
Azkaban 3.x版本部署(二)
Azkaban 3.x版本部署(三)
Azkaban报警邮件配置
Azkaban Flow1.0与2.0
热门推荐>>>
中台架构
中台建设与架构
Hadoop
源码分析-NN启动(三)
HBase
HBased对接Hive
Linux
Nginx高可用
Python
数据导出工具
Flink
3分钟搭建Flink SQL测试环境
Kafka
Kafka对接Flume
深度学习
卷积神经网络
数据结构与算法
选择合适的算法
MySQL
数据备份恢复
计算机系统
信号量同步线程
Hive
Hive调优参数大全
ClickHouse
表引擎-其他类型
技术成长
最好的职业建议
精选书单
技术成长书单—机器学习
技术资讯
数据在线:计算将成为公共服务
开发工具
IntelliJ IDEA 20年发展回顾(二)
系统工具
Mac命令行工具
虚拟化
内存虚拟化概述
云原生
云原生构建现代化应用
云服务
一文搞懂公有云、私有云...
Java
Spring Boot依赖注入与Runners
Go
Go函数与方法
SQL
SQL模板
安全常识
一文读懂SSO
当前位置:
首页
>>
其他框架
>>
Azkaban 3.x版本部署(一)
Azkaban 3.x版本部署(一)
2020-07-05 11:07:14 星期日 阅读:6141
截止写本文的时候,Azkaban已经更新到3.84.4以上版本了,生产中也建议使用3.x稳定版本。因为3.x版本支持Flow2.0的工作流定义方式,相比Flow1.0的工作流定义方式,Flow2.0更主流与方便,且Flow1.0在未来的版本中将会移除。关于Flow2.0,后面会专门有一篇文章来介绍实例。 ####准备工作 有可用的MySQL数据库来当做Azkaban的元数据库 ####编译 版本3.84.4 编译过程这里就不介绍了,相比Hue和Oozie的编译,这个的难度就是小巫见大巫了。 编译完成后会生成如下几个安装包 ``` azkaban-solo-server-3.84.4.tar.gz azkaban-db-3.84.4.tar.gz azkaban-web-server-3.84.4.tar.gz azkaban-exec-server-3.84.4.tar.gz ``` ####开始安装配置 解压重命名 ``` mkdir -p /opt/software/azkaban tar -zxvf azkaban-solo-server-3.84.4.tar.gz -C /opt/software/azkaban/ tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/software/azkaban/ tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/software/azkaban/ tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/software/azkaban/ cd /opt/software/azkaban mv azkaban-solo-server-3.84.4 solo-server mv azkaban-web-server-3.84.4 web-server mv azkaban-exec-server-3.84.4 exec-server mv azkaban-db-3.84.4 azkaban-db ``` 操作完后/opt/software/azkaban目录下的文件结构如下所示 ``` drwxr-xr-x 2 hadoop hadoop 4096 Apr 9 15:08 azkaban-db drwxr-xr-x 6 hadoop hadoop 4096 Apr 9 17:40 exec-server drwxr-xr-x 8 hadoop hadoop 4096 Apr 9 17:40 solo-server drwxr-xr-x 6 hadoop hadoop 4096 Apr 15 13:27 web-server ``` 创建MySQL元数据库并初始化表 ``` mysql> create database azkaban; mysql> source /opt/software/azkaban/azkaban-db/create-all-sql-3.84.4.sql 35 rows in set (0.00 sec) # 总共创建了35个表 ``` 创建秘钥库 `keytool -keystore keystore -alias jetty -genkey -keyalg RSA` 在前两步输入秘钥库的密码即可,其他的一路回车。 为什么要生成秘钥库? 因为客户端在访问 web页面的时候需要从web服务器下载证书,证书就是存储在秘钥库里的(秘钥库可以理解为一个数据库,我们第一次创建的时候需要定义一个密码,也即是下面的操作步骤) 将生成的keystore移动到azkaban web服务器中 `mv keystore web-server/` 拷贝配置文件到exec-server ``` cp -r solo-server/sql/ exec-server/ cp -r solo-server/conf/* exec-server/conf/ ```