登 录
注 册
< 大 数 据
Flink
Hadoop
Spark
Hive
HBase
Kafka
其他框架
Azkaban 3.x版本部署(一)
Azkaban 3.x版本部署(二)
Azkaban 3.x版本部署(三)
Azkaban报警邮件配置
Azkaban Flow1.0与2.0
热门推荐>>>
中台架构
中台建设与架构
Hadoop
源码分析-NN启动(三)
HBase
HBased对接Hive
Linux
Nginx高可用
Python
数据导出工具
Flink
3分钟搭建Flink SQL测试环境
Kafka
Kafka对接Flume
深度学习
卷积神经网络
数据结构与算法
选择合适的算法
MySQL
数据备份恢复
计算机系统
信号量同步线程
Hive
Hive调优参数大全
ClickHouse
表引擎-其他类型
技术成长
最好的职业建议
精选书单
技术成长书单—机器学习
技术资讯
数据在线:计算将成为公共服务
开发工具
IntelliJ IDEA 20年发展回顾(二)
系统工具
Mac命令行工具
虚拟化
内存虚拟化概述
云原生
云原生构建现代化应用
云服务
一文搞懂公有云、私有云...
Java
Spring Boot依赖注入与Runners
Go
Go函数与方法
SQL
SQL模板
安全常识
一文读懂SSO
当前位置:
首页
>>
其他框架
>>
Azkaban 3.x版本部署(三)
Azkaban 3.x版本部署(三)
2020-07-05 11:41:53 星期日 阅读:1984
####添加MySQL驱动 ``` cd /opt/software/azkaban/exec-server mkdir extlib # 把lib下面的驱动复制到新建的extlib目录下 cp lib/mysql-connector-java-5.1.28.jar extlib/ # 把驱动同步到Web server cp -r extlib/ /opt/software/azkaban/web-server/ ``` ####启动executor服务器 一定要先启动执行服务器再启动web服务器 ``` cd /opt/software/azkaban/exec-server bin/start-exec.sh ``` ####启动web服务器 ``` cd /opt/software/azkaban/web-server bin/start-web.sh ``` 查看进程 ``` 15955 Jps 12645 AzkabanExecutorServer 15245 AzkabanWebServer ``` 浏览器中输入(https://ip:8443看到登录页面后,输入上面azkaban-users.xml配置的admin账号密码登录即可) 查看端口 根据上面的进程好监听端口 ``` # 查看exec server监听端口 netstat -anp | grep 12645 tcp6 0 0 :::12321 :::* LISTEN 12645/java # 查看web server听端口 netstat -anp | grep 15245 tcp6 0 0 :::8081 :::* LISTEN 15245/java ``` ####查看启动日志是否正常 查看exec server是否启动正常 ``` cd /opt/software/azkaban/exec-server/logs tail -F azkaban-execserver.log # 能看到下面日志说明启动正常 2020/04/15 15:03:03.082 +0800 INFO [FlowRunnerManager] [Azkaban] # of executing flows: 0 2020/04/15 15:03:03.083 +0800 INFO [FlowRunnerManager] [Azkaban] Cleaning recently finished 2020/04/15 15:03:44.667 +0800 INFO [AzkabanExecutorServer] [Azkaban] Starting Jetty Azkaban Executor.. 2020/04/15 15:03:45.540 +0800 INFO [FlowRampManager] [Azkaban] Ramp Settings had been successfully loaded at [1586934225540]. ``` 查看web server是否启动正常 ``` cd /opt/software/azkaban/web-server/logs tail -F azkaban-webserver.log # 能看到下面日志说明启动正常 2020/04/15 15:05:45.635 +0800 INFO [ExecutionLogsCleaner] [Azkaban] Starting execution logs clean up thread 2020/04/15 15:05:45.636 +0800 INFO [ExecutionLogsCleaner] [Azkaban] Cleaning old logs from execution_logs 2020/04/15 15:05:45.638 +0800 INFO [AzkabanWebServer] [Azkaban] Setting up web resource dir /opt/software/azkaban/web-server/web 2020/04/15 15:05:45.657 +0800 INFO [ExecutionLogsCleaner] [Azkaban] Cleaning old log files before 2020-01-22T15:05:45.637+08:00 2020/04/15 15:05:45.659 +0800 INFO [ExecutionLogsCleaner] [Azkaban] Cleaned up 0 log entries. 2020/04/15 15:05:45.659 +0800 INFO [ExecutionLogsCleaner] [Azkaban] log clean up time: 2 ms. 2020/04/15 15:05:45.683 +0800 INFO [JdbcTriggerImpl] [Azkaban] Loading all triggers from db. 2020/04/15 15:05:45.684 +0800 INFO [JdbcTriggerImpl] [Azkaban] Loaded 0 triggers. 2020/04/15 15:05:45.702 +0800 INFO [ProjectManagerServlet] [Azkaban] downloadBufferSize: 8192 2020/04/15 15:05:45.783 +0800 INFO [AzkabanWebServer] [Azkaban] Server started ``` ####报错解决 #####启动web 服务器报错 `azkaban.executor.ExecutorManagerException: No active executors found` 则需要在MySQL源数据库里把对应executors的active设置为1,即: ``` mysql> use azkaban; mysql> update executors set active= 1 where host="your host"; ``` #####首次执行工作流报错 `Caused by: azkaban.executor.ExecutorManagerException: java.io.IOException: executor became inactive before setting up the flow 5` 解决方案是激活executor,直接在命令行执行 ``` curl http://executor_host:port/executor?action=activate # 示例 # curl http://192.168.1.102:12321/executor?action=activate ``` executor_host为安装executor的机器IP #####Web UI界面创建项目时报错 因为项目名称和描述含有中文,所以报错。解决方案有两个: - 1、项目名称和描述不采用中文 - 2、更改元数据库的字符集为utf-8,具体更改方式参见我的文章https://libins.cn/detail/mysql