工作流调度器azkaban安装
2018/07/12/09:57:14 阅读：2788 来源：人工智能 标签：
AI科学家
概述2.1.1为什么需要工作流调度系统
一个完整的数据分析系统通常都是由大量任务单元组成：
shell脚本程序，java程序，mapreduce程序、hive脚本等
各任务单元之间存在时间先后及前后依赖关系
为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行;
例如，我们可能有这样一个需求，某个业务系统每天产生20G原始数据，我们每天都要对其进行处理，处理步骤如下所示：
1、通过Hadoop先将原始数据同步到HDFS上;
2、借助MapReduce计算框架对原始数据进行转换，生成的数据以分区表的形式存储到多张Hive表中;
3、需要对Hive中多个表的数据进行JOIN处理，得到一个明细数据Hive大表;
4、将明细数据进行复杂的统计分析，得到结果报表信息;
5、需要将统计分析得到的结果数据同步到业务系统中，供业务调用使用。
2.1.2工作流调度实现方式
简单的任务调度：直接使用linux的crontab来定义;
复杂的任务调度：开发调度平台
或使用现成的开源调度系统，比如ooize、azkaban等
2.1.3常见工作流调度系统
市面上目前有许多工作流调度器
在hadoop领域，常见的工作流调度器有Oozie,Azkaban,Cascading,Hamake等
?
2.1.4各种调度工具特性对比
下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较，尽管这些工作流调度器能够解决的需求场景基本一致，但在设计理念，目标用户，应用场景等方面还是存在显著的区别，在做技术选型的时候，可以提供参考
特性HamakeOozieAzkabanCascading
工作流描述语言XMLXML(xPDLbased)textfilewithkey/valuepairsJavaAPI
依赖机制data-drivenexplicitexplicitexplicit
是否要web容器NoYesYesNo
进度跟踪console/logmessageswebpagewebpageJavaAPI
Hadoopjob调度支持noyesyesyes
运行模式commandlineutilitydaemondaemonAPI
Pig支持yesyesyesyes
事件通知nononoyes
需要安装noyesyesno
支持的hadoop版本0.18+0.20+currentlyunknown0.18+
重试支持noworkflownodeevelyesyes
运行任意命令yesyesyesyes
AmazonEMR支持yesnocurrentlyunknownyes
2.1.5Azkaban与Oozie对比
对市面上最流行的两种调度器，给出以下详细对比，以供技术选型参考。总体来说，ooize相比azkaban是一个重量级的任务调度系统，功能全面，但配置使用也更复杂。如果可以不在意某些功能的缺失，轻量级调度器azkaban是很不错的候选对象。
详情如下：
功能
两者均可以调度mapreduce,pig,java,脚本工作流任务
两者均可以定时执行工作流任务
工作流定义
Azkaban使用Properties文件定义工作流
Oozie使用XML文件定义工作流
工作流传参
Azkaban支持直接传参，例如[MathProcessingError]{fs:dirSize(myInputDir)}
定时执行
Azkaban的定时执行任务是基于时间的
Oozie的定时执行任务基于时间和输入数据
资源管理
Azkaban有较严格的权限控制，如用户对工作流进行读/写/执行等操作
Oozie暂无严格的权限控制
工作流执行
Azkaban有两种运行模式，分别是soloservermode(executorserver和webserver部署在同一台节点)和multiservermode(executorserver和webserver可以部署在不同节点)
Oozie作为工作流服务器运行，支持多用户和多工作流
工作流管理
Azkaban支持浏览器以及ajax方式操作工作流
Oozie支持命令行、HTTPREST、JavaAPI、浏览器操作工作流
2.2Azkaban介绍
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
它有如下功能特点：
Web用户界面
方便上传工作流
方便设置任务之间的关系
调度工作流
认证/授权(权限的工作)
能够杀死并重新启动工作流
模块化和可插拔的插件机制
项目工作区
工作流和任务的日志记录和审计
Azkaban官网
它有三个重要组件：
1.关系数据库(目前仅支持mysql)
2.web管理服务器-AzkabanWebServer
3.执行服务器-AzkabanExecutorServer
3Azkaban安装部署
准备工作
AzkabanWeb服务器
azkaban-web-server-2.5.0.tar.gz
Azkaban执行服务器
azkaban-executor-server-2.5.0.tar.gz
MySQL
目前azkaban只支持mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了root用户,密码root.
下载地址:http://azkaban.github.io/downloads.html
azkaban-executor-server-2.5.0.tar.gz(执行服务器)
azkaban-web-server-2.5.0.tar.gz(管理服务器)
azkaban-sql-script-2.5.0.tar.gz(mysql脚本)
Azkaban有三种运行模式：
soloservermode：最简单的模式，数据库内置的H2数据库，管理服务器和执行服务器都在一个进程中运行，任务量不大项目可以采用此模式。
twoservermode：数据库为mysql，管理服务器和执行服务器在不同进程，这种模式下，管理服务器和执行服务器互不影响
multipleexecutormode：该模式下，执行服务器和管理服务器在不同主机上，且执行服务器可以有多个。
我们项目要求不是太高，我这次采用第二种模式，管理服务器、执行服务器分进程，但在同一台主机上。
安装
将安装文件上传到集群,最好上传到安装hive、sqoop的机器上,方便命令的执行
在当前用户目录下新建azkabantools目录,用于存放源安装文件.新建azkaban目录,用于存放azkaban运行程序
azkabanweb服务器安装
解压azkaban-web-server-2.5.0.tar.gz
命令:tar–zxvfazkaban-web-server-2.5.0.tar.gz
将解压后的azkaban-web-server-2.5.0移动到azkaban目录中,并重新命名webserver
命令:mvazkaban-web-server-2.5.0../azkaban
cd../azkaban
mvazkaban-web-server-2.5.0server
azkaban执行服器安装
解压azkaban-executor-server-2.5.0.tar.gz
命令:tar–zxvfazkaban-executor-server-2.5.0.tar.gz
将解压后的azkaban-executor-server-2.5.0移动到azkaban目录中,并重新命名executor
命令:mvazkaban-executor-server-2.5.0../azkaban
cd../azkaban
mvazkaban-executor-server-2.5.0executor
azkaban脚本导入
解压:azkaban-sql-script-2.5.0.tar.gz
命令:tar–zxvfazkaban-sql-script-2.5.0.tar.gz
将解压后的mysql脚本,导入到mysql中:
进入mysql
mysql>createdatabaseazkaban;
mysql>useazkaban;
Databasechanged
mysql>source/home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;
创建SSL配置
参考地址:http://docs.codehaus.org/display/JETTY/How+to+configure+SSL
配置SSL的KeyStore
在需要输入密码的地方，输入上面配置文件中的password参数，我的密码是123456。
keytool-genkey-keystorekeystore-aliasjetty-azkaban-keyalgRSA-validity3560
keytool-export-aliasjetty-azkaban-keystorekeystore-rfc-fileselfsignedcert.cer
keytool-import-aliascertificatekey-fileselfsignedcert.cer-keystoretruststore
将上面生成的keystore和truststore文件移动到$AK_HOME/web路径下。
如果需要删除，使用如下命令。
keytool-delete-aliasjetty-azkaban-keystorekeystore-storepassazkaban
命令:keytool-keystorekeystore-aliasjetty-genkey-keyalgRSA
运行此命令后,会提示输入当前生成keystor的密码及相应信息,输入的密码请劳记,信息如下:
输入keystore密码：
再次输入新密码:
您的名字与姓氏是什么?
[Unknown]：
您的组织单位名称是什么?
[Unknown]：
您的组织名称是什么?
[Unknown]：
您所在的城市或区域名称是什么?
[Unknown]：
您所在的州或省份名称是什么?
[Unknown]：
该单位的两字母国家代码是什么
[Unknown]：CN
CN=Unknown,OU=Unknown,O=Unknown,L=Unknown,ST=Unknown,C=CN正确吗?
[否]：y
输入的主密码
(如果和keystore密码相同，按回车)：
再次输入新密码:
完成上述工作后,将在当前目录生成keystore证书文件,将keystore考贝到azkabanweb服务器根目录中.如:cpkeystore/opt/apps/azkaban/azkaban-web-2.5.0/web
配置文件
注：先配置好服务器节点上的时区
1、先生成时区配置文件Asia/Shanghai，用交互式命令tzselect即可
2、拷贝该时区文件，覆盖系统本地时区配置
cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime
azkabanweb服务器配置
进入azkabanweb服务器安装目录conf目录
修改azkaban.properties文件
命令viazkaban.properties
内容说明如下:
AzkabanPersonalizationSettings
azkaban.name=TestAzkaban#服务器UI名称,用于服务器上方显示的名字
azkaban.label=MyLocalAzkaban#描述
azkaban.color=#FF3601#UI颜色
azkaban.default.servlet.path=/index#
web.resource.dir=web/#默认根web目录
default.timezone.id=Asia/Shanghai#默认时区,已改为亚洲/上海默认为美国
AzkabanUserManagerclass
user.manager.class=azkaban.user.XmlUserManager#用户权限管理默认类
user.manager.xml.file=conf/azkaban-users.xml#用户配置,具体配置参加下文
Loaderforprojects
executor.global.properties=conf/global.properties#global配置文件所在位置
azkaban.project.dir=projects#
database.type=mysql#数据库类型
mysql.port=3306#端口号
mysql.host=www.ljt.cos01#数据库连接IP
mysql.database=azkaban#数据库实例名
mysql.user=root#数据库用户名
mysql.password=123456#数据库密码
mysql.numconnections=100#最大连接数
Velocitydevmode
velocity.dev.mode=false
Jetty服务器属性.
jetty.maxThreads=25#最大线程数
jetty.ssl.port=8443#JettySSL端口
jetty.port=8081#Jetty端口
jetty.keystore=keystore#SSL文件名
jetty.password=123456#SSL文件密码
jetty.keypassword=123456#Jetty主密码与keystore文件相同
jetty.truststore=keystore#SSL文件名
jetty.trustpassword=123456#SSL文件密码
执行服务器属性
executor.port=12321#执行服务器端口
邮件设置
mail.sender=1329331182@qq.com#发送邮箱
mail.host=smtp.163.com#发送邮箱smtp地址
mail.user=xxxxxxxx#发送邮件时显示的名称
mail.password=****#邮箱密码
job.failure.email=xxxxxxxx@163.com#任务失败时发送邮件的地址
job.success.email=xxxxxxxx@163.com#任务成功时发送邮件的地址
lockdown.create.projects=false#
cache.directory=cache#缓存目录
azkaban执行服务器executor配置
进入执行服务器安装目录conf,修改azkaban.properties
viazkaban.properties
Azkaban
default.timezone.id=Asia/Shanghai#时区
AzkabanJobTypes插件配置
azkaban.jobtype.plugin.dir=plugins/jobtypes#jobtype插件所在位置
Loaderforprojects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
数据库设置
database.type=mysql#数据库类型(目前只支持mysql)
mysql.port=3306#数据库端口号
mysql.host=192.168.20.200#数据库IP地址
mysql.database=azkaban#数据库实例名
mysql.user=root#数据库用户名
mysql.password=root#数据库密码
mysql.numconnections=100#最大连接数
执行服务器配置
executor.maxThreads=50#最大线程数
executor.port=12321#端口号(如修改,请与web服务中一致)
executor.flow.threads=30#线程数
用户配置
进入azkabanweb服务器conf目录,修改azkaban-users.xml
viazkaban-users.xml增加管理员用户
启动
web服务器
在azkabanweb服务器目录下执行启动命令
bin/azkaban-web-start.sh
注:在web服务器根目录运行
或者启动到后台
nohupbin/azkaban-web-start.sh1>/tmp/azstd.out2>/tmp/azerr.out&
执行服务器
在执行服务器目录下执行启动命令
bin/azkaban-executor-start.sh
注:只能要执行服务器根目录运行
启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击login.
https://www.ljt.cos01:8443
AzkabanPlugins安装
Azkaban在设计上把核心功能和扩展插件分开了，因此可以很方便的为Azkaban安装一些有用的插件。目前已有的插件主要有以下几类：
页面可视化插件。比如HDFSView和Reportal
Trigger插件
用户管理插件。可以自定义一些用户登录验证功能
报警插件
接下来对每一种插件的安装和配置进行分析，某些插件安装在Web端，某些插件需要安装在Executor端。
1、HDFSViewerPlugins
这个插件安装在Web端。
(1)修改配置文件
在[MathProcessingError]AK_HOME/plugins/viewer/hdfs路径下去寻找新的插件。所以，我们需要在[MathProcessingError]AK_HOME/plugins/viewer/hdfs/extlib/hadoop-core-1.0.4.jar，不然会报ClassNotFound的错。删除后，该插件的extlib路径下已为空。
将hadoop中如下jar包复制到[MathProcessingError]HADOOP_HOME/etc/hadoop/core-site.xml文件复制到[MathProcessingError]Ak_HOME/extlib路径下使用jar-ufhadoop-common-2.6.0.jarcore-site.xml命令将core-site.xml文件添加到jar包中
最终hadoop-common-2.6.0.jar的文件结构如下图：
启动WebServer，在页面中就可以看到HDFS文件目录了。
也可以直接打开hdfs上的可读文件。
上面的htrace-core-3.0.4.jar也是必须的jar包，没有这个的话，会报错java.lang.NoClassDefFoundError:org/htrace/Trace，如下图
2、AzkabanJobtype
这个插件安装在ExecutorServer端。
Azkaban可以运行一些简单的Job比如Unix命令行操作以及简单的Java程序。如果需要运行HadoopJava，Pig，Hive等类型的Job时，就需要安装这个插件了。
安装Jobtype插件需要预先安装好Hadoop和hive。我的Hadoop版本为2.6.0，安装路径/usr/local/hadoop，Hive版本0.13.1，安装路径/usr/local/hive
(1)解压缩
将前面下载的azkaban-jobtype-2.5.0.tar.gz上传到m001的[MathProcessingError]AK_HOME/conf/azkaban.properties，在最后新增一行
azkaban.jobtype.plugin.dir=plugins/jobtypes
这个参数告诉Azkaban到[MathProcessingError]AK_HOME/plugins/jobtypes/common.properties文件，设置以下三个参数：
hadoop.home=/usr/local/hadoop
hive.home=/usr/local/hive
pig.home=
azkaban.should.proxy=
jobtype.global.classpath=[MathProcessingError]{hadoop.home}/share/hadoop/common/,[MathProcessingError]{hadoop.home}/share/hadoop/hdfs/,[MathProcessingError]{hadoop.home}/share/hadoop/yarn/,[MathProcessingError]{hadoop.home}/share/hadoop/mapreduce/,[MathProcessingError]AK_HOME/plugins/jobtypes/commonprivate.properties文件中的hadoop.home和hive.home
(c)修改[MathProcessingError]{hive.home}/conf,${hive.home}/lib/*
最后重新重启AzkabanExecutorServer，使新的插件生效。
热门评论