SEO

工作流调度器azkaban安装

2018/07/12/09:57:14  阅读:1340  来源:人工智能  标签: AI科学家
  概述

  2.1.1为什么需要工作流调度系统

  一个完整的数据分析系统通常都是由大量任务单元组成:

  shell脚本程序,java程序,mapreduce程序、hive脚本等

  各任务单元之间存在时间先后及前后依赖关系

  为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;

  例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示:

  1、通过Hadoop先将原始数据同步到HDFS上;

  2、借助MapReduce计算框架对原始数据进行转换,生成的数据以分区表的形式存储到多张Hive表中;

  3、需要对Hive中多个表的数据进行JOIN处理,得到一个明细数据Hive大表;

  4、将明细数据进行复杂的统计分析,得到结果报表信息;

  5、需要将统计分析得到的结果数据同步到业务系统中,供业务调用使用。

  2.1.2工作流调度实现方式

  简单的任务调度:直接使用linux的crontab来定义;

  复杂的任务调度:开发调度平台

  或使用现成的开源调度系统,比如ooize、azkaban等

  2.1.3常见工作流调度系统

  市面上目前有许多工作流调度器

  在hadoop领域,常见的工作流调度器有Oozie,Azkaban,Cascading,Hamake等

  ?

  2.1.4各种调度工具特性对比

  下面的表格对上述四种hadoop工作流调度器的关键特性进行了比较,尽管这些工作流调度器能够解决的需求场景基本一致,但在设计理念,目标用户,应用场景等方面还是存在显著的区别,在做技术选型的时候,可以提供参考

  特性HamakeOozieAzkabanCascading

  工作流描述语言XMLXML(xPDLbased)textfilewithkey/valuepairsJavaAPI

  依赖机制data-drivenexplicitexplicitexplicit

  是否要web容器NoYesYesNo

  进度跟踪console/logmessageswebpagewebpageJavaAPI

  Hadoopjob调度支持noyesyesyes

  运行模式commandlineutilitydaemondaemonAPI

  Pig支持yesyesyesyes

  事件通知nononoyes

  需要安装noyesyesno

  支持的hadoop版本0.18+0.20+currentlyunknown0.18+

  重试支持noworkflownodeevelyesyes

  运行任意命令yesyesyesyes

  AmazonEMR支持yesnocurrentlyunknownyes

  2.1.5Azkaban与Oozie对比

  对市面上最流行的两种调度器,给出以下详细对比,以供技术选型参考。总体来说,ooize相比azkaban是一个重量级的任务调度系统,功能全面,但配置使用也更复杂。如果可以不在意某些功能的缺失,轻量级调度器azkaban是很不错的候选对象。

  详情如下:

  功能

  两者均可以调度mapreduce,pig,java,脚本工作流任务

  两者均可以定时执行工作流任务

  工作流定义

  Azkaban使用Properties文件定义工作流

  Oozie使用XML文件定义工作流

  工作流传参

  Azkaban支持直接传参,例如[MathProcessingError]{fs:dirSize(myInputDir)}

  定时执行

  Azkaban的定时执行任务是基于时间的

  Oozie的定时执行任务基于时间和输入数据

  资源管理

  Azkaban有较严格的权限控制,如用户对工作流进行读/写/执行等操作

  Oozie暂无严格的权限控制

  工作流执行

  Azkaban有两种运行模式,分别是soloservermode(executorserver和webserver部署在同一台节点)和multiservermode(executorserver和webserver可以部署在不同节点)

  Oozie作为工作流服务器运行,支持多用户和多工作流

  工作流管理

  Azkaban支持浏览器以及ajax方式操作工作流

  Oozie支持命令行、HTTPREST、JavaAPI、浏览器操作工作流

  2.2Azkaban介绍

  Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。

  它有如下功能特点:

  Web用户界面

  方便上传工作流

  方便设置任务之间的关系

  调度工作流

  认证/授权(权限的工作)

  能够杀死并重新启动工作流

  模块化和可插拔的插件机制

  项目工作区

  工作流和任务的日志记录和审计

  Azkaban官网

  它有三个重要组件:

  1.关系数据库(目前仅支持mysql)

  2.web管理服务器-AzkabanWebServer

  3.执行服务器-AzkabanExecutorServer

  3Azkaban安装部署

  准备工作

  AzkabanWeb服务器

  azkaban-web-server-2.5.0.tar.gz

  Azkaban执行服务器

  azkaban-executor-server-2.5.0.tar.gz

  MySQL

  目前azkaban只支持mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了root用户,密码root.

  下载地址:http://azkaban.github.io/downloads.html

  azkaban-executor-server-2.5.0.tar.gz(执行服务器)

  azkaban-web-server-2.5.0.tar.gz(管理服务器)

  azkaban-sql-script-2.5.0.tar.gz(mysql脚本)

  Azkaban有三种运行模式:

  soloservermode:最简单的模式,数据库内置的H2数据库,管理服务器和执行服务器都在一个进程中运行,任务量不大项目可以采用此模式。

  twoservermode:数据库为mysql,管理服务器和执行服务器在不同进程,这种模式下,管理服务器和执行服务器互不影响

  multipleexecutormode:该模式下,执行服务器和管理服务器在不同主机上,且执行服务器可以有多个。

  我们项目要求不是太高,我这次采用第二种模式,管理服务器、执行服务器分进程,但在同一台主机上。

  安装

  将安装文件上传到集群,最好上传到安装hive、sqoop的机器上,方便命令的执行

  在当前用户目录下新建azkabantools目录,用于存放源安装文件.新建azkaban目录,用于存放azkaban运行程序

  azkabanweb服务器安装

  解压azkaban-web-server-2.5.0.tar.gz

  命令:tar–zxvfazkaban-web-server-2.5.0.tar.gz

  将解压后的azkaban-web-server-2.5.0移动到azkaban目录中,并重新命名webserver

  命令:mvazkaban-web-server-2.5.0../azkaban

  cd../azkaban

  mvazkaban-web-server-2.5.0server

  azkaban执行服器安装

  解压azkaban-executor-server-2.5.0.tar.gz

  命令:tar–zxvfazkaban-executor-server-2.5.0.tar.gz

  将解压后的azkaban-executor-server-2.5.0移动到azkaban目录中,并重新命名executor

  命令:mvazkaban-executor-server-2.5.0../azkaban

  cd../azkaban

  mvazkaban-executor-server-2.5.0executor

  azkaban脚本导入

  解压:azkaban-sql-script-2.5.0.tar.gz

  命令:tar–zxvfazkaban-sql-script-2.5.0.tar.gz

  将解压后的mysql脚本,导入到mysql中:

  进入mysql

  mysql>createdatabaseazkaban;

  mysql>useazkaban;

  Databasechanged

  mysql>source/home/hadoop/azkaban-2.5.0/create-all-sql-2.5.0.sql;

  创建SSL配置

  参考地址:http://docs.codehaus.org/display/JETTY/How+to+configure+SSL

  配置SSL的KeyStore

  在需要输入密码的地方,输入上面配置文件中的password参数,我的密码是123456。

  keytool-genkey-keystorekeystore-aliasjetty-azkaban-keyalgRSA-validity3560

  keytool-export-aliasjetty-azkaban-keystorekeystore-rfc-fileselfsignedcert.cer

  keytool-import-aliascertificatekey-fileselfsignedcert.cer-keystoretruststore

  将上面生成的keystore和truststore文件移动到$AK_HOME/web路径下。

  如果需要删除,使用如下命令。

  keytool-delete-aliasjetty-azkaban-keystorekeystore-storepassazkaban

  命令:keytool-keystorekeystore-aliasjetty-genkey-keyalgRSA

  运行此命令后,会提示输入当前生成keystor的密码及相应信息,输入的密码请劳记,信息如下:

  输入keystore密码:

  再次输入新密码:

  您的名字与姓氏是什么?

  [Unknown]:

  您的组织单位名称是什么?

  [Unknown]:

  您的组织名称是什么?

  [Unknown]:

  您所在的城市或区域名称是什么?

  [Unknown]:

  您所在的州或省份名称是什么?

  [Unknown]:

  该单位的两字母国家代码是什么

  [Unknown]:CN

  CN=Unknown,OU=Unknown,O=Unknown,L=Unknown,ST=Unknown,C=CN正确吗?

  [否]:y

  输入的主密码

  (如果和keystore密码相同,按回车):

  再次输入新密码:

  完成上述工作后,将在当前目录生成keystore证书文件,将keystore考贝到azkabanweb服务器根目录中.如:cpkeystore/opt/apps/azkaban/azkaban-web-2.5.0/web

  配置文件

  注:先配置好服务器节点上的时区

  1、先生成时区配置文件Asia/Shanghai,用交互式命令tzselect即可

  2、拷贝该时区文件,覆盖系统本地时区配置

  cp/usr/share/zoneinfo/Asia/Shanghai/etc/localtime

  azkabanweb服务器配置

  进入azkabanweb服务器安装目录conf目录

  修改azkaban.properties文件

  命令viazkaban.properties

  内容说明如下:

  AzkabanPersonalizationSettings

  azkaban.name=TestAzkaban#服务器UI名称,用于服务器上方显示的名字

  azkaban.label=MyLocalAzkaban#描述

  azkaban.color=#FF3601#UI颜色

  azkaban.default.servlet.path=/index#

  web.resource.dir=web/#默认根web目录

  default.timezone.id=Asia/Shanghai#默认时区,已改为亚洲/上海默认为美国

  AzkabanUserManagerclass

  user.manager.class=azkaban.user.XmlUserManager#用户权限管理默认类

  user.manager.xml.file=conf/azkaban-users.xml#用户配置,具体配置参加下文

  Loaderforprojects

  executor.global.properties=conf/global.properties#global配置文件所在位置

  azkaban.project.dir=projects#

  database.type=mysql#数据库类型

  mysql.port=3306#端口号

  mysql.host=www.ljt.cos01#数据库连接IP

  mysql.database=azkaban#数据库实例名

  mysql.user=root#数据库用户名

  mysql.password=123456#数据库密码

  mysql.numconnections=100#最大连接数

  Velocitydevmode

  velocity.dev.mode=false

  Jetty服务器属性.

  jetty.maxThreads=25#最大线程数

  jetty.ssl.port=8443#JettySSL端口

  jetty.port=8081#Jetty端口

  jetty.keystore=keystore#SSL文件名

  jetty.password=123456#SSL文件密码

  jetty.keypassword=123456#Jetty主密码与keystore文件相同

  jetty.truststore=keystore#SSL文件名

  jetty.trustpassword=123456#SSL文件密码

  执行服务器属性

  executor.port=12321#执行服务器端口

  邮件设置

  mail.sender=1329331182@qq.com#发送邮箱

  mail.host=smtp.163.com#发送邮箱smtp地址

  mail.user=xxxxxxxx#发送邮件时显示的名称

  mail.password=****#邮箱密码

  job.failure.email=xxxxxxxx@163.com#任务失败时发送邮件的地址

  job.success.email=xxxxxxxx@163.com#任务成功时发送邮件的地址

  lockdown.create.projects=false#

  cache.directory=cache#缓存目录

  azkaban执行服务器executor配置

  进入执行服务器安装目录conf,修改azkaban.properties

  viazkaban.properties

  Azkaban

  default.timezone.id=Asia/Shanghai#时区

  AzkabanJobTypes插件配置

  azkaban.jobtype.plugin.dir=plugins/jobtypes#jobtype插件所在位置

  Loaderforprojects

  executor.global.properties=conf/global.properties

  azkaban.project.dir=projects

  数据库设置

  database.type=mysql#数据库类型(目前只支持mysql)

  mysql.port=3306#数据库端口号

  mysql.host=192.168.20.200#数据库IP地址

  mysql.database=azkaban#数据库实例名

  mysql.user=root#数据库用户名

  mysql.password=root#数据库密码

  mysql.numconnections=100#最大连接数

  执行服务器配置

  executor.maxThreads=50#最大线程数

  executor.port=12321#端口号(如修改,请与web服务中一致)

  executor.flow.threads=30#线程数

  用户配置

  进入azkabanweb服务器conf目录,修改azkaban-users.xml

  viazkaban-users.xml增加管理员用户

  启动

  web服务器

  在azkabanweb服务器目录下执行启动命令

  bin/azkaban-web-start.sh

  注:在web服务器根目录运行

  或者启动到后台

  nohupbin/azkaban-web-start.sh1>/tmp/azstd.out2>/tmp/azerr.out&

  执行服务器

  在执行服务器目录下执行启动命令

  bin/azkaban-executor-start.sh

  注:只能要执行服务器根目录运行

  启动完成后,在浏览器(建议使用谷歌浏览器)中输入https://服务器IP地址:8443,即可访问azkaban服务了.在登录中输入刚才新的户用名及密码,点击login.

  https://www.ljt.cos01:8443

  AzkabanPlugins安装

  Azkaban在设计上把核心功能和扩展插件分开了,因此可以很方便的为Azkaban安装一些有用的插件。目前已有的插件主要有以下几类:

  页面可视化插件。比如HDFSView和Reportal

  Trigger插件

  用户管理插件。可以自定义一些用户登录验证功能

  报警插件

  接下来对每一种插件的安装和配置进行分析,某些插件安装在Web端,某些插件需要安装在Executor端。

  1、HDFSViewerPlugins

  这个插件安装在Web端。

  (1)修改配置文件

  在[MathProcessingError]AK_HOME/plugins/viewer/hdfs路径下去寻找新的插件。所以,我们需要在[MathProcessingError]AK_HOME/plugins/viewer/hdfs/extlib/hadoop-core-1.0.4.jar,不然会报ClassNotFound的错。删除后,该插件的extlib路径下已为空。

  将hadoop中如下jar包复制到[MathProcessingError]HADOOP_HOME/etc/hadoop/core-site.xml文件复制到[MathProcessingError]Ak_HOME/extlib路径下使用jar-ufhadoop-common-2.6.0.jarcore-site.xml命令将core-site.xml文件添加到jar包中

  最终hadoop-common-2.6.0.jar的文件结构如下图:

  启动WebServer,在页面中就可以看到HDFS文件目录了。

  也可以直接打开hdfs上的可读文件。

  上面的htrace-core-3.0.4.jar也是必须的jar包,没有这个的话,会报错java.lang.NoClassDefFoundError:org/htrace/Trace,如下图

  2、AzkabanJobtype

  这个插件安装在ExecutorServer端。

  Azkaban可以运行一些简单的Job比如Unix命令行操作以及简单的Java程序。如果需要运行HadoopJava,Pig,Hive等类型的Job时,就需要安装这个插件了。

  安装Jobtype插件需要预先安装好Hadoop和hive。我的Hadoop版本为2.6.0,安装路径/usr/local/hadoop,Hive版本0.13.1,安装路径/usr/local/hive

  (1)解压缩

  将前面下载的azkaban-jobtype-2.5.0.tar.gz上传到m001的[MathProcessingError]AK_HOME/conf/azkaban.properties,在最后新增一行

  azkaban.jobtype.plugin.dir=plugins/jobtypes

  这个参数告诉Azkaban到[MathProcessingError]AK_HOME/plugins/jobtypes/common.properties文件,设置以下三个参数:

  hadoop.home=/usr/local/hadoop

  hive.home=/usr/local/hive

  pig.home=

  azkaban.should.proxy=

  jobtype.global.classpath=[MathProcessingError]{hadoop.home}/share/hadoop/common/,[MathProcessingError]{hadoop.home}/share/hadoop/hdfs/,[MathProcessingError]{hadoop.home}/share/hadoop/yarn/,[MathProcessingError]{hadoop.home}/share/hadoop/mapreduce/,[MathProcessingError]AK_HOME/plugins/jobtypes/commonprivate.properties文件中的hadoop.home和hive.home

  (c)修改[MathProcessingError]{hive.home}/conf,${hive.home}/lib/*

  最后重新重启AzkabanExecutorServer,使新的插件生效。

广告内容

工作流调度器azkaban安装 工作流调度器azkaban安装 工作流调度器azkaban安装

相关阅读

热门评论

米凯 米凯

资深SEO从业者,8年的从业经验,擅长黑猫玩法~

总篇数35

精选文章

自媒体挣钱真这么简单? 十年前并驾齐驱,是什么成全了谷歌磨灭了百度 那些假装成 AI 的人类:机器你能取代我吗? mysql优化 show命令 慢查询日志 explain profiling 【海口SEO】如何让你的关键词排名更靠前 【朗创网络营销】seo蜘蛛精对seo优化有作用吗? 【田野工作室】你真的懂SEO吗 2017MADCon中国互联网优化大会 站长的人品决定这他的收入 微信小程序上线一月即遇冷,这是失败前兆吗?

SEO最新算法