玩转阿里云EMR三部曲-中级篇 集成自有服务-阿里云开发者社区

开发者社区> 阿里云EMR> 正文

玩转阿里云EMR三部曲-中级篇 集成自有服务

简介: 玩转阿里云EMR三部曲-中级篇 集成自有服务 作者:邓力,entobit技术总监,八年大数据从业经历,由一代hadoop入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。

玩转阿里云EMR三部曲-中级篇 集成自有服务

作者:邓力,entobit技术总监,八年大数据从业经历,由一代hadoop入坑,深耕云计算应用领域,由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域,对大数据生态及框架应用有深刻理解。

引言

笔者近几年工作以架构为主,本系列文章旨在从系统架构层面提供一定参考和帮助。
本文默认阅读文章的小伙伴们有MR/SPARK等基础,文中不再重复介绍相关知识。
本文为玩转阿里云EMR系列第二篇,第一篇文章为基础介绍和样例实战,可以查看玩转阿里云EMR三部曲-入门篇

集成自有服务与EMR

从2016公测到最新的EMR版本,成本控制与集成服务一直是我们需要解决的难题。成本可以通过按量集群控制,按照需求启动合理规模的集群并按小时付费。于是自有服务集成是关键问题

自有服务

各公司或者组织内部提供API接口/调度响应及其他类型的服务

集成场景
  • 资源隔离
  • 弹性扩展
  • 高并发
  • 低成本

资源隔离:离线计算使用的自有服务不能和产品线公用,否则导致高并发情况下生产线体验下降
弹性扩展:随着离线计算的规模对应伸缩
高并发:提供高并发访问支持
低成本:成本可以按小时计费,并且没有额外费用

架构分析

平台下自有solr集群,离线计算任务需要利用solr集群查询获取文本相似的内容,直接使用生产线集群会降低用户访问体验甚至导致生产环境不可用。

那么是否可以利用EMR集成自有solr集群?

EMR引导操作

在启动EMR集群前可以初始化用户自定义脚本,创建用户自有服务或者环境。详细参考引导操作

引导操作分为两种类型:

  • 自定义操作
    用户完全自定义脚本类型,任意服务或者环境都可以指定安装
  • 运行条件
    基于EMR官方提供的run-if.py按条件执行

技巧:

  • 自定义操作下可以基于节点类型并安装指定的应用和服务
  • 自定义脚本内文件可以使用OSS存放
集成方案
  1. 利用引导操作在EMR集群MASTER服务器安装solr服务
  2. 利用引导操作在EMR集群所有节点安装solr服务

其中1只对于MASTER节点有高配置需求,2对于所有节点有高配置要求。1成本更低,2并发更高。根据实际按需选择。
这里选择方案2
注:使用方案1时需要判断节点类型

实现细节

基于方案2,利用EMR按量需求操作如下:

  1. 修改集群模板配置,选择高配机型,建议使用16C64G实例。在集群模板高级设置中,添加引导操作并保存
    1
  2. 编写installSolr.sh并上传OSS

    #! /bin/bash
    downloadJar() {
      mkdir  /mnt/work
      osscmd --id=xxxx --key=yyyy -H oss-cn-beijing-internal.aliyuncs.com --replace=true downloadallobject oss://zzz/jar/ /mnt/work/
    }
    
    installENV() {
      cd /mnt/work/lib/
      tar -xzf solr.tar.gz
      cd solr/bin
      ./solr start -p 8983
    }
    
    main() {
      downloadJar
      installENV
    }
    
    main
  3. 复制solr服务打包为tar.gz文件并上传至对应步骤2中的OSS://zzz/jar/路径

    cp -r solr targetDir/
    cd targetDir/
    tar -czf solr.tar.gz solr
    osscmd put solr.tar.gz oss://zzz/jar/
  4. 编写spark任务调用solr接口数据并验证返回值
    由于采用的方案2,每个集群节点都有solr服务,此时可以利用本机的节点查询, 核心代码部分

      #! /usr/bin/python
      import requst, sys
      from pyspark import SparkContext
      from pyspark import SparkConf
      from pyspark.sql import SQLContext
      ...
      def solrCaller(item):
        keyword=item['keyword']
        r=request.post('http://127.0.0.1:8983?q='+keyword)
        return r.text
    
      if __name__ == "__main__":
          reload(sys)
          sys.setdefaultencoding('utf-8')
          conf = SparkConf().setAppName("solr spark with oss")
          conf = conf.set("spark.hadoop.fs.oss.impl", "com.aliyun.emr.fs.oss.OssFileSystem")
          sc = SparkContext(conf=conf)
          sqlContext = SQLContext(sc)
          indexRDD = sc.textFile("oss://xxx:yyy@zzz/data/")
          indexSQL = sqlContext.read.json(indexRDD)
          indexDF = sqlContext.sql("select keyword, id from indexSQL")
          indexDF.map(solrCaller).collect()
      ...
  5. 选用solr集成模板并执行作业流

更多思考

以上是使用过程中遇到的问题及解决方案,该方案还有提升空间,比如利用节点随机请求数据,可以进一步优化资源。

除次之外还可以利用引导操作安装各种环境,比如python依赖的分词包,mysql驱动等等。
如果集群无法满足并发需求,可以继续增加节点。包月集群可以使用弹性伸缩功能

总结:

利用EMR引导操作可以使用自定义脚本安装任意自有服务和环境,隔离计算和生产资源,并在极致成本控制下最大化并发和可扩展性。完整的自定义设计可以满足任意自有服务构建的集成需要。

欢迎对EMR及相关技术感兴趣的同学进钉钉群一起讨论 :)

4

版权声明:本文中所有内容均属于阿里云开发者社区所有,任何媒体、网站或个人未经阿里云开发者社区协议授权不得转载、链接、转贴或以其他方式复制发布/发表。申请授权请邮件developerteam@list.alibaba-inc.com,已获得阿里云开发者社区协议授权的媒体、网站,在转载使用时必须注明"稿件来源:阿里云开发者社区,原文作者姓名",违者本社区将依法追究责任。 如果您发现本社区中有涉嫌抄袭的内容,欢迎发送邮件至:developer2020@service.aliyun.com 进行举报,并提供相关证据,一经查实,本社区将立刻删除涉嫌侵权内容。

分享:
+ 订阅

阿里巴巴开源大数据技术团队成立阿里云EMR技术圈, 每周推送前沿技术文章,直播分享经典案例、在线答疑,营造纯粹的开源大数据氛围,欢迎加入!加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11

官方博客
官网链接