鸿初个人页面-阿里云开发者社区

21
30

个人介绍

阿里云-EMR团队成员,致力于推广开源大数据在云上的应用

擅长的技术

获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息
  • 发表了文章 2018-05-11

    都是default惹的祸-yarn调度(一)-fair调度器drf调度策略作业不执行问题的调查和源码分析

  • 发表了文章 2018-04-15

    为什么要写技术文章-我对写作收获的理解

  • 发表了文章 2018-04-11

    hive在E-MapReduce集群的实践(一)hive异常排查入门

  • 发表了文章 2018-03-13

    Step by step,学习EMR集群的fair类型资源池

  • 发表了文章 2018-03-06

    hive在E-MapReduce集群的实践(二)集群hive参数优化

  • 发表了文章 2018-01-18

    自建hadoop集群迁移到EMR之数据迁移篇

  • 发表了文章 2017-11-02

    用集群脚本功能安装大象医生优化你的大数据作业

  • 发表了文章 2016-10-09

    用集群脚本功能让2.0.0及之前版本的包月集群presto支持读取oss数据

  • 发表了文章 2016-09-26

    E-MapReduce集群脚本-包年包月集群修改软件环境的利器

  • 发表了文章 2016-09-26

    E-MapReduce的Presto组件默认支持访问oss数据

  • 发表了文章 2016-08-15

    用引导操作打通presto访问oss数据

  • 发表了文章 2016-08-07

    20160808北京云栖大会workshop-EMapReduce分析网站数据

  • 发表了文章 2016-07-27

    用引导操作给E-MapReduce集群安装impala

  • 发表了文章 2016-06-28

    Presto实现原理(转)

  • 发表了文章 2016-06-28

    Presto,来自Facebook的开源分布式查询引擎

  • 发表了文章 2016-06-12

    用引导操作给E-MapReduce集群安装presto组件

  • 发表了文章 2016-06-03

    【转】Spark 2.0 技术预览版:更简单、更快速、更智

  • 发表了文章 2016-05-27

    使用E-MapReduce集群sqoop组件同步云外Oracle数据库数据到集群hive

  • 发表了文章 2016-05-20

    2016中国spark技术峰会见闻摘要

  • 发表了文章 2016-05-13

    用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    E-MapReduce创建集群时没有勾选presto 现在想启动presto

    presto安装目录是/usr/lib/presto-current
    日志目录是/mnt/disk1/log/presto

    先初始化,再启动

    初始化:
    每个节点的/usr/local/emr/emr-bin/script/presto/init.sh,
    先改masterIp=#master_ip#,将#master_ip#改为emr-header-1节点的内网ip

    再执行该脚本

    启动命令:
    emr-header-1 用su -l hdfs -c "/usr/lib/presto-current/bin/launcher --config=/usr/lib/presto-current/etc/coordinator-config.properties start"
    其他节点用su -l hdfs -c "/usr/lib/presto-current/bin/launcher --config=/usr/lib/presto-current/etc/worker-config.properties start"

    踩0 评论0
  • 提交了问题 2016-11-28

    E-MapReduce创建集群时没有勾选presto 现在想启动presto

  • 回答了问题 2019-07-17

    E-MR spark 本地测试读写odps 会默认限制数据条数吗

    没有

    踩0 评论0
  • 提交了问题 2016-06-14

    E-MR spark 本地测试读写odps 会默认限制数据条数吗

  • 回答了问题 2019-07-17

    EMR创建完后网页上支持升级到新的EMR版本么

    目前emr版本不支持升级

    踩0 评论0
  • 提交了问题 2016-06-14

    EMR创建完后网页上支持升级到新的EMR版本么

  • 回答了问题 2019-07-17

    创建完EMR集群之后可以对单独的组件进行配置更改或者版本升级么?可以添加自定义的组件之类的么?

    创建时可以用软件配置和引导操作更改配置,添加自定义组件,创建完成后目前只能登陆ecs手工修改安装

    踩0 评论0
  • 提交了问题 2016-06-14

    创建完EMR集群之后可以对单独的组件进行配置更改或者版本升级么?可以添加自定义的组件之类的么?

  • 回答了问题 2019-07-17

    如何登陆E-MapReduce的core节点

    可以先ssh master,再用hadoop账户ssh上去,已经打通master到core节点hadoop账户免密码ssh了

    踩0 评论0
  • 提交了问题 2016-06-14

    如何登陆E-MapReduce的core节点

  • 回答了问题 2019-07-17

    用E-MapReduce sqoop同步私有公网数据库为什么要创建VPC集群

    sqoop是用map任务同步数据,由于经典网络EMR集群只有master节点可以访问公网,sqoop是用map任务同步数据可能在任意节点上运行,所以需要创建VPC集群同步私有公网数据库
    https://yq.aliyun.com/articles/43799?spm=5176.team18.teamshow1.61.uLsfCq

    踩0 评论0
  • 提交了问题 2016-05-27

    用E-MapReduce sqoop同步私有公网数据库为什么要创建VPC集群

  • 回答了问题 2019-07-17

    用E-MapReduce sqoop产品导入数据后为什么hdfs目录是空的

    这是因为指定了导入到hive的表里,
    hive 表有自己的hdfs目录
    sqoop会先先导入到指定的hdfs目录
    然后mv进hive自己的目录里

    踩0 评论0
  • 提交了问题 2016-05-27

    用E-MapReduce sqoop产品导入数据后为什么hdfs目录是空的

  • 回答了问题 2019-07-17

    E-MapReduce产品用sqoop同步数据hdfs目录要提前创建好么

    为了避免脏数据,默认的用法,指定的目录不能存在,存在会报错,sqoop会创建这个目录并把数据文件放进去。
    如果需要往已存在的目录导入,要用--apend参数,可以参考 https://yq.aliyun.com/articles/38620

    踩0 评论0
  • 提交了问题 2016-05-27

    E-MapReduce产品用sqoop同步数据hdfs目录要提前创建好么

  • 回答了问题 2019-07-17

    sqoop还有哪些参数可以设置

    踩0 评论0
  • 提交了问题 2016-05-25

    sqoop还有哪些参数可以设置

  • 回答了问题 2019-07-17

    E-MapReduce产品 hive有客户端吗,就类似pl/sql的窗口那样

    踩0 评论0
  • 提交了问题 2016-05-25

    E-MapReduce产品 hive有客户端吗,就类似pl/sql的窗口那样

正在加载, 请稍后...
滑动查看更多