鸿初
鸿初_个人页
鸿初
文章
21
问答
30
视频
0
个人介绍
阿里云-EMR团队成员，致力于推广开源大数据在云上的应用
擅长的技术
暂无更多信息
暂无更多信息
-
发表了文章
2018-05-11
都是default惹的祸-yarn调度（一）-fair调度器drf调度策略作业不执行问题的调查和源码分析
-
发表了文章
2018-04-15
为什么要写技术文章-我对写作收获的理解
-
发表了文章
2018-04-11
hive在E-MapReduce集群的实践（一）hive异常排查入门
-
发表了文章
2018-03-13
Step by step，学习EMR集群的fair类型资源池
-
发表了文章
2018-03-06
hive在E-MapReduce集群的实践（二）集群hive参数优化
-
发表了文章
2018-01-18
自建hadoop集群迁移到EMR之数据迁移篇
-
发表了文章
2017-11-02
用集群脚本功能安装大象医生优化你的大数据作业
-
发表了文章
2016-10-09
用集群脚本功能让2.0.0及之前版本的包月集群presto支持读取oss数据
-
发表了文章
2016-09-26
E-MapReduce集群脚本-包年包月集群修改软件环境的利器
-
发表了文章
2016-09-26
E-MapReduce的Presto组件默认支持访问oss数据
-
发表了文章
2016-08-15
用引导操作打通presto访问oss数据
-
发表了文章
2016-08-07
20160808北京云栖大会workshop-EMapReduce分析网站数据
-
发表了文章
2016-07-27
用引导操作给E-MapReduce集群安装impala
-
发表了文章
2016-06-28
Presto实现原理（转）
-
发表了文章
2016-06-28
Presto，来自Facebook的开源分布式查询引擎
-
发表了文章
2016-06-12
用引导操作给E-MapReduce集群安装presto组件
-
发表了文章
2016-06-03
【转】Spark 2.0 技术预览版:更简单、更快速、更智
-
发表了文章
2016-05-27
使用E-MapReduce集群sqoop组件同步云外Oracle数据库数据到集群hive
-
发表了文章
2016-05-20
2016中国spark技术峰会见闻摘要
-
发表了文章
2016-05-13
用Aliyun E-MapReduce集群的sqoop工具和数据库同步数据如何配置网络
滑动查看更多
-
回答了问题
2019-07-17
E-MapReduce创建集群时没有勾选presto 现在想启动presto
presto安装目录是/usr/lib/presto-current
日志目录是/mnt/disk1/log/presto先初始化，再启动
初始化：
每个节点的/usr/local/emr/emr-bin/script/presto/init.sh，
先改masterIp=#master_ip#，将#master_ip#改为emr-header-1节点的内网ip再执行该脚本
启动命令：
emr-header-1 用su -l hdfs -c "/usr/lib/presto-current/bin/launcher --config=/usr/lib/presto-current/etc/coordinator-config.properties start"
其他节点用su -l hdfs -c "/usr/lib/presto-current/bin/launcher --config=/usr/lib/presto-current/etc/worker-config.properties start"赞2 踩0 评论0 -
提交了问题
2016-11-28
E-MapReduce创建集群时没有勾选presto 现在想启动presto
-
回答了问题
2019-07-17
E-MR spark 本地测试读写odps 会默认限制数据条数吗
没有
赞1 踩0 评论0 -
提交了问题
2016-06-14
E-MR spark 本地测试读写odps 会默认限制数据条数吗
-
回答了问题
2019-07-17
EMR创建完后网页上支持升级到新的EMR版本么
目前emr版本不支持升级
赞1 踩0 评论0 -
提交了问题
2016-06-14
EMR创建完后网页上支持升级到新的EMR版本么
-
回答了问题
2019-07-17
创建完EMR集群之后可以对单独的组件进行配置更改或者版本升级么？可以添加自定义的组件之类的么？
创建时可以用软件配置和引导操作更改配置，添加自定义组件,创建完成后目前只能登陆ecs手工修改安装
赞0 踩0 评论0 -
提交了问题
2016-06-14
创建完EMR集群之后可以对单独的组件进行配置更改或者版本升级么？可以添加自定义的组件之类的么？
-
回答了问题
2019-07-17
如何登陆E-MapReduce的core节点
可以先ssh master，再用hadoop账户ssh上去，已经打通master到core节点hadoop账户免密码ssh了
赞1 踩0 评论0 -
提交了问题
2016-06-14
如何登陆E-MapReduce的core节点
-
回答了问题
2019-07-17
用E-MapReduce sqoop同步私有公网数据库为什么要创建VPC集群
sqoop是用map任务同步数据，由于经典网络EMR集群只有master节点可以访问公网，sqoop是用map任务同步数据可能在任意节点上运行，所以需要创建VPC集群同步私有公网数据库
https://yq.aliyun.com/articles/43799?spm=5176.team18.teamshow1.61.uLsfCq赞0 踩0 评论0 -
提交了问题
2016-05-27
用E-MapReduce sqoop同步私有公网数据库为什么要创建VPC集群
-
回答了问题
2019-07-17
用E-MapReduce sqoop产品导入数据后为什么hdfs目录是空的
这是因为指定了导入到hive的表里，
hive 表有自己的hdfs目录
sqoop会先先导入到指定的hdfs目录
然后mv进hive自己的目录里赞1 踩0 评论0 -
提交了问题
2016-05-27
用E-MapReduce sqoop产品导入数据后为什么hdfs目录是空的
-
回答了问题
2019-07-17
E-MapReduce产品用sqoop同步数据hdfs目录要提前创建好么
为了避免脏数据，默认的用法，指定的目录不能存在，存在会报错，sqoop会创建这个目录并把数据文件放进去。
如果需要往已存在的目录导入，要用--apend参数，可以参考 https://yq.aliyun.com/articles/38620赞0 踩0 评论0 -
提交了问题
2016-05-27
E-MapReduce产品用sqoop同步数据hdfs目录要提前创建好么
-
回答了问题
2019-07-17
sqoop还有哪些参数可以设置
赞1 踩0 评论0 -
提交了问题
2016-05-25
sqoop还有哪些参数可以设置
-
回答了问题
2019-07-17
E-MapReduce产品 hive有客户端吗，就类似pl/sql的窗口那样
赞1 踩0 评论0 -
提交了问题
2016-05-25
E-MapReduce产品 hive有客户端吗，就类似pl/sql的窗口那样
滑动查看更多
暂无更多信息