鱼跟猫个人页面-阿里云开发者社区

个人头像照片 鱼跟猫 TA的个人档案

个人介绍

开源计算爱好者

擅长的技术

  • Java
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
  • 高分内容
  • 最新动态
  • 文章
  • 问答
正在加载, 请稍后...
滑动查看更多

2019年09月

  • 09.29 12:17:37
    发表了文章 2019-09-29 12:17:37

    EMR上如何进行流式SQL调试

    EMR上如何进行流式SQL调试

2019年07月

  • 07.15 11:06:20
    发表了文章 2019-07-15 11:06:20

    【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

    【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

2019年06月

  • 06.26 17:15:42
    发表了文章 2019-06-26 17:15:42

    使用Spark SQL进行流式机器学习计算(上)

    使用Spark SQL进行流式机器学习计算(上)
  • 06.17 11:28:03
    发表了文章 2019-06-17 11:28:03

    通过Spark SQL实时归档SLS数据

    通过Spark SQL实时归档SLS数据
正在加载, 请稍后...
滑动查看更多
  • 发表了文章 2019-09-29

    EMR上如何进行流式SQL调试

  • 发表了文章 2019-07-15

    【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

  • 发表了文章 2019-06-26

    使用Spark SQL进行流式机器学习计算(上)

  • 发表了文章 2019-06-17

    通过Spark SQL实时归档SLS数据

  • 发表了文章 2019-04-12

    基于Spark SQL实现对HDFS操作的实时监控报警

  • 发表了文章 2019-03-20

    如何在E-MapReduce上进行Kafka集群间数据复制

  • 发表了文章 2019-02-26

    通过WebUI查看Structured Streaming作业统计信息

  • 发表了文章 2018-08-09

    一种堆外内存缓存策略加速数据写OSS

  • 发表了文章 2018-08-09

    E-MapReduce上如何采集Kafka客户端Metrics

  • 发表了文章 2018-05-11

    如何使用Kafka Connect实现同步RDS binlog数据

  • 发表了文章 2018-03-01

    E-MapReduce Kafka Benchmark - I

  • 发表了文章 2018-02-09

    如何在E-MapReduce上提交Storm作业处理Kafka数据

  • 发表了文章 2017-11-16

    E-MapReduce上如何升级EMR-Core

  • 发表了文章 2016-12-21

    如何在E-MapReduce上使用引导操作安装kafka组件

  • 发表了文章 2016-09-22

    尝新阿里云E-MapReduce MetaService服务

  • 发表了文章 2016-05-05

    如何使用RDS创建Hive元数据库

  • 发表了文章 2016-03-24

    如何在E-MapReduce中玩转OSS

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    阿里云MQS,ONS,MNS,这三个什么区别?

    踩0 评论0
  • 回答了问题 2019-07-17

    在E-MapReduce中使用pyspark访问hive数据时报错

    使用pyspark时需要指定一个“mysql-connector-java” jar包,运行命令行如下:

        /opt/apps/spark-1.6.1-bin-hadoop2.6/bin/pyspark --driver-class-path /opt/apps/apache-hive-2.0.0-bin/lib/mysql-connector-java-3.1.14-bin.jar
    踩0 评论0
  • 提交了问题 2016-06-12

    在E-MapReduce中使用pyspark访问hive数据时报错

  • 回答了问题 2019-07-17

    hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败

    我碰到的场景是修改zeppline的解释器的Spark master参数为yarn-client解决的

    踩0 评论0
  • 提交了问题 2016-06-01

    hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败

  • 回答了问题 2019-07-17

    E-MapReduce的hive作业如何加载自定义jar包

    目前还不支持方便地加载OSS中的jar包,建议执行计划中加一个hadoop作业: hadoop fs -get oss://xxx localpath绕过。

    踩0 评论0
  • 回答了问题 2019-07-17

    Hive作业中的自定义解析jar出现“ClassNotFoundException:com.alibaba.fastjson.JSONObject ”

    自定义解析jar需要打成一个fat包,将需要的依赖包打进去

    踩0 评论0
  • 提交了问题 2016-05-24

    Hive作业中的自定义解析jar出现“ClassNotFoundException:com.alibaba.fastjson.JSONObject ”

  • 提交了问题 2016-05-24

    E-MapReduce的hive作业如何加载自定义jar包

  • 回答了问题 2019-07-17

    MapReduce作业读写OSS报错

    检查OSS的endpioint是否正确

    踩0 评论0
  • 提交了问题 2016-05-24

    MapReduce作业读写OSS报错

  • 回答了问题 2019-07-17

    pom中已经添加了emr-core-1.1.2但还是出现OdpsOps类找不到的问题。

    E-MapReduce产品文档https://help.aliyun.com/document_detail/28116.html?spm=5176.product9091098_28066.6.137.i8mWzk 说明了emr-sdk支持了ODPS数据源的操作接口
    所以需要添加

            <dependency>
                <groupId>com.aliyun.emr</groupId>
                <artifactId>emr-sdk_2.10</artifactId>
                <version>1.1.2</version>
            </dependency>
    踩0 评论0
  • 提交了问题 2016-05-23

    pom中已经添加了emr-core-1.1.2但还是出现OdpsOps类找不到的问题。

  • 回答了问题 2019-07-17

    ECS按量付费有高配机型吗?

    可以给ECS提工单开通高配机型。另外如果有集群需求的话可以了解下阿里云的E-MapReduce。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多