鱼跟猫_个人页

个人头像照片 鱼跟猫
个人头像照片
17
14
0

个人介绍

开源计算爱好者

擅长的技术

  • Java
获得更多能力
通用技术能力:

暂时未有相关通用技术能力~

云产品技术能力:

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2019年09月

2019年07月

  • 07.15 11:06:20
    发表了文章 2019-07-15 11:06:20

    【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

    现在还没有一个统一的流式SQL语法标准,各家都在做自己的。本文在一些业界应用的基础上提出了一个统一SQL语法的建议。Spark同样存在这个问题,社区版本在流式SQL上迟迟没有动作。EMR Spark在今年上半年提供了自己设计版本的流式SQL支持,也会在后续的更新中吸收和支持这些优秀的设计建议。

2019年06月

  • 06.26 17:15:42
    发表了文章 2019-06-26 17:15:42

    使用Spark SQL进行流式机器学习计算(上)

    今天来和大家简单说一下如何使用Spark SQL进行流式数据的机器学习处理
  • 06.17 11:28:03
    发表了文章 2019-06-17 11:28:03

    通过Spark SQL实时归档SLS数据

    我在前一篇文章介绍过基于Spark SQL实现对HDFS操作的实时监控报警。今天,我再举例说明一下如何使用Spark SQL进行流式应用的开发。
  • 发表了文章 2019-09-29

    EMR上如何进行流式SQL调试

  • 发表了文章 2019-07-15

    【译】用SQL统一所有:一种有效的、语法惯用的流和表管理方法

  • 发表了文章 2019-06-26

    使用Spark SQL进行流式机器学习计算(上)

  • 发表了文章 2019-06-17

    通过Spark SQL实时归档SLS数据

  • 发表了文章 2019-04-12

    基于Spark SQL实现对HDFS操作的实时监控报警

  • 发表了文章 2019-03-20

    如何在E-MapReduce上进行Kafka集群间数据复制

  • 发表了文章 2019-02-26

    通过WebUI查看Structured Streaming作业统计信息

  • 发表了文章 2018-08-09

    一种堆外内存缓存策略加速数据写OSS

  • 发表了文章 2018-08-09

    E-MapReduce上如何采集Kafka客户端Metrics

  • 发表了文章 2018-05-11

    如何使用Kafka Connect实现同步RDS binlog数据

  • 发表了文章 2018-03-01

    E-MapReduce Kafka Benchmark - I

  • 发表了文章 2018-02-09

    如何在E-MapReduce上提交Storm作业处理Kafka数据

  • 发表了文章 2017-11-16

    E-MapReduce上如何升级EMR-Core

  • 发表了文章 2016-12-21

    如何在E-MapReduce上使用引导操作安装kafka组件

  • 发表了文章 2016-09-22

    尝新阿里云E-MapReduce MetaService服务

  • 发表了文章 2016-05-05

    如何使用RDS创建Hive元数据库

  • 发表了文章 2016-03-24

    如何在E-MapReduce中玩转OSS

正在加载, 请稍后...
滑动查看更多
  • 回答了问题 2019-07-17

    阿里云MQS,ONS,MNS,这三个什么区别?

    踩0 评论0
  • 回答了问题 2019-07-17

    在E-MapReduce中使用pyspark访问hive数据时报错

    使用pyspark时需要指定一个“mysql-connector-java” jar包,运行命令行如下:

        /opt/apps/spark-1.6.1-bin-hadoop2.6/bin/pyspark --driver-class-path /opt/apps/apache-hive-2.0.0-bin/lib/mysql-connector-java-3.1.14-bin.jar
    踩0 评论0
  • 提交了问题 2016-06-12

    在E-MapReduce中使用pyspark访问hive数据时报错

  • 回答了问题 2019-07-17

    hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败

    我碰到的场景是修改zeppline的解释器的Spark master参数为yarn-client解决的

    踩0 评论0
  • 提交了问题 2016-06-01

    hadoop HA 集群中使用zeppline的Spark sql访问Hive数据失败

  • 回答了问题 2019-07-17

    E-MapReduce的hive作业如何加载自定义jar包

    目前还不支持方便地加载OSS中的jar包,建议执行计划中加一个hadoop作业: hadoop fs -get oss://xxx localpath绕过。

    踩0 评论0
  • 回答了问题 2019-07-17

    Hive作业中的自定义解析jar出现“ClassNotFoundException:com.alibaba.fastjson.JSONObject ”

    自定义解析jar需要打成一个fat包,将需要的依赖包打进去

    踩0 评论0
  • 提交了问题 2016-05-24

    Hive作业中的自定义解析jar出现“ClassNotFoundException:com.alibaba.fastjson.JSONObject ”

  • 提交了问题 2016-05-24

    E-MapReduce的hive作业如何加载自定义jar包

  • 回答了问题 2019-07-17

    MapReduce作业读写OSS报错

    检查OSS的endpioint是否正确

    踩0 评论0
  • 提交了问题 2016-05-24

    MapReduce作业读写OSS报错

  • 回答了问题 2019-07-17

    pom中已经添加了emr-core-1.1.2但还是出现OdpsOps类找不到的问题。

    E-MapReduce产品文档https://help.aliyun.com/document_detail/28116.html?spm=5176.product9091098_28066.6.137.i8mWzk 说明了emr-sdk支持了ODPS数据源的操作接口
    所以需要添加

            <dependency>
                <groupId>com.aliyun.emr</groupId>
                <artifactId>emr-sdk_2.10</artifactId>
                <version>1.1.2</version>
            </dependency>
    踩0 评论0
  • 提交了问题 2016-05-23

    pom中已经添加了emr-core-1.1.2但还是出现OdpsOps类找不到的问题。

  • 回答了问题 2019-07-17

    ECS按量付费有高配机型吗?

    可以给ECS提工单开通高配机型。另外如果有集群需求的话可以了解下阿里云的E-MapReduce。

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息