开源大数据周刊-第78期-阿里云开发者社区

开发者社区> 开源大数据EMR> 正文

开源大数据周刊-第78期

简介: 新功能预告:EMR Hadoop集群将增加Flink组件,版本1.4.0;EMR Kafka集群将增加Schema Registry和Rest Proxy组件
+关注继续查看

阿里云E-MapReduce资讯

  • 新功能预告:

    • EMR Hadoop集群将增加Flink组件,版本1.4.0
    • EMR Kafka集群将增加Schema Registry和Rest Proxy组件

资讯

  • 盘点2017年晋升为Apache TLP的大数据相关项目
    本文主要盘点了 2017 年晋升为 Apache Top-Level Project (TLP) 的大数据相关项目,包括Apache Beam(下一代的大数据处理标准),Apache Eagle(分布式实时Hadoop数据安全方案),Apache Ranger(统一授权管理框架),Apache Metron(实时网络安全检测框架),Apache SystemML(为大数据优化的声明式机器学习平台),Apache CarbonData(列式存储文件格式),Apache Fluo(大规模增量处理系统),Apache DistributedLog(高性能分布式复制日志系统),Apache MADlib(基于SQL可扩展的机器学习库),Apache RocketMQ(分布式消息传递和流数据平台),Apache Impala(新一代开源大数据分析引擎),Apache Trafodion(基于 Hadoop 平台的事务数据库引擎)。
  • 政府大数据应用经典案例 | 江西省教师质量监测、评估与服务大数据平台 健全教育质量保障体系
    江西省教师质量监测、评价与服务大数据平台,围绕江西省中小学课堂教学行为测评,为教师质量动态监测提供技术支撑,构建教师质量评估与诊断的科学体系,为政府和学校优化教师队伍建设提供科学的决策依据。
  • 依托大数据平台 实现税收优惠政策精准落地
    在重庆,像数字城市科技公司这样享受到税收优惠红利的企业还有很多。重庆市地税局充分发挥税收优惠政策的扶持作用,依托大数据平台,重点推进高新技术企业研发费用加计扣除等税收优惠政策精准落地,以税收“减法”赢得了企业发展和经济结构转型的“加法”。

技术

  • 使用EMR来进行mysqlbinlog日志准实时传输
    如何利用阿里云的sls插件功能和emr来进行mysql binlog的准实时传输。
  • 基于可视化配置的日志结构化转换实现
    随着互联网、IT、大数据等技术的爆发式发展,企业系统产生的大量爆发数据。对于保存在数据库中的业务数据,可以通过DBus数据总线+Wormhole流式处理平台的日志方式实时地无侵入同步和落地到任意sink端,提供下游系统分析使用;对于业务系统产生的日志数据,这些包含了业务高低峰、用户轨迹、系统异常/错误信息、调用链等诸多信息,也蕴含着无价的宝藏。一些公司通过埋点等方式和手段,往日志数据里输出他们想要监控和跟踪的信息,以便提供客观的数据支撑,做出更高效、更准确的决策。
  • SparkRDMA:使用RDMA技术提升Spark的Shuffle性能
    由Mellanox Technologies公司开发并开源的SparkRDMA ShuffleManager采用RDMA技术,使得Spark作业在Shuffle数据的时候使用RDMA方式,而非标准的TCP方式。在测试的结果显示,采用RDMA进行Shuffle 数据比标准的方式快2.18倍!
  • 流计算框架 Flink 与 Storm 的性能对比
    本文对这两个框架进行性能对比,为实时计算平台资源规划、框架选择、性能调优等决策及Flink平台的建设提出建议并提供数据支持,为后续的SLA建设提供一定参考。

欢迎入群技术交流!

EMR_dingding


版权声明:信息都是来自互联网,如果侵权,请联系我们,我们负责删除。

出品方:阿里云E-MapReduce团队出品

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
阿里云服务器端口号设置
阿里云服务器初级使用者可能面临的问题之一. 使用tomcat或者其他服务器软件设置端口号后,比如 一些不是默认的, mysql的 3306, mssql的1433,有时候打不开网页, 原因是没有在ecs安全组去设置这个端口号. 解决: 点击ecs下网络和安全下的安全组 在弹出的安全组中,如果没有就新建安全组,然后点击配置规则 最后如上图点击添加...或快速创建.   have fun!  将编程看作是一门艺术,而不单单是个技术。
4478 0
使用OpenApi弹性释放和设置云服务器ECS释放
云服务器ECS的一个重要特性就是按需创建资源。您可以在业务高峰期按需弹性的自定义规则进行资源创建,在完成业务计算的时候释放资源。本篇将提供几个Tips帮助您更加容易和自动化的完成云服务器的释放和弹性设置。
7751 0
开源大数据周刊-第76期
本期周刊包括开源大数据核心组件Hadoop和Impala的最新消息,以及HBase、Kafka、TensorFlow等主流开源组件的实践分享和技术实现,还有来自京东推荐部门的推荐系统演进史,纯干货分享。
2929 0
282
文章
74
问答
来源圈子
更多
E-MapReduce是构建于阿里云ECS弹性虚拟机之上,利用开源大数据生态系统,包括Hadoop和Spark,为用户提供集群、作业、数据等管理的一站式大数据处理分析服务。加入钉钉群聊阿里云E-MapReduce交流2群,点击进入查看详情 https://qr.dingtalk.com/action/joingroup?code=v1,k1,cNBcqHn4TvG0iHpN3cSc1B86D1831SGMdvGu7PW+sm4=&_dt_no_comment=1&origin=11
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载