产品资讯
- E-MapReduce 发布新版工作流调度
还在困惑怎么管理Hadoop,Hive,Spark等作业和项目,怎么灵活可靠的调度吗?从EMR工作流开始吧 - E-MapReduce 发布弹性伸缩
当你需要按照时间段弹性的添加计算节点,补充计算能力的时候,弹性伸缩利用云上的弹性来灵活扩展你的计算力
资讯
据媒体报道,在纳斯达克挂牌上市的广告科技公司The Trade Desk10日股价大涨逾37%至127.93美元,成为当日美股市场涨幅最高的股票。
在为数据中心降温的过程中,包括Facebook、微软和谷歌在内的大公司都在寻找节约冷却成本的不同方法:Facebook使用了外部的冷空气流通,微软正在试验水下数据中心;而作为人工智能的行业领头者,谷歌正联合DeepMind,尝试将算法应用在数据中心的设备管理上。
导读:近日,中国科学院《互联网周刊》、中国社会科学院信息化研究中心、eNet硅谷动力联合发布了2018大数据独角兽企业排行榜。
2018 年 8 月 24 日,OpenAI Five 在顶尖 DOTA2 职业比赛 TI8 的会场上迎来了与人类玩家的第二场比赛。不过没有现役职业选手参加本场比赛,人类阵容均为已经退役的中国职业选手,他们中的绝大多数曾获得过 TI 冠军。
技术
KSQL,面向Apache Kafka的一种数据流SQL引擎。KSQL降低了数据流处理这个领域的准入门槛,为使用Kafka处理数据提供了一种简单的、完全交互的SQL界面。你不再需要用Java或Python之类的编程语言编写代码了!KSQL具有这些特点:开源(采用Apache 2.0许可证)、分布式、可扩展、可靠、实时。它支持众多功能强大的数据流处理操作,包括聚合、连接、加窗(windowing)和sessionization(捕获单一访问者的网站会话时间范围内所有的点击流事件)等等。
我们知道Kafka提供一套非常完善的Metrics数据,覆盖Broker,Consumer,Producer,Stream以及Connect。E-MapReduce通过Ganglia收集了Kafka Broker metrics信息,可以很好地监控Broker运行状态。但完整的Kafka应用包括Kafka Broker和Kafka 客户端这两个角色,当发生读写性能问题时,常常从Broker角度难以发现问题,需要结合客户端的运行状况来联合分析才行。那么Kafka客户端metrics就是一类非常重要的数据。E-MapReduce是如何进行Kafka客户端metrics采集的呢?
在公司实时特征开发的现状基础上,说明实时特征平台的开发背景、目标以及现状。Flink的实践:有代表性的使用示例、为兼容Aerospike(平台的存储介质)的开发以及碰到的坑&未来规划。