大数据情报第三期(2018-07-02)

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介: 《OpenAI Dota2 5v5模式击败人类,AI每天训练量抵人类180年》今天凌晨,OpenAI通过官方博客宣布了其在Dota对抗上的新进展——由五个神经网络组成的团战AI团队,在5v5中击败了业余人类玩家,并表示,将有望挑战顶级专业团队。

《OpenAI Dota2 5v5模式击败人类,AI每天训练量抵人类180年》今天凌晨,OpenAI通过官方博客宣布了其在Dota对抗上的新进展——由五个神经网络组成的团战AI团队,在5v5中击败了业余人类玩家,并表示,将有望挑战顶级专业团队。

《事非经过不知难,京东Kubernetes的定制与优化》京东 618 当天,聊聊架构发布了题为《京东构建了全球最大的 Kubernetes 集群,没有之一》的文章,系统回顾了京东基于 Kubernetes 的 JDOS 平台的演进历程。今天这篇文章是整个系列文章的第一篇,将会从技术角度详细剖析相关的实现,也希望能够帮助后来者学习和参考。赠人玫瑰,手有余香。

《Apache Beam 2.5.0》We are glad to present the new 2.5.0 release of Beam. This release includes multiple fixes and new functionalities. For more information please check the detailed release notes.

《Getting Started with dA Platform on Google Kubernetes Engine》dA Platform is a production-ready platform for stream processing with Apache Flink®. The Platform includes open source Apache Flink, a stateful stream processing and event-driven application framework, and dA Application Manager, the central deployment and management component of the product.

《Static website hosting for Azure Storage now in public preview》Today we are excited to announce the public preview of __static website hosting for Azure Storage__! The feature set is available in __all public cloud regions __with support in government and sovereign clouds coming soon__.__

《The emerging big data architectural pattern》Lambda architecture is a popular pattern in building Big Data pipelines. It is designed to handle massive quantities of data by taking advantage of both a batch layer (also called cold layer) and a stream-processing layer (also called hot or speed layer).

《Using the Retry pattern to make your cloud application more resilient》Running your application in containers or in the cloud does not automatically make your application resilient. It’s up to you to configure the features that will enable the retry logic you provide. When you need retry logic added to your system, you should use a library such as Polly to speed up your implementation. Or, if you are exploring how to add resiliency without code, you should investigate service mesh products like Istio and Linkerd.

《A closer look at Azure Data Lake Storage Gen2》On June 27, 2018 we announced the preview of Azure Data Lake Storage Gen2 the only data lake designed specifically for enterprises to run large scale analytics workloads in the cloud. Azure Data Lake Storage Gen2 takes core capabilities from Azure Data Lake Storage Gen1 such as a Hadoop compatible file system, Azure Active Directory and POSIX based ACLs and integrates them into Azure Blob Storage. This combination enables best in class analytics performance along with Blob Storage’s tiering and data lifecycle management capabilities and the fundamental availability, security and durability capabilities of Azure Storage.

《Azure Elastic Database jobs is now in public preview》We are excited to announce the availability of a new, significantly upgraded public preview release of Azure Elastic Database jobs. Elastic Database jobs is now a fully Azure-hosted service. Unlike the earlier, customer-hosted and managed version of Elastic Database jobs, this version is an integral part of Azure with no additional services or components to install and configure. This release also adds significant capabilities making it easy for customers to automate and execute T-SQL jobs using PowerShell, REST, or T-SQL APIs against a group of databases. These jobs can be used to handle a wide variety of tasks such as index rebuilding, schema updates, collection of query results for analytics, and performance monitoring.

《Amazon MQ Introduces Four New Broker Instances》Amazon MQ now supports four new M5 broker instances that enable you to scale your brokers to meet higher throughput requirements.  

《Apache Pulsar 2.0支持模式注册表和主题压缩》最新版本的开源分布式消息传递框架Apache Pulsar让企业能够实时处理数据,从而“超越了批次处理”。Streamlio最近宣布推出Apache Pulsar 2.0.1流式消息解决方案。最新版本支持Pulsar Function、模式注册表和主题压缩。

《Data vs. Goliath: How retailers come out on top in the age of transformation》On June 6, Treasure Data hosted marketing leaders from across the Bay Area to discuss how companies can compete against the “Goliaths” in the marketplace through innovative and responsible use of customer data. We were lucky to be joined by partners Cloudwick and Chartio, who provided additional color on the topic. For those who couldn’t join us, our CMO provides an overview of key retail trends and successful strategies below. Check out the accompanying webinar for even more insight!

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
SQL Web App开发 大数据
大数据情报第四期(2018-07-16)
《使用Kafka Streams构建事件溯源系统的经验分享》近期在乌克兰基辅举行的JEEConf大会上,Amitay Horwitz介绍了他的团队是如何实现一个事件溯源的发票系统、系统两年半生产环境运行期间所遇到的挑战,以及团队是如何使用Kafka Streams实现新的设计。
1522 0
|
2月前
|
分布式计算 DataWorks IDE
MaxCompute数据问题之忽略脏数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
47 0
|
2月前
|
SQL 存储 分布式计算
MaxCompute问题之下载数据如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0
|
2月前
|
分布式计算 关系型数据库 MySQL
MaxCompute问题之数据归属分区如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 DataWorks BI
MaxCompute数据问题之运行报错如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 1
|
2月前
|
分布式计算 关系型数据库 数据库连接
MaxCompute数据问题之数据迁移如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
35 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0