【Spark Summit EU 2016】沃森媒体分析系统:从单租户Hadoop到3000租户Spark的架构演进

简介: 本讲义出自Ruben Pulido和Behar Veliqi在Spark Summit EU 2016上的演讲,主要介绍了IBM公司的沃森媒体分析系统,介绍了该系统之前针对于单租户的架构,所需面对的多租户挑战和面对该挑战产生出的新系统架构,以及在沃森媒体分析系统架构演变过程中所获取的经验。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Ruben Pulido和Behar Veliqi在Spark Summit EU 2016上的演讲,主要介绍了IBM公司的沃森媒体分析系统,介绍了该系统之前针对于单租户的架构,所需面对的多租户挑战和面对该挑战产生出的新系统架构。


在讲义的最后Ruben Pulido和Behar Veliqi总结了从沃森媒体分析系统架构演变过程中所获取的经验,新的发展途径可能会基于Spark、Kafka和Zookeeper,并将具有健壮性的特点,能够满足延迟和吞吐量的需求,并且能够支持更多的分析。

244f942aaaa9c2bdc4bba8bab5c6e58a2ae9d92c

6a41c6465c173e7faee7470afdcfcce59aa00674

d964b6d483d5a3cba4d76594995ff1e56a8f19b7

14f182042ee10ee7b56224f4a9363344881cf352

8dd61daedabb4f734604e0a13d172450f5ae3a86

09e4e45d63ec82274f4afd3fe683b6599f662fec

3b9531ef30df2a1a4eb65095013bcd5aa6e3bfcc

c10850a01191a6bea44e3139070f65fe6257d130

9774981965896c03e596e2783e92afbff0d4c90b

fd93e65276849d3e965285c49a36e4fdce4dcf45

ac456205760d6e14913d765d639e0300342b89d1

b6a1d24ba137229a4d7b75a968a120a6ef8920ba

771903e89be35bda44b8f8f1a6b2765a52ad06f7

86059f3455495a552fe435374032ac8d8982b225

c3bd9d81bdecb2f35f262070d00e1fdd7138b60f

644d4a3c12698243f5572f028abbe91e477dc09d

9350c54bafaff486886f7ba17d60d2b5d51fbe17

fcb7b1b2bd72968c2432266f6645c93043321258

011e3abe29167ccad2e776493745ad1903dc36b2

f587473de42312ffc38016068bd028d393c9fd0f

56b54a8c13b3b1967dc8732cf4e179016c4d63f2

0699423147b812f85381a1c24342cf21f59eff2a

c74a6667c0df8bb9db043f3aa17ca3f30f8d8051

048ba0f83b04932f6af16ae60a942b2bbf48d29a

2ff9e26463097691a0dfe07acc1ce3b4ecf1babf

2e50bbc47ab270767e3d169870f3d8bef3c26405

5398248ad94d05391c132266492a0fa02d1f77f0

05d593c7a879261fc6a302b75745ce1e3b258d2f

931b9978d75fc47c6460979eed57dbd98f60308b

015eb50dae8301dda87d86517ab969d9416f999c

edd4610b356b0cee3c1414064db9a71c0d883b63

cc596e27faf942b06fde6ea69b6ee9a5cf8fd012

45ea55da1964ec66676fd63d90af398fb62bfbe1

7d03fc6b420d6ec68049be921785c5fcedc76c40

bf908c5d5ec968355924a72578be9edfcceab31a

2d9da6cbde043403552cea20797d6377b83673c9

79d8fd0af3f9cce7719b726167f6c9891200ba6c

aa86bfb2869a137870a31b5edf98f7790e036ace

fd2dacff98627aebf5af5beb9dec050a5c4ee71a

e88d0a20b061ecc6f5461c185d53c98c38266d44

ac0cb944097152fb00632866569e242b8176b57a

73d05e798630f5a093e1793167df5518398ae65f


相关文章
|
2月前
|
Ubuntu Linux
查看Linux系统架构的命令,查看linux系统是哪种架构:AMD、ARM、x86、x86_64、pcc 或 查看Ubuntu的版本号
查看Linux系统架构的命令,查看linux系统是哪种架构:AMD、ARM、x86、x86_64、pcc 或 查看Ubuntu的版本号
302 3
|
1天前
|
传感器 存储 架构师
构建基于 IoT 的废物管理系统:软件架构师指南
构建基于 IoT 的废物管理系统:软件架构师指南
18 9
|
3天前
|
存储 安全 开发工具
百度公共IM系统的Andriod端IM SDK组件架构设计与技术实现
本文主要介绍了百度公共IM系统的Andriod端IM SDK的建设背景、IM SDK主要结构和工作流程以及建设过程遇到的问题和解决方案。
22 3
|
20天前
|
监控 Android开发 iOS开发
深入探索安卓与iOS的系统架构差异:理解两大移动平台的技术根基在移动技术日新月异的今天,安卓和iOS作为市场上最为流行的两个操作系统,各自拥有独特的技术特性和庞大的用户基础。本文将深入探讨这两个平台的系统架构差异,揭示它们如何支撑起各自的生态系统,并影响着全球数亿用户的使用体验。
本文通过对比分析安卓和iOS的系统架构,揭示了这两个平台在设计理念、安全性、用户体验和技术生态上的根本区别。不同于常规的技术综述,本文以深入浅出的方式,带领读者理解这些差异是如何影响应用开发、用户选择和市场趋势的。通过梳理历史脉络和未来展望,本文旨在为开发者、用户以及行业分析师提供有价值的见解,帮助大家更好地把握移动技术发展的脉络。
|
19天前
|
网络协议 安全 中间件
系统架构设计师【第2章】: 计算机系统基础知识 (核心总结)
本文全面介绍了计算机系统及其相关技术,涵盖计算机系统概述、硬件、软件等内容。计算机系统由硬件(如处理器、存储器、输入输出设备)和软件(系统软件、应用软件)组成,旨在高效处理和管理数据。硬件核心为处理器,历经从4位到64位的发展,软件则分为系统软件和应用软件,满足不同需求。此外,深入探讨了计算机网络、嵌入式系统、多媒体技术、系统工程及性能评估等多个领域,强调了各组件和技术在现代信息技术中的重要作用与应用。
32 3
|
1月前
|
缓存 运维 NoSQL
二级缓存架构极致提升系统性能
本文详细阐述了如何通过二级缓存架构设计提升高并发下的系统性能。
|
1月前
|
Cloud Native Devops 持续交付
探索云原生架构:构建高效、灵活和可扩展的系统
本文将深入探讨云原生架构的核心概念、主要技术以及其带来的优势。我们将从云原生的定义开始,了解其设计理念和技术原则;接着分析容器化、微服务等关键技术在云原生中的应用;最后总结云原生架构如何助力企业实现数字化转型,提升业务敏捷性和创新能力。通过这篇文章,读者可以全面了解云原生架构的价值和应用前景。
|
1月前
|
运维 Cloud Native Devops
云原生架构的崛起与实践云原生架构是一种通过容器化、微服务和DevOps等技术手段,帮助应用系统实现敏捷部署、弹性扩展和高效运维的技术理念。本文将探讨云原生的概念、核心技术以及其在企业中的应用实践,揭示云原生如何成为现代软件开发和运营的主流方式。##
云原生架构是现代IT领域的一场革命,它依托于容器化、微服务和DevOps等核心技术,旨在解决传统架构在应对复杂业务需求时的不足。通过采用云原生方法,企业可以实现敏捷部署、弹性扩展和高效运维,从而大幅提升开发效率和系统可靠性。本文详细阐述了云原生的核心概念、主要技术和实际应用案例,并探讨了企业在实施云原生过程中的挑战与解决方案。无论是正在转型的传统企业,还是寻求创新的互联网企业,云原生都提供了一条实现高效能、高灵活性和高可靠性的技术路径。 ##
64 3
|
2月前
|
Web App开发 编解码 Linux
FFmpeg开发笔记(四十八)从0开始搭建直播系统的开源软件架构
音视频技术广泛应用于直播系统,涵盖电视、电脑、手机直播等多种形式,并延伸至在线教育、医疗咨询和安全监控等领域。直播系统涉及实时编解码与传输,技术实现较复杂。从用户角度看,直播系统分为来源方和观看方,但在开发者视角下还需加入云平台作为中转。本文提出一套基于全开源软件的直播系统架构,分为三层:开源直播录制软件(如OBS Studio、RTMP Streamer),开源流媒体服务器(如SRS、ZLMediaKit),以及开源音视频播放器(如VLC media player、ExoPlayer)。这些组件共同构成一个高效、灵活且成本低廉的直播解决方案。
75 0
FFmpeg开发笔记(四十八)从0开始搭建直播系统的开源软件架构
|
2月前
|
微服务 API Java
微服务架构大揭秘!Play Framework如何助力构建松耦合系统?一场技术革命即将上演!
【8月更文挑战第31天】互联网技术飞速发展,微服务架构成为企业级应用主流。微服务将单一应用拆分成多个小服务,通过轻量级通信机制交互。高性能Java Web框架Play Framework具备轻量级、易扩展特性,适合构建微服务。本文探讨使用Play Framework构建松耦合微服务系统的方法。Play采用响应式编程模型,支持模块化开发,提供丰富生态系统,便于快速构建功能完善的微服务。
40 0