【Spark Summit EU 2016】沃森媒体分析系统:从单租户Hadoop到3000租户Spark的架构演进

简介: 本讲义出自Ruben Pulido和Behar Veliqi在Spark Summit EU 2016上的演讲,主要介绍了IBM公司的沃森媒体分析系统,介绍了该系统之前针对于单租户的架构,所需面对的多租户挑战和面对该挑战产生出的新系统架构,以及在沃森媒体分析系统架构演变过程中所获取的经验。

更多精彩内容参见云栖社区大数据频道https://yq.aliyun.com/big-data;此外,通过Maxcompute及其配套产品,低廉的大数据分析仅需几步,详情访问https://www.aliyun.com/product/odps

本讲义出自Ruben Pulido和Behar Veliqi在Spark Summit EU 2016上的演讲,主要介绍了IBM公司的沃森媒体分析系统,介绍了该系统之前针对于单租户的架构,所需面对的多租户挑战和面对该挑战产生出的新系统架构。


在讲义的最后Ruben Pulido和Behar Veliqi总结了从沃森媒体分析系统架构演变过程中所获取的经验,新的发展途径可能会基于Spark、Kafka和Zookeeper,并将具有健壮性的特点,能够满足延迟和吞吐量的需求,并且能够支持更多的分析。

244f942aaaa9c2bdc4bba8bab5c6e58a2ae9d92c

6a41c6465c173e7faee7470afdcfcce59aa00674

d964b6d483d5a3cba4d76594995ff1e56a8f19b7

14f182042ee10ee7b56224f4a9363344881cf352

8dd61daedabb4f734604e0a13d172450f5ae3a86

09e4e45d63ec82274f4afd3fe683b6599f662fec

3b9531ef30df2a1a4eb65095013bcd5aa6e3bfcc

c10850a01191a6bea44e3139070f65fe6257d130

9774981965896c03e596e2783e92afbff0d4c90b

fd93e65276849d3e965285c49a36e4fdce4dcf45

ac456205760d6e14913d765d639e0300342b89d1

b6a1d24ba137229a4d7b75a968a120a6ef8920ba

771903e89be35bda44b8f8f1a6b2765a52ad06f7

86059f3455495a552fe435374032ac8d8982b225

c3bd9d81bdecb2f35f262070d00e1fdd7138b60f

644d4a3c12698243f5572f028abbe91e477dc09d

9350c54bafaff486886f7ba17d60d2b5d51fbe17

fcb7b1b2bd72968c2432266f6645c93043321258

011e3abe29167ccad2e776493745ad1903dc36b2

f587473de42312ffc38016068bd028d393c9fd0f

56b54a8c13b3b1967dc8732cf4e179016c4d63f2

0699423147b812f85381a1c24342cf21f59eff2a

c74a6667c0df8bb9db043f3aa17ca3f30f8d8051

048ba0f83b04932f6af16ae60a942b2bbf48d29a

2ff9e26463097691a0dfe07acc1ce3b4ecf1babf

2e50bbc47ab270767e3d169870f3d8bef3c26405

5398248ad94d05391c132266492a0fa02d1f77f0

05d593c7a879261fc6a302b75745ce1e3b258d2f

931b9978d75fc47c6460979eed57dbd98f60308b

015eb50dae8301dda87d86517ab969d9416f999c

edd4610b356b0cee3c1414064db9a71c0d883b63

cc596e27faf942b06fde6ea69b6ee9a5cf8fd012

45ea55da1964ec66676fd63d90af398fb62bfbe1

7d03fc6b420d6ec68049be921785c5fcedc76c40

bf908c5d5ec968355924a72578be9edfcceab31a

2d9da6cbde043403552cea20797d6377b83673c9

79d8fd0af3f9cce7719b726167f6c9891200ba6c

aa86bfb2869a137870a31b5edf98f7790e036ace

fd2dacff98627aebf5af5beb9dec050a5c4ee71a

e88d0a20b061ecc6f5461c185d53c98c38266d44

ac0cb944097152fb00632866569e242b8176b57a

73d05e798630f5a093e1793167df5518398ae65f


相关文章
|
9月前
|
SQL 前端开发 关系型数据库
如何开发一套研发项目管理系统?(附架构图+流程图+代码参考)
研发项目管理系统助力企业实现需求、缺陷与变更的全流程管理,支持看板可视化、数据化决策与成本优化。系统以MVP模式快速上线,核心功能包括需求看板、缺陷闭环、自动日报及关键指标分析,助力中小企业提升交付效率与协作质量。
|
9月前
|
JSON 文字识别 BI
如何开发车辆管理系统中的加油管理板块(附架构图+流程图+代码参考)
本文针对中小企业在车辆加油管理中常见的单据混乱、油卡管理困难、对账困难等问题,提出了一套完整的系统化解决方案。内容涵盖车辆管理系统(VMS)的核心功能、加油管理模块的设计要点、数据库模型、系统架构、关键业务流程、API设计与实现示例、前端展示参考(React + Antd)、开发技巧与工程化建议等。通过构建加油管理系统,企业可实现燃油费用的透明化、自动化对账、异常检测与数据分析,从而降低运营成本、提升管理效率。适合希望通过技术手段优化车辆管理的企业技术人员与管理者参考。
|
9月前
|
消息中间件 缓存 JavaScript
如何开发ERP(离散制造-MTO)系统中的生产管理板块(附架构图+流程图+代码参考)
本文详解离散制造MTO模式下的ERP生产管理模块,涵盖核心问题、系统架构、关键流程、开发技巧及数据库设计,助力企业打通计划与执行“最后一公里”,提升交付率、降低库存与浪费。
|
8月前
|
数据采集 机器学习/深度学习 运维
量化合约系统开发架构入门
量化合约系统核心在于数据、策略、风控与执行四大模块的协同,构建从数据到决策再到执行的闭环工作流。强调可追溯、可复现与可观测性,避免常见误区如重回测轻验证、忽视数据质量或滞后风控。初学者应以MVP为起点,结合回测框架与实时风控实践,逐步迭代。详见相关入门与实战资料。
|
8月前
|
前端开发 JavaScript BI
如何开发车辆管理系统中的车务管理板块(附架构图+流程图+代码参考)
本文介绍了中小企业如何通过车务管理模块提升车辆管理效率。许多企业在管理车辆时仍依赖人工流程,导致违章处理延误、年检过期、维修费用虚高等问题频发。将这些流程数字化,可显著降低合规风险、提升维修追溯性、优化调度与资产利用率。文章详细介绍了车务管理模块的功能清单、数据模型、系统架构、API与前端设计、开发技巧与落地建议,以及实现效果与验收标准。同时提供了数据库建表SQL、后端Node.js/TypeScript代码示例与前端React表单设计参考,帮助企业快速搭建并上线系统,实现合规与成本控制的双重优化。
|
9月前
|
数据采集 运维 数据可视化
AR 运维系统与 MES、EMA、IoT 系统的融合架构与实践
AR运维系统融合IoT、EMA、MES数据,构建“感知-分析-决策-执行”闭环。通过AR终端实现设备数据可视化,实时呈现温度、工单等信息,提升运维效率与生产可靠性。(238字)
|
9月前
|
消息中间件 JavaScript 前端开发
如何开发ERP(离散制造-MTO)系统中的技术管理板块(附架构图+流程图+代码参考)
本文详解ERP(离散制造-MTO)系统中的技术管理板块,涵盖产品定义、BOM、工序、工艺文件及变更控制的结构化与系统化管理。内容包括技术管理的核心目标、总体架构、关键组件、业务流程、开发技巧与最佳实践,并提供完整的参考代码,助力企业将技术数据转化为可执行的生产指令,提升制造效率与质量。
|
9月前
|
人工智能 监控 测试技术
告别只会写提示词:构建生产级LLM系统的完整架构图​
本文系统梳理了从提示词到生产级LLM产品的八大核心能力:提示词工程、上下文工程、微调、RAG、智能体开发、部署、优化与可观测性,助你构建可落地、可迭代的AI产品体系。
1162 52
|
8月前
|
机器学习/深度学习 人工智能 缓存
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
本文提出面向边缘通用智能的多大语言模型(Multi-LLM)系统,通过协同架构、信任机制与动态编排,突破传统边缘AI的局限。融合合作、竞争与集成三种范式,结合模型压缩、分布式推理与上下文优化技术,实现高效、可靠、低延迟的边缘智能,推动复杂场景下的泛化与自主决策能力。
716 3
面向边缘通用智能的多大语言模型系统:架构、信任与编排——论文阅读
|
8月前
|
人工智能 自然语言处理 安全
AI助教系统:基于大模型与智能体架构的新一代教育技术引擎
AI助教系统融合大语言模型、教育知识图谱、多模态交互与智能体架构,实现精准学情诊断、个性化辅导与主动教学。支持图文语音输入,本地化部署保障隐私,重构“教、学、评、辅”全链路,推动因材施教落地,助力教育数字化转型。(238字)
1483 23