DevOps:软件架构师行动指南2.2 云的特性
2.2 云的特性
云最根本的推动者是构筑在成千上万通过因特网访问的主机之上的虚拟化技术。我们首先探讨以IaaS为中心的特性,即虚拟化和IP管理,接着是PaaS提供的一些特性。然后,我们探讨一些普遍的问题,例如数以万计的主机所带来的后果,以及云是如何支持弹性的。
2.2.1 虚拟化
在云计算中,虚拟机(Virtual Machine,VM)是物理机的模拟。一个虚拟机镜像就是一个文件,其中包含了可...
查看全文 >>
表格存储如何实现跨区域的容灾
系列文章
表格存储如何实现高可靠和高可用表格存储如何实现跨区域的容灾
前言
上一篇文章介绍了表格存储如何实现高可靠和高可用,本文会介绍表格存储如何做跨区域的容灾。容灾跟高可用在概念上有一些交叉,但是场景和相关技术体系有很多不同,所以单独写一篇介绍容灾的文章。容灾是在集群本身的高可用基础上,再提供一层保障,防止罕见但却严重的故障发生,因此,读者可以先阅读上一篇高可用的文章,对表格存储如何保障高可靠...
查看全文 >>
TableStore+OSS:物联网数据的备份系统实践
物联网
场景描述
L公司是一家物联网解决方案提供商,为不同物联网设备生产商提供物联网解决方案,这些物联网设备涉及众多产品领域,包括空调,摄像头,门锁,位置传感器,净化器,扫地机器人,各种工业传感器等等,这些设备都需要实时上传数据到存储系统保存,然后分析系统会实时计算,按照预定义逻辑触发报警或者生成报表。
物联网设备信息和产生的时序数据很适合用Table Store存储,而且能提供非常便捷的通道,...
查看全文 >>
AnalyticDB for MySQL:PB级云数仓核心技术和场景解析
2019阿里云峰会·上海开发者大会于7月24日盛大开幕,本次峰会与未来世界的开发者们分享开源大数据、IT基础设施云化、数据库、云原生、物联网等领域的技术干货,共同探讨前沿科技趋势。本文整理自数据库专场中阿里云智能高级技术专家南仙的精彩演讲,本文为分享了阿里云PB级云数据仓库AnalyticDB for MySQL的核心技术以及其应用场景。
数据库专场PPT下载
本文内容整理自演讲视频以及PPT。...
查看全文 >>
浅谈HBase的数据分布
福利:国际顶级盛会HBaseCon Asia 2018将于8月在北京举行,目前正免费开放申请中,更多详情参考https://yq.aliyun.com/promotion/631
如果你对大数据存储、分布式数据库、HBase等感兴趣,欢迎加入我们,一起做最好的大数据在线存储,职位参考及联系方式:https://maimai.cn/job?webjid=1heZGIyM4&srcu=1aO...
查看全文 >>
ENode 2.0 - 整体架构介绍
前言
今天是个开心的日子,又是周末,可以轻轻松松的写写文章了。去年,我写了ENode 1.0版本,那时我也写了一个分析系列。经过了大半年的时间,我对第一个版本做了很多架构上的改进,最重要的就是让ENode实现了分布式,通过新增一个分布式消息队列EQueue来实现。之所以要设计一个分布式的消息队列是因为在enode 1.0版本中,某个特定的消息队列只能被某个特定的消费者消费。这样就会导致一个问题,...
查看全文 >>
“数据湖”:概念、特征、架构与案例
写在前面:最近,数据湖的概念非常热,许多前线的同学都在讨论数据湖应该怎么建?阿里云有没有成熟的数据湖解决方案?阿里云的数据湖解决方案到底有没有实际落地的案例?怎么理解数据湖?数据湖和大数据平台有什么不同?头部的云计算玩家都各自推出了什么样的数据湖解决方案?带着这些问题,我们尝试写了这样一篇文章,希望能抛砖引玉,引起大家一些思考和共鸣。感谢南靖同学为本文编写了5.1节的案例,感谢西壁的review...
查看全文 >>
[原创]分布式系统之缓存的微观应用经验谈(一) 【设计基础细节篇】
分布式系统之缓存的微观应用经验谈(一) 【基础细节篇】
前言
近几个月一直在忙些琐事,几乎年后都没怎么闲过。忙忙碌碌中就进入了2018年的秋天了,不得不感叹时间总是如白驹过隙,也不知道收获了什么和失去了什么。最近稍微休息,买了两本与技术无关的书,其一是Yann Martel 写的《The High Mountains of Portugal》(葡萄牙的高山),发现阅读此书是需要一...
查看全文 >>
【干货】蒋步星:关系代数的问题及尝试
讲座全文:
今天的内容分五个部分,开始先讲一下基本概念和背景;中间三部分都是数据分析的内容,这是今天的重点;最后一块研究得还不够深,但也涉及到关系代数,就放进来一起谈谈。
我们先从编程序谈起。
编程序到现在仍然并不是一件轻松的活。这里我们不去谈那些由于需求不清或变动而导致的困难,那是软件工程的目标。有一些问题,完全没有歧义,你明确知道解法,使用你最熟悉的程序设计语言,但这个程序仍然不好...
查看全文 >>
带你读《Python数据分析与数据化运营(第2版)》之二:数据化运营的数据来源
点击查看第一章点击查看第三章
第2章 数据化运营的数据来源
“巧妇难为无米之炊”,对于数据工作者来说数据便是所有工作的基础。企业的数据化运营的数据来源复杂,从数据结构类型看,包括结构化和非结构化数据;从数据来源看,既有导出的数据文件、数据库等常见来源,又有流式数据、API等复杂系统接口和外部资源;从数据格式来看,有普通文本、视频格式、音频格式等。本章将从数据类型和数据来源两个方面介绍数据化运营的...
查看全文 >>