基于Tablestore 实现海量订单日志数据存储
从最早的互联网高速发展、到移动互联网的爆发式增长,再到今天的产业互联网、物联网的快速崛起,各种各样新应用、新系统产生了众多订单类型的需求,比如电商购物订单、银行流水、运营商话费账单、外卖订单、设备信息等,产生的数据种类和数据量越来越多;其中订单系统就是一个非常广泛、通用的系统。而随着数据规模的快速增长、大数据技术的发展、运营水平的不断提高,包括数据消费的能力要求越来越高,这对支撑订单系统的数据库设计、存储系统也提出了更多的要求。在新的需求下,传统的经典架构面临着诸多挑战,需要进一步思考架构优化,以更好支撑业务发展。
9.20 杭州云栖CloudLab:环境准备
CloudLab场景介绍
随着信息化的发展,企业每天会产生各式各样的结构化,半结构化的数据。如何高效低成本的存储和处理这些数据,如何充分发挥数据的价值是企业普遍面临的挑战。今天的CloudLab,会带大家手把手部署一个建议的消息系统,让大家体验一下,基于表格存储(TableStore)的Timeline模型可以快速开发一款企业内部的消息系统。
基于TableStore的海量气象格点数据解决方案实战
前言
气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。
TableStore数据模型 - WideColumn和Timeline
前言
TableStore是阿里云自研的一款分布式NoSQL数据库,提到NoSQL数据库,现在对很多应用研发来说都已经不再陌生。当前很多应用系统底层不会再仅仅依赖于关系型数据库,而是会根据不同的业务场景,来选型使用不同类型的数据库,例如缓存型KeyValue数据会存储在Redis,文档型数据会存储在MongoDB,图数据会存储在Neo4J等。
海量智能元数据管理系统实现解析
一、方案背景
用户存储海量的文档、媒体文件等数据的同时,对文件元数据(Mate)的管理不可或缺。元数据拥有多维度的字段信息,基本信息包含文件大小、创建时间、用户等。随着人工智能的发展,通过AI技术提取文件核心要素也成为文件元数据的重要信息。
打造更适合IoT场景的消息队列实践
随着接触客户越来越多,也越来越颠覆了我对“传统队列”(kafka、rocketmq、rabbitmq...)的看法。 当然本文不是说“传统队列”做得不好, 这些队列系统经过多年打磨,在高性能、海量堆积、消息可靠性等诸多方面都已经做得非常极致了,都做得非常的优秀。 但今天我觉得大家在设计方案时动不动任何一个异步、系统解耦等就来选用队列,然后线上又频繁出一些问题,这些问题的背后我们得看看到底什么场景适合、什么场景过渡使用了、有没有更好解法, 尤其今天IoT领域场景复杂,既有面向自身SAAS业务又要承担多租户PAAS平台化模式,面临更多的队列方面问题,拿来和大家讨论分享。
海量结构化数据的冷热分层一体化
## 前言
在大数据时代,数据已经渗透到当今每一个行业和业务职能领域,成为重要的生产要素。随着业务和数据量的不断增长,性能和成本的权衡变成了大数据系统设计面临的关键挑战,这里甚至会导致原有系统进行架构改造或者数据迁移。所以在架构设计之初,我们就需要把整套架构的成本考虑进来,这对应的就是数据的分层存储和存储计算引擎的选择。Delta Lake是DataBricks公司推出的一种新型数据湖方案,围绕