基于Tablestore管理海量快递轨迹数据架构实现
对于一个快递公司,在全国范围内有着大量的快递点、快递员、运输车辆以及仓储中心。而快递自产生后,就会在这些地点、人物之间流转。因而,一套完善的快递管理追踪系统是快递公司的重要管理工具; 用户通过平台客户端下单后,产生唯一的快递单号作为唯一身份标识。
基于TableStore的海量气象格点数据解决方案实战
前言 气象数据是一类典型的大数据,具有数据量大、时效性高、数据种类丰富等特点。气象数据中大量的数据是时空数据,记录了时间和空间范围内各个点的各个物理量的观测量或者模拟量,每天产生的数据量常在几十TB到上百TB的规模,且在爆发性增长。
现代IM系统中的消息系统架构 - 架构篇
前言 IM全称是『Instant Messaging』,中文名是即时通讯。在这个高度信息化的移动互联网时代,生活中IM类产品已经成为必备品,比较有名的如钉钉、微信、QQ等以IM为核心功能的产品。当然目前微信已经成长为一个生态型产品,但其核心功能还是IM。
对话阿里云Alex Chen:下一代存储应如何面对云转型?
如何定义下一代存储标准?在阿里云智能存储产品资深总监Alex Chen看来,其本质必须具备以下四个特性:安全稳定、优化、无缝上云、智能。
存储类型千千万,安全可靠又能挖掘数据价值的怎么甄选?
【最新动态】 为数据计算提供强力引擎,阿里云文件存储 HDFS 公测 在2019年3月的北京峰会上,阿里云正式推出全球首个云原生 HDFS 存储服务—文件存储 HDFS ,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户 TCO 。
存储类型千千万,安全可靠又能挖掘数据价值的咋甄选?
不同应用需要不一样的存储架构,对IOPS、延时、吞吐的要求不同,没有一个存储产品可以做到完全覆盖所有的应用场景。针对不同场景,阿里云提供满足用户定制化需求的最优存储类型服务。
函数计算新功能-----支持C#函数
前言 函数计算作为新兴的事件驱动serverless平台正受到越来越多开发者的欢迎,之前已支持Java, Python, Nodejs, Php四种语言。现在函数计算正式支持C#。由于其和Java类似的功能以及和Windows的紧密集成,.Net在中小企业中非常普及,许多中小企业的内部应用都是基于.Net开发。
对象存储OSS数据加密整体解决方案介绍
一、简介 数据保护是指数据传输(上传数据至OSS、从OSS下载数据)和处于静止状态(数据存储在OSS数据中心磁盘)期间保护数据。可以使用SSL或者客户端加密保护传输中的数据。也可以采用以下方式保护静态数据: 使用服务器端加密 (SSE) --OSS将数据保存到数据中心的磁盘之前进行加密,并且在下载对象时自动进行解密; 使用客户端加密(CSE) --可以使用客户端加密SDK,在本地进行数据加密,并将加密后的数据上传到OSS。
为数据计算提供强力引擎,阿里云文件存储HDFS v1.0公测发布
在2019年3月的北京云栖峰会上,阿里云正式推出全球首个云原生HDFS存储服务—文件存储HDFS,为数据分析业务在云上提供可线性扩展的吞吐能力和免运维的快速弹性伸缩能力,降低用户TCO。阿里云文件存储HDFS的发布真正解决了HDFS文件系统不适应云上场景的缺陷问题,用户无须花费精力维护和优化底层存储。
阿里云文件存储CPFS正式商业化,提供云上高性能并行文件系统
2018年3月份,阿里云推出文件存储CPFS产品。在经过近一年的上线公测后,CPFS即将迎来商业化,将为更多的客户提供云上高性能的并行文件存储。
全球首个百万IOPS云盘即将商业化 阿里云推出超高性能云盘ESSD
近日,在经过近半年的上线公测后,阿里云全球首个跨入IOPS百万时代的云盘——ESSD即将迎来商业化,单盘IOPS高达100万,这是阿里云迄今为止性能最强的企业级块存储服务。
阿里云发布Apsara SA系列混合云存储阵列
阿里云正式发布Apsara SA系列混合云存储阵列,融合IP SAN,FC SAN,NAS和OSS对象存储协议于一体,同时支持云缓存,云复制,云分层和云快照等多种混合云模式,全面满足企业各类应用对数据存储的可靠性,安全性,性能和灵活扩展的需求。
【最佳实践】针对OSS开通内容违规检测服务
第一章:概述 阿里云对象存储OSS提供弹性、海量的存储空间。但根据相关法规和服务条款,禁止用户使用对象存储OSS分享涉黄、涉政、涉恐类有害信息。若阿里云发现用户使用对象存储OSS产品分享违规内容,阿里云立即将该Bucket切入沙箱,情节严重的用户将追究法律责任。
VSS APP(SQL Server)备份实践
阿里云混合备份服务是一套已经商业化的原生备份服务,提供了简单易用,并且高效安全的数据保护方案。现在,混合云备份服务推出了全新的VSS APP功能。通过VSS APP功能,可以把ECS实例上SQL Server中的数据库以全量、差量和日志备份的方式备份上云,如果SQL Server数据库需要恢复,可以快速恢复到相应的备份。
阿里云对象存储OSS 符合美国证券交易委员会(SEC)和金融业监管局(FINRA)合规要求
阿里云对象存储OSS现已全面支持WORM特性。允许用户以“不可篡改、不可删除”的方式保存和使用数据。这非常适用于金融、保险、医疗、证券等行业。第三方服务提供商可以基于对象存储OSS搭建”云上数据合规存储空间“。
阿里云Cloud Shell中使用日志服务CLI最佳实践
目前阿里云云命令行Cloud Shell已经部署日志服务CLI,免部署配置,一键管理日志服务资源与下载日志服务数据更轻松!
混合云备份服务异地备份和恢复实践
阿里混合云备份服务是一套已经商业化的原生备份服务,提供了简单易用,并且高效安全的数据保护方案。阿里混合云备份服务能够定期的对指定关键数据进行增量的扫描,并对备份的数据采用了高效的重删加压缩的算法,在为关键数据保驾护航的同时又极大的减少了备份数据的存储空间占用,有效的节省成本。
【答疑】对象存储OSS常见问题解答(SDK类2)
1.客户在使用OSS java SDK 上传时发现卡死。解答:原因是连接池中连接泄漏,可能是使用ossObject后没有关闭。云栖社区里有一篇文章详细介绍了这个问题: https://yq.aliyun.
【答疑】对象存储OSS常见问题解答(工具类2)
1.用户咨询使用ossutil cp下载下来的文件,有什么办法可以证明和OSS上的源文件完全一致,没有出现数据丢失和更改?解答:默认情况下,ossutil 进行数据传输时都会打开 crc64 校验,可以在上传/下载/复制时使用 --disable-crc64 选项关闭 crc64 校验。
【答疑】对象存储OSS常见问题解答(咨询类3)
OSS支不支持HTTPS?解答:支持 使用HTTPS的最佳实践: https://yq.aliyun.com/articles/686003?spm=a2c4e.11163080.searchblog.97.34e42ec1yNirpJ 如果使用OSS又用了CDN加速, 第一次CDN没命中的时候, 是怎样收费的?解答:如果访问CDN没有命中的话,CDN会去OSS回源,这时是不消耗下行流量包的,只消耗回源流量包。
表格存储TableStore2.0重磅发布,提供更强大数据管理能力
表格存储TableStore通过同时提供具象和抽象的数据模型,来满足不同核心数据场景的要求,更贴近业务抽象;提供多元化索引(全局二级索引和多元索引)来满足不同类型场景条件查询需求;提供全新的实时数据通道,来扩充实时计算的能力以及可自定义的实时数据处理。
TableStore:用户画像数据的存储和查询利器
TableStore是阿里云自研的在线数据平台,提供高可靠的存储,实时和丰富的查询功能,适用于结构化、半结构化的海量数据存储以及各种查询、分析。 用户画像数据是一种数据规模较大、数据结构复杂、查询种类多的数据,是公司差异化运营的基础,是打造“千人千面”、智能化的核心数据,帮产品找到最佳目标客户,对各种产品而言是一种很有价值的数据。
TableStore索引功能详解
TableStore在2018年末推出了两大在线索引功能:GlobalIndex(全局二级索引)与SearchIndex(多元索引),这两个功能大大地弥补了原先TableStore查询方式单一的缺点。但是用户在选型的时候也会有所迷惑,两个功能都包含了“索引”二字,那么又有什么区别呢?本文将针对这个问.
TableStore: 海量结构化数据实时备份实战
# TableStore: 海量结构化数据实时备份实战 ## 数据备份简介 在信息技术与数据管理领域,备份是指将文件系统或数据库系统中的数据加以复制,一旦发生灾难或者错误操作时,得以方便而及时地恢复系统的有效数据和正常运作。
TableStore: 海量结构化数据分层存储方案
### 前言 表格存储是阿里云自研分布式存储系统,可以用来存储海量结构化、半结构化的数据。表格存储支持高性能和容量型两种实例类型。高性能使用SSD的存储介质,针对读多写多的场景都有较好的访问延时。容量型使用的是SSD和SATA混合的存储介质。
大数据同步利器: 表格存储全增量一体消费通道
本文会给大家详细介绍表格存储重磅推出的一项新功能--全增量一体数据通道。文章会为大家阐述数据通道的主要使用场景,表格存储数据通道的功能优势,并带大家快速入门如何使用数据通道来消费数据。本文会给大家详细介绍表格存储重磅推出的一项新功能--全增量一体数据通道。
通过安装和配置AD域解决Windows Server 2016的IIS无法加载SMB文件卷文件的问题
通过客户反馈我们发现Windows Server 2016的IIS无法加载SMB文件卷的文件,显示的错误是:未能加载文件或程序集。经过我们不断研究和实验,发现在安装和配置好AD域之后,2016上IIS加载文件卷文件发生错误的问题可以得到解决。
深入浅出TableStore翻页
表格存储是阿里云提供的一个分布式存储系统,可以用来存储海量结构化、半结构化的数据。数据存储后就需要查询出来满足业务需求,但是有时候一次请求可以返回的数据量有限,不能返回完所有的数据,那这个时候就需要通过多次查询来返回需要的数据,这就是我们接下来要讲的“翻页”。
TableStore多元索引复合类型的使用诀窍:array还是nested
对主表中需要查询的列(Column)建立多元索引,即可通过该列的值查询数据。索引列分为基本类型和复合类型,本文详细介绍两种复合类型——数组类型(array)和嵌套类型(nested)的使用。
TableStore多元索路由探微
多元索引会分布式地将数据打散存储在不同机器上。通过指定路由,您可以有的放矢地定向搜索,在指定的一个数据分区上执行查询,而不是所有数据分区,有效提升了查询吞吐量,减少长尾对延迟的影响。本文抽丝剥茧,介绍分布式模型中路由的原理,如何使用路由来加速查询。
TableStore:交通数据的存储、查询和分析利器
TableStore是阿里云自研的在线数据平台,提供高可靠的存储,实时和丰富的查询功能,适用于结构化、半结构化的海量数据存储以及各种查询、分析。 交通数据是一种数据规模大,实时性要求高的数据,数据的专业性极强,对社会生产的价值极大,我们接下来先看一下交通数据的场景和特征,我们仅以交通路口的车辆同行数据为例。
Apache Hadoop 2.7如何支持读写OSS
背景 2017.12.13日Apache Hadoop 3.0.0正式版本发布,默认支持阿里云OSS对象存储系统,作为Hadoop兼容的文件系统,后续版本号大于等于Hadoop 2.9.x系列也支持OSS。
【案例集锦篇】在线教育、人工智能、自动驾驶、工业制造、基因五大行业上云之旅
未来,世间万物都将通过数字链接,数字化转型已成为企业实现商业变革、重塑核心竞争力的必经之路。 在转型过程中,云计算已成为整个社会创新的基础动力,不断驱动技术与商业变革。但对企业而言,上云并不是最终目的,云计算需要全面、灵活地适配企业业务变革,同时为企业传统业务的数字化转型和创新提供能力支撑。
【盘点篇】从安全、稳定、高可用、高性能、智能等维度看阿里云存储 2018
2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储自研飞天大规模的分布式存储引擎(盘古 1.0 ),从写下第一行代码开始,阿里云存储的进化之路正式开启。
2018 年度阿里云存储十大新闻盘点篇
数据量的爆炸式增长和企业对数据价值挖掘的渴求,让存储市场迎来前所未有的发展机遇。在过去的一年中,我们看到工业制造、在线教育、智能驾驶、基因生命科学、医疗健康、安防监控等行业正加速从数字化到智能化的转型升级,在存储空间持续增长的同时,也对存储技术提出更大的挑战。
智能媒体管理(IMM)视频分析中明星识别介绍
智能媒体管理已经支持了视频分析功能,用户可以方便的使用该功能对存储在oss上的视频进行全面的分析。本文主要介绍利用智能媒体管理的视频分析功能来提取视频中的明星信息。 智能媒体管理的视频分析包含了明星识别功能,可以帮助用户抽取出视频中出现的明星信息。
智能媒体管理(IMM)视频分析在在线教育行业中的应用
智能媒体管理已经支持了视频分析功能,用户可以方便的使用该功能对存储在oss上的视频进行全面的分析。本文主要介绍利用智能媒体管理的视频分析功能来评估在线教育视频的质量。 智能媒体管理的视频分析包含了多种分析功能,针对在线教育行业,主要利用了人脸、内容理解以及语音转文字的功能。
[New Feature]OSS支持设置Bucket 服务端默认加密方式
第一章:阿里云OSS Bucket默认加密方式介绍 阿里云OSS支持通过API、SDK、工具以及控制台等方式设置Bucket的默认加密方式。当Bucket设置服务端加密后,具有相应权限的用户上传文件到该Bucket时,自动对这些对象进行加密。
日志服务IPython/Jupyter扩展实战:下载数据为Excel文件
想要将日志服务的日志下载并保存为Excel或者CSV格式,并且自动处理字段不一致的情况的话,该怎么办?通过使用日志服务IPython/Jupyter扩展,轻松做到这点。
OSS数据处理最佳实践--文档预览
阿里云存储开放的数据湖体系引入众多计算引擎。通过阿里云智能媒体管理产品,对象存储OSS面向视频处理应用,图像处理应用,文档处理应用开放了接入能力。这里帮助大家快速讲解如果实现OSS上offcie文档预览。
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。