解密OpenTSDB的表存储优化
本篇文章会详细讲解OpenTSDB的表结构设计,在理解它的表结构设计的同时,分析其采取该设计的深层次原因以及优缺点。它的表结构设计完全贴合HBase的存储模型,而表格存储(TableStore、原OTS)与HBase有类似的存储模型,理解透OpenTSDB的表结构设计后,我们也能够对这类数据库的存储
表格存储最佳实践:一种用于存储时间序列数据的表结构设计
在时间序列存储的场景,例如监控数据或者日志数据,通常比较难解决的是写入的问题,传统的数据库难以承载如此大数据量、高并发的写入压力。 表格存储能够提供非常优秀的写入能力,在阿里内部得到到了正好的实践和证明。但是若要发挥其强度的写入能力,需要有一个良好的表结构设计。 本篇文章给出了一个存储时间序
日志服务接入方式之Unity 3D篇
通过Web Tracking功能非常方便的收集Unity 3D的日志,这篇文章将以收集Unity Debug.Log为例,讲解如何将Unity日志收集到日志服务中。
基于表格存储的高性能监控数据存储计算方案
随着软件架构的愈发复杂,借助强大的监控系统提高工作效率已经成为工程师的共识。监控系统会产生很多的监控信息,同时也要求对这些监控信息进行运算,此时就要求有一个扩展能力强、性能高的的存储系统来支撑监控信息的存储。本文以表格存储为例介绍NoSQL系统如何助力监控系统的构建。
日志服务接入方式之JS篇
本篇主要介绍使用JS SDK收集浏览器端的数据,附件是我们提供的JS库,使用它可以非常方便的收集浏览器端的信息,比如用户操作系统类型、浏览器类型和版本、屏幕分辩率等。除此以外,JS SDK还支持收集用户自定义的数据,比如在事件响应中收集特定的信息。
Windows下编译使用Aliyun OSS PHP SDK
WIN环境下搭建Aliyun OSS PHP SDK编译运行环境。从PHP的安装逐步完成,SDK的编译运行。即使没有任何PHP基础,也能顺利完成。
OAS的使用——控制台和命令行工具
OAS提供命令行工具oascmd.py,命令行工具可以给用户一个快捷的使用工具,不需要任何代码编写就可以使用OAS的功能,在实际使用中命令行工具更多作为一种测试工具。
阿里云表格存储技术分享
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务,提供海量结构化数据的存储和实时访问。表格存储以实例和表的形式组织数据,通过数据分片和负载均衡技术,实现规模上的无缝扩展。应用通过调用表格存储 API / SDK 或者操作管理控制台来使用表格存储服务。
最佳实践:如何基于MNS实现事务消息
事务消息的背景: 有时候我们需要实现本地操作和消息发送的事务一致性功能。即:消息发送成功,则本地操作成功;反之,如果消息发送失败,本地操作失败(成功也需要rollback)。保证不出现操作成功但消息发送失败;或者操作失败但消息发送成功的情况; 另外,消费端,我们也希望消息一定被成功处理一次,不会
最佳实践:如何基于MNS实现一对多拉取消息消费模型
如何实现一对多拉取消息消费模型 问题背景: 阿里云消息服务MNS 已经提供队列(queue)和主题(topic)两种模型。其中队列提供的是一对多的共享消息消费模型,采用客户端主动拉取(Pull)模式;主题模型提供一对多的广播消息消费模型,并且采用服务端主动推送(Push)模式。上面两种模型基
表格存储在互联网风控和金融数据服务上的应用实践
引言 当前,第三方支付、P2P网贷、宝宝类理财、众筹等金融产品层出不穷,随着金融知识的普及,全民参与又进一步促进了互联网的发展。海量交易数据,实时在线访问,业务快速的迭代变化都对传统金融解决方案提出了更高的要求,而互联网金融本身的开放性,低门槛,征信信息的缺乏,又容易发生各类风险问题,这有给传统金
日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤
对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output。 Input 适配各类日志接入源,目前Logtail支持文本文件、Syslog(TCP流式)两种形式数据写入。 Process 自定义日志处理逻辑,常见的有:日志切分、日志编码转换、
表格存储:使用TableStoreWriter进行高并发、高吞吐的数据写入
表格存储(原OTS)的一大特性是能够支撑海量数据的高并发、高吞吐率的写入,特别适合日志数据或物联网场景(例如轨迹追踪或溯源)数据的写入和存储。这些场景的特性是,会在短时间内产生大量的数据需要消化并写入数据库,需要数据库能够提供高并发、高吞吐率的写入性能,需要满足每秒上万行甚至上百万行的写入吞吐率。针
NAS特定场景下buffered io比direct io读性能差问题的调查
最近一位NAS用户在微信上报道了NAS的性能测试报告,报告中测试数据显示buffered io读性能比direct io读要差。这显然和直观的认识不符,在内存充足的情况下,buffered io读的数据一般都在page cache中,每次读都是内存操作,其性能应该远远高于direct io,但测试.
日志服务(原SLS)新功能发布(9)--Logtail配置支持主题(Topic)设置功能
日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic)、时间(Time)、内容(Content)和来源(Source),详细描述请参考核心概念。其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记).
通过客户端加密保护数据
客户端加密是指用户数据在发送给远端服务器之前就完成加密,而加密所用的密钥的明文只保留在本地,从而可以保证用户数据安全,即使数据泄漏别人也无法解密得到原始数据。 本文介绍如何基于oss的现有python sdk版本, 通过客户端加密来保护数据。 原理介绍 用户本地维护一对rsa密钥(rsa_pr
日志服务(原SLS)新功能发布(8)--日志服务Web Tracking功能
日志服务通过Tracking功能支持 HTML, H5, iOS 和 Android 平台的数据的数据采集,允许用户自定义维度和指标,使用tracking功能可以采集各种浏览器以及ios、android APP的用户行为信息.
日志服务(原SLS)新功能发布(7)--使用logtail接入JSON/分隔符日志
基于日志做分析时,常常需要结构化解析日志的内容,将日志切分为不同字段,每个字段表示不同的语义,从而精确到字段进行查询、统计、报警等操作。 在日志采集过程中进行结构化解析是一种常见的方式,比如:Logtail、Fluentd可以通过正则表达式匹配日志、提取字段,Logstash通过grok(底层基于
开启存储的“轻计算”时代(下) ——阿里云云栖大会Tech insight:存储与轻计算专场
4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。
使用日志服务LogHub替换Kafka
前几天有客户问到,云上有什么服务可以替换Kafka? 怀着程序员的一丝小小的骄傲回复:日志服务(原SLS)下LogHub功能可以完全替代Kafka等产品,并且在性能、易用性和稳定性上更佳。 但客户将信将疑,于是花了一天时间整理一篇文章,简单从各个角度解释下为何建议用户从自搭Kafka换成
开启存储的“轻计算”时代(上) ——阿里云云栖大会Tech insight:存储与轻计算专场
4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。
通过日志服务调试分布式系统
分布式系统的调试是一个大难题,多个进程是如何协作的?如何查看延时消耗在哪里?本位为你揭秘阿里云的调试利器,基于日志服务的Tracer工具。
ossfs:两个Cache引发的Bug
ossfs是一个可以将OSS的Bucket挂载到本地文件系统的工具,用户可以像操作本地文件一样(ls/cat/stat)操作OSS的Object。
syslog协议介绍
syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者n
日志服务(原SLS)新功能发布(5)--使用Logstash接入数据
日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考。 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能。
MNS支持JMS协议的方案
JMS即Java Message Service,一般是用于两个应用程序之间,或分布式系统中发送消息,进行异步通信。有大量的消息服务中间件都实现了JMS协议,今天我们要介绍消息服务是阿里云提供的MNS消息服务,MNS消息服务现在也已经有了支持了JMS协议的方案。
最佳实践:如何对MNS消息进行加密传输
问题背景阿里云消息服务MNS提供公网http可访问的服务。对于包含敏感信息的消息,如何进一步提高从用户客户端程序到阿里云的服务之间的网络链路上的安全性?目前有两种解决方案: 1.MNS提供https的服务域名(计划中,预计4月中旬可用),用户选用https服务地址。 2.用户对传输的消.
最佳实践:如何基于MNS和OSS实现无大小限制的消息传输
问题背景阿里云消息服务MNS的队列的消息大小最大限制是64K,这个限制基本能够满足在正常情况下消息作为控制流信息交换通道的需求。但是,在某些特殊场景下,消息数据比较大时,就只能采用消息分片的方式。那么如何能够基于MNS,又不做消息切片,传递大于64K的消息呢?解法是有的。解决方案1.生产者在往MN.
日志客户端(Logstash,Fluentd, Logtail)横评
针对主流日志采集客户端(Logstash,Fluentd,以及日志服务客户端Logtail)进行功能、性能和稳定性测评
spanner 的前世今生
spanner的前身是big table,让我们先来看看big table这个老子的方方面面,然后再来看看儿子spanner为啥一出世就吸引了全球技术人员的眼球。 2006年,google 发表了big table [1]的文章,为什么要做big table,下面有一个简短的总结[2]: 就
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。