|
NoSQL 关系型数据库 MySQL
|

使用Datax将MySQL中的数据导入到TableStore中

背景 由于我们的数据在MySQL中的数据已经快接近亿级别,在访问MySQL并发读写的时候遇到了很大的瓶颈,严重的Block了我们的业务发展,主要从白天十点到晚上十点之前,并发访问的用户比较多,我们在写的前面加上了队列,系统后台自动同步。但是读上没有很好的办法解决,所以我们急需一个有较高吞吐量的实时

9692 0
|
网络协议 应用服务中间件 测试技术
|

OSS 性能测试经验总结

10479 2

阿里技术女神的成长之路(有生活素颜照哦)

从入职到现在2年多的时间里,经常有人问起:为什么要做程序员?为什么要来阿里? 这里不聊技术,不聊项目,只是简单分享,邻家女孩初长成,一路走来的风景……

43162 0
|
缓存 监控 Java
|

日志服务接入方式之loghub log4j appender

使用Loghub Log4j Appender,您可以控制日志的输出目的地为阿里云日志服务,使用Loghub Log4j Appender的好处 客户端日志不落盘:既数据生产后直接通过网络发往服务端。 对于已经使用log4j记录日志的应用,只需要简单修改配置文件就可以将日志传输到日志服务。 异

12174 0
|
缓存 监控 Java
|

日志服务接入方式之log producer library

Producer Library解决的问题: 客户端日志不落盘:既数据生产后直接通过网络发往服务端。 客户端高并发写入:例如一秒钟会有百次以上写操作。 客户端计算与IO逻辑分离:打日志不影响计算耗时。

6743 0
|
监控 对象存储
|

号外号外~~OSS监控服务上线啦!!

如何让OSS服务质量透明?如何全面、快速掌握服务运行状态?如何更容易自助定位问题? OSS监控服务来了——服务好助手,问题调查神器助你一臂之力!!

24084 0
|
存储 API 关系型数据库
|

表格存储新手指南:如何实现分页查询

本篇文章主要介绍如何在表格存储上实现分页查询

10078 6
|
JSON JavaScript 应用服务中间件
|

OSS callback功能常见问题分析

oss的callback功能常见错误有1、返回的body非json格式;2、status错误;3、超时

15300 0
|
存储 监控 分布式数据库
|

解密OpenTSDB的表存储优化

本篇文章会详细讲解OpenTSDB的表结构设计,在理解它的表结构设计的同时,分析其采取该设计的深层次原因以及优缺点。它的表结构设计完全贴合HBase的存储模型,而表格存储(TableStore、原OTS)与HBase有类似的存储模型,理解透OpenTSDB的表结构设计后,我们也能够对这类数据库的存储

28232 0
|
存储 监控
|

表格存储最佳实践:一种用于存储时间序列数据的表结构设计

在时间序列存储的场景,例如监控数据或者日志数据,通常比较难解决的是写入的问题,传统的数据库难以承载如此大数据量、高并发的写入压力。 表格存储能够提供非常优秀的写入能力,在阿里内部得到到了正好的实践和证明。但是若要发挥其强度的写入能力,需要有一个良好的表结构设计。 本篇文章给出了一个存储时间序

10015 0
|
监控 图形学
|

日志服务接入方式之Unity 3D篇

通过Web Tracking功能非常方便的收集Unity 3D的日志,这篇文章将以收集Unity Debug.Log为例,讲解如何将Unity日志收集到日志服务中。

5856 0
|
存储 监控 NoSQL
|

基于表格存储的高性能监控数据存储计算方案

随着软件架构的愈发复杂,借助强大的监控系统提高工作效率已经成为工程师的共识。监控系统会产生很多的监控信息,同时也要求对这些监控信息进行运算,此时就要求有一个扩展能力强、性能高的的存储系统来支撑监控信息的存储。本文以表格存储为例介绍NoSQL系统如何助力监控系统的构建。

7432 0
|
监控 JavaScript Java
|

日志服务接入方式之JS篇

本篇主要介绍使用JS SDK收集浏览器端的数据,附件是我们提供的JS库,使用它可以非常方便的收集浏览器端的信息,比如用户操作系统类型、浏览器类型和版本、屏幕分辩率等。除此以外,JS SDK还支持收集用户自定义的数据,比如在事件响应中收集特定的信息。

5474 0
|
存储 Java 开发工具
|

表格存储新手指南:Java SDK异步接口的使用

本篇文章主要会介绍下表格存储的Java SDK提供的异步接口,如何使用以及应用场景。

6330 0
|
PHP 开发工具 对象存储
|

Windows下编译使用Aliyun OSS PHP SDK

WIN环境下搭建Aliyun OSS PHP SDK编译运行环境。从PHP的安装逐步完成,SDK的编译运行。即使没有任何PHP基础,也能顺利完成。

18760 0
|
API 开发工具 Python
|

OAS的使用——Python SDK

当需要向OAS备份归档的文件量非常大的时候,通过web控制台和命令行工具来完成是不可能的,这时候需要使用OAS提供的SDK编写操作代码来实现

4154 0
|
Shell 开发工具
|

OAS的使用——控制台和命令行工具

OAS提供命令行工具oascmd.py,命令行工具可以给用户一个快捷的使用工具,不需要任何代码编写就可以使用OAS的功能,在实际使用中命令行工具更多作为一种测试工具。

2589 0
|
API 开发工具 Python
|

OAS的使用——概述

本文将从一个OAS(Open Archive Service)服务使用者的角度对OAS进行简单讲解

5795 0
|
存储 分布式数据库 数据库
|

阿里云表格存储技术分享

表格存储(Table Store)是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务,提供海量结构化数据的存储和实时访问。表格存储以实例和表的形式组织数据,通过数据分片和负载均衡技术,实现规模上的无缝扩展。应用通过调用表格存储 API / SDK 或者操作管理控制台来使用表格存储服务。

7020 0
|
消息中间件
|

最佳实践:如何基于MNS实现事务消息

事务消息的背景: 有时候我们需要实现本地操作和消息发送的事务一致性功能。即:消息发送成功,则本地操作成功;反之,如果消息发送失败,本地操作失败(成功也需要rollback)。保证不出现操作成功但消息发送失败;或者操作失败但消息发送成功的情况; 另外,消费端,我们也希望消息一定被成功处理一次,不会

7113 0
|
消息中间件
|

最佳实践:如何基于MNS实现一对多拉取消息消费模型

如何实现一对多拉取消息消费模型 问题背景: 阿里云消息服务MNS 已经提供队列(queue)和主题(topic)两种模型。其中队列提供的是一对多的共享消息消费模型,采用客户端主动拉取(Pull)模式;主题模型提供一对多的广播消息消费模型,并且采用服务端主动推送(Push)模式。上面两种模型基

6512 0
|
存储 消息中间件 大数据
|

表格存储在互联网风控和金融数据服务上的应用实践

引言 当前,第三方支付、P2P网贷、宝宝类理财、众筹等金融产品层出不穷,随着金融知识的普及,全民参与又进一步促进了互联网的发展。海量交易数据,实时在线访问,业务快速的迭代变化都对传统金融解决方案提出了更高的要求,而互联网金融本身的开放性,低门槛,征信信息的缺乏,又容易发生各类风险问题,这有给传统金

7311 0
|
编解码 监控
|

日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤

对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output。 Input 适配各类日志接入源,目前Logtail支持文本文件、Syslog(TCP流式)两种形式数据写入。 Process 自定义日志处理逻辑,常见的有:日志切分、日志编码转换、

7042 0
|
存储 NoSQL Java
|

表格存储:使用TableStoreWriter进行高并发、高吞吐的数据写入

表格存储(原OTS)的一大特性是能够支撑海量数据的高并发、高吞吐率的写入,特别适合日志数据或物联网场景(例如轨迹追踪或溯源)数据的写入和存储。这些场景的特性是,会在短时间内产生大量的数据需要消化并写入数据库,需要数据库能够提供高并发、高吞吐率的写入性能,需要满足每秒上万行甚至上百万行的写入吞吐率。针

11900 0
|
测试技术 文件存储
|

NAS特定场景下buffered io比direct io读性能差问题的调查

最近一位NAS用户在微信上报道了NAS的性能测试报告,报告中测试数据显示buffered io读性能比direct io读要差。这显然和直观的认识不符,在内存充足的情况下,buffered io读的数据一般都在page cache中,每次读都是内存操作,其性能应该远远高于direct io,但测试.

4967 1
|
监控 前端开发 索引
|

日志服务(原SLS)新功能发布(9)--Logtail配置支持主题(Topic)设置功能

日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic)、时间(Time)、内容(Content)和来源(Source),详细描述请参考核心概念。其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记).

29188 13
|
开发工具 数据安全/隐私保护 Python
|

通过客户端加密保护数据

客户端加密是指用户数据在发送给远端服务器之前就完成加密,而加密所用的密钥的明文只保留在本地,从而可以保证用户数据安全,即使数据泄漏别人也无法解密得到原始数据。 本文介绍如何基于oss的现有python sdk版本, 通过客户端加密来保护数据。 原理介绍 用户本地维护一对rsa密钥(rsa_pr

3952 1
|
监控
|

日志服务(原SLS)新功能发布(8)--日志服务Web Tracking功能

日志服务通过Tracking功能支持 HTML, H5, iOS 和 Android 平台的数据的数据采集,允许用户自定义维度和指标,使用tracking功能可以采集各种浏览器以及ios、android APP的用户行为信息.

3139 1
|
JSON 监控 数据格式
|

日志服务(原SLS)新功能发布(7)--使用logtail接入JSON/分隔符日志

基于日志做分析时,常常需要结构化解析日志的内容,将日志切分为不同字段,每个字段表示不同的语义,从而精确到字段进行查询、统计、报警等操作。 在日志采集过程中进行结构化解析是一种常见的方式,比如:Logtail、Fluentd可以通过正则表达式匹配日志、提取字段,Logstash通过grok(底层基于

6012 0
|
存储 数据处理 云栖大会
|

开启存储的“轻计算”时代(下) ——阿里云云栖大会Tech insight:存储与轻计算专场

4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。

2735 0
|
消息中间件 运维 监控
|

使用日志服务LogHub替换Kafka

前几天有客户问到,云上有什么服务可以替换Kafka? 怀着程序员的一丝小小的骄傲回复:日志服务(原SLS)下LogHub功能可以完全替代Kafka等产品,并且在性能、易用性和稳定性上更佳。 但客户将信将疑,于是花了一天时间整理一篇文章,简单从各个角度解释下为何建议用户从自搭Kafka换成

30457 12
|
Linux 测试技术 Apache
|

使用ab和wrk对OSS进行benchmark测试

13866 0
|
存储 安全 Serverless
|

开启存储的“轻计算”时代(上) ——阿里云云栖大会Tech insight:存储与轻计算专场

4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。  

3842 0
|
监控 索引
|

通过日志服务调试分布式系统

分布式系统的调试是一个大难题,多个进程是如何协作的?如何查看延时消耗在哪里?本位为你揭秘阿里云的调试利器,基于日志服务的Tracer工具。

5019 1
来自: 日志服务SLS  版块
|
存储 运维 监控
|

云存储系统监控服务分析

首先,阐述监控服务重要性和用户需求;然后描述OSS监控现状;最后给出监控服务解决方案。

5585 0
|
Linux Shell 对象存储
|

ossfs:两个Cache引发的Bug

ossfs是一个可以将OSS的Bucket挂载到本地文件系统的工具,用户可以像操作本地文件一样(ls/cat/stat)操作OSS的Object。

5442 1
|
监控 JavaScript
|

syslog协议介绍

syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者n

14882 0
|
应用服务中间件 对象存储 nginx
|

Aliyun OSS Nginx proxy module(阿里云OSS Nginx 签名代理模块)

OSS Nginx proxy module

13524 0
|
对象存储 Perl
|

命令行下玩转阿里云OSS

单行命令完玩转阿里云OSS

7341 0
|
监控
|

日志服务(原SLS)新功能发布(5)--使用Logstash接入数据

日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考。 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能。

7986 0
|
消息中间件 Java
|

MNS支持JMS协议的方案

JMS即Java Message Service,一般是用于两个应用程序之间,或分布式系统中发送消息,进行异步通信。有大量的消息服务中间件都实现了JMS协议,今天我们要介绍消息服务是阿里云提供的MNS消息服务,MNS消息服务现在也已经有了支持了JMS协议的方案。

8283 0
|
消息中间件 存储
|

认识MNS消息服务

你是否,还在担心硬盘损坏等原因导致数据丢失?还在担心自建的消息服务受到恶意攻击?还在担心业务量迅速增加可能导致的性能压力?还在担心没有专业的运维人员?担心机器的维护成本过高?不必担心!MNS消息服务已经帮你一站式解决了以上所有问题,并且,价格超便宜!

12578 0
|
监控 Java
|

日志服务新功能发布(1)--支持保序写入和消费

日志服务新功能上线介绍,本文介绍日志服务如何支持日志严格保序的写入和消费。

4692 0
|
消息中间件 数据安全/隐私保护
|

最佳实践:如何对MNS消息进行加密传输

问题背景阿里云消息服务MNS提供公网http可访问的服务。对于包含敏感信息的消息,如何进一步提高从用户客户端程序到阿里云的服务之间的网络链路上的安全性?目前有两种解决方案:    1.MNS提供https的服务域名(计划中,预计4月中旬可用),用户选用https服务地址。    2.用户对传输的消.

3653 0
|
消息中间件 对象存储
|

最佳实践:如何基于MNS和OSS实现无大小限制的消息传输

问题背景阿里云消息服务MNS的队列的消息大小最大限制是64K,这个限制基本能够满足在正常情况下消息作为控制流信息交换通道的需求。但是,在某些特殊场景下,消息数据比较大时,就只能采用消息分片的方式。那么如何能够基于MNS,又不做消息切片,传递大于64K的消息呢?解法是有的。解决方案1.生产者在往MN.

4342 0
|
监控 Java Ruby
|

日志客户端(Logstash,Fluentd, Logtail)横评

针对主流日志采集客户端(Logstash,Fluentd,以及日志服务客户端Logtail)进行功能、性能和稳定性测评

44148 12
|
监控 API
|

日志服务支持VPC(专有网)啦

日志服务已支持VPC(专有网)中日志收集、以及API访问

3325 0