重磅干货免费下载!阿里云RDS团队论文被数据库顶会SIGMOD 2018收录-阿里云开发者社区

开发者社区> 桐碧2018> 正文

重磅干货免费下载!阿里云RDS团队论文被数据库顶会SIGMOD 2018收录

简介: 来自阿里云RDS团队的论文“**TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大规模海量云数据库的服务质量实时采集与诊断系统)**被数据库顶会SIGMOD 2018收录。
+关注继续查看

ACM SIGMOD数据管理国际会议是由美国计算机协会(ACM) 数据管理专业委员会(SIGMOD)发起、在数据库领域具有最高学术地位的国际性学术会议。

SIGMOD和另外两大数据库会议VLDB、ICDE构成了数据库领域的三个顶级会议。相对而言,SIGMOD比另外两个会议的含金量更高,被录取的难度更大。ACM SIGMOD的论文录取率是很低的,平均录取率大约仅为15%-17%。

来自阿里云RDS团队的论文“TcpRT: Instrument and Diagnostic Analysis System for Service Quality of Cloud Databases at Massive Scale in Real-time” (TcpRT:面向大规模海量云数据库的服务质量实时采集与诊断系统)被数据库顶会SIGMOD 2018收录。

TcpRT论文介绍了RDS天象系统在云数据库SLA数据采集、服务质量指标计算、异常检测、故障根因分析领域的创新工作,以及在各类云平台上大规模部署自动化服务的客户实践经验。

评委评价

I have plenty of experience with manual anomaly detection. That has wasted much time for me at work, so I liked what you described.

以下为SIGMOD 2018阿里云入选论文。

下载中文版:https://yq.aliyun.com/attachment/download/?id=5574
下载英文版:https://yq.aliyun.com/attachment/download/?id=5575

_

简介

随着企业上云趋势的日益热化,作为产业核心组件的数据库,已成为各大云计算公司增长最快的在线服务业务。作为中国第一大云数据库厂商,我们RDS团队致力于为用户提供稳定的云数据库服务。从本质上看,RDS是一个多租户DBaaS平台,利用轻量级KVM、Docker镜像等资源隔离技术将用户所购买的数据库实例部署在物理机上,按需分配资源并进行自动升降级,实现一套完全自动化的智能运维管理。

云数据库对客户业务的稳定性至关重要,因此快速发现云数据库性能出现异常,及时定位异常原因是云数据库厂商的一个挑战。TcpRT是阿里云数据库用来监控和诊断数据库服务质量的一个基础设施。TcpRT从主机TCP/IP协议栈的壅塞控制采集trace数据,计算数据库延迟和网络异常,在后台流式计算平台进行大规模实时数据分析和聚合,通过统计指标历史数据的柯西分布发现异常点,并通过同一台主机、交换机、proxy下所有实例一致性趋势的比例来计算不同组件发生异常的概率。

到目前为止,TcpRT以每秒采集2千万条原始trace数据、每天后台处理百亿吞吐数据、秒级检测异常的卓越性能在阿里云持续稳定运行三年。

本文贡献

  • 提出了一种新的对数据库服务质量进行采集的方法,基于内核壅塞模块实现,可以非侵入性、低代价的采集基于停等协议的关系数据库的per connection的延迟、带宽,分析用户使用数据库的模型(短连接和长连接),并且可以端到端的记录和量化基础网络服务质量对数据库服务质量的影响,包括丢包率、重传率。
  • 我们开发了一套对采集的原始数据进行数据清洗、过滤、聚合、分析的流式计算系统,系统可以做到水平扩展、容错性、实时性、Exactly Once,具有和其他大数据平台例如EMR、MaxCompute进行数据交换的能力
  • 我们提出了一个新的算法对TcpRT数据进行分析,来发现数据库的服务质量有无异常,并且对异常事件的根因进行定位

mulu

会议将于6月10日在美国休斯敦召开,论文也会公开发表,以下是相关信息。
Title:SIGMOD/PODS '18 International Conference on Management of Data
Houston, TX, USA — June 10 - 15, 2018
Pages:1846
Sponsor: SIGMOD ACM Special Interest Group on Management of Data
Publisher:ACM New York, NY, USA
ISBN:978-1-4503-4703-7
Conference:MODInternational Conference on Management of Data

扫码了解阿里云数据库
er

扫码关注云栖社区,获取更多干货
image

阿里云RDS产品点此了解:
https://www.aliyun.com/product/outline/index
阿里云自研智能云数据库POLARDB点此了解:
https://www.aliyun.com/product/polardb

版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。

相关文章
【emoji表情】阿里云数据库RDS支持emoji表情
前言 由于最近几年移动App的兴起,手机自带表情作为用户输入的方式开始流行。 但是emoji表情作为一种特殊的编码方式,之前的数据库字符编码不能正常显示。 解决 在mysql5.5之后的版本,utf8mb4的编码方式解决了emoji表情和生僻字的编码问题。
2326 0
16 个免费和收费的视频、多媒体 WordPress 主题
免费 Free Podcasting, Video and Photography WordPress Theme Selecta WordPress Theme Video Cinematic Free WordPress Theme 收费 Reach – Busine...
517 0
前沿分享|阿里云数据库高级技术专家 宋利兵:阿里云企业级自治数据库RDS详解
本篇内容为2021云栖大会-企业级云原生数据库最佳实践论坛中,阿里云数据库高级技术专家 宋利兵关于“阿里云企业级自治数据库RDS详解”的分享。
226 0
企业打开云HBase的正确方式,来自阿里云云数据库团队的解读
一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
3916 0
为更强大而生的开源关系型数据库来了!阿里云RDS for MySQL 8.0 正式上线!
2019年5月29日15时,阿里云RDS for MySQL 8.0正式上线,使得阿里云成为紧跟社区步伐,发布MySQL最新版本的云厂商。RDS for MySQL 8.0 产品是阿里云推出的 MySQL 系列云产品之一,使用完全兼容 MySQL 8.0 的阿里云 AliSQL 8.0 分支,除了官方在 MySQL 8.0 推出的全新功能外,AliSQL 沉淀了许多在 Alibaba 集团电商业务和云上几十万客户在使用 MySQL 过程中遇到的问题和需求,以此来加固AliSQL, 提升 AliSQL 的性能和稳定性。
10697 0
开启数据智慧,阿里云大数据团队调研高新区
随着“云计算”、“互联网”、“物联网”的快速发展,大数据(Big Data)也吸引了越来越多的人关注,成为社会热点之一。大街小巷不论是技术人员、咨询人士以及各行各业的精英达人都在探讨着“大数据”,“大数据”显然已经成为新一代“网红”。
2010 0
阿里云RDS-MYSQL数据库参数设置
阿里云RDS-MYSQL数据库参数设置
24481 0
+关注
桐碧2018
数据库技术品牌和运营
45
文章
0
问答
来源圈子
更多
阿里云数据库:帮用户承担一切数据库风险,给您何止是安心!支持关系型数据库:MySQL、SQL Server、PostgreSQL、PPAS(完美兼容Oracle)、自研PB级数据存储的分布式数据库Petadata、自研金融级云数据库OceanBase支持NoSQL数据库:MongoDB、Redis、Memcache更有褚霸、丁奇、德哥、彭立勋、玄惭、叶翔等顶尖数据库专家服务。
+ 订阅
文章排行榜
最热
最新
相关电子书
更多
《2021云上架构与运维峰会演讲合集》
立即下载
《零基础CSS入门教程》
立即下载
《零基础HTML入门教程》
立即下载