云时代对账单分析的强烈需求 对于传统的IT运维，通常上线机器，首先需要预估需求，然后申请预算，再发起采购单，等待采购完成，到最终上线，整个流程已经横跨几个月，甚至到1年。 云时代的到来，云厂商巨大的资源池，保证任何客户任意时刻都有足够的资源使用。

背景 随着互联网架构的流行，越来越多的系统开始走向分布式化、微服务化。如何快速发现和定位分布式系统下的各类性能瓶颈成为了摆在开发者面前的难题。借助分布式追踪系统的调用链路还原能力，开发者可以完整地了解一次请求的执行过程和详细信息。

近年来，随着越来越多的企业从传统经济向数字经济转型，云已经渐渐成为数据经济IT新常态。核心业务系统上云，云上的业务创新，这些都产生了大量的业务数据，这些数据也成为了企业最重要的资产、资源。 阿里云基于OSS的云上统一数据保护方案2.0，针对业务上云后数据保护所面临的挑战，提供多层次、全方位的数据保护解决方案，让您业务上云，数据无忧。

数字经济时代，云已经成为数据经济IT新常态。那么上云之后，数据还安全吗？近日，阿里云正式发布基于OSS的云上统一数据保护方案2.0，针对业务上云后数据保护所面临的挑战，提供多层次、全方位的数据保护解决方案，让您业务上云，数据无忧。

简化云上等保，阿里云发布日志审计服务, 一键式开启多账户跨区域实时自动采集同步多个云产品的审计类日志.

在日志类数据成为生产资料得到越来越多关注的今天，日志服务数据加工抽象了规整、分发、富化等操作，帮助数据在阿里云服务和开源生态间流动起来，让日志分析变得更容易。

DevOps是什么？ 对于传统的软件研发而言，开发，测试，运维，运营，有不同的岗位进行分工协作，以保证质量和专业度，同一件事情，依赖不同岗位的排期、沟通、协调，效率难免会有打折。而对于互联网业务来说，快速的迭代，对人力的需求非常强烈，不大可能有足够的人力支撑这么多岗位。

阿里云文件存储HDFS服务是阿里云专门针对先进的存储计算分离架构下的大数据分析场景定制推出的文件存储服务。文件存储HDFS采用全自研的底层架构，有效规避了开源HDFS系统的诸多短板，并提供标准的HDFS访问协议，用户无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、高可靠和高可用等特性的托管型分布式文件系统。

10月28日，记者了解到，存储国家标准——GB/T 37737-2019《信息技术云计算分布式块存储系统总体技术要求》测试认证已经取得阶段性成果，阿里云成为首个通过该标准测试的云厂商。

一、解决的问题 数据是实时产生的，对数据进行批处理所花费的成本太高了，数据产生的价值被低估 在高维数据下，如何能发现异常的维度？ If my time-series data with 30 features yields an unusually high anomaly score.

场景分析 挖掘数据价值是当前企业级网站共同面临的问题。买买网是一个电商平台网站，每天拥有大量的用户访问和购买记录。为了引导用户直接消费，提升购买率和转化率，不同的用户类别需要推荐不同的商品信息。因此大数据快速分析的能力就必不可少了。

背景Spark 中国社区联合阿里云 EMR 技术交流群，Tablestore 技术交流群举办了一场联合技术直播。直播的话题是“海量结构化数据的实时计算和处理”，主要介绍基于 Tablestore 的数据变更实时捕获订阅能力，实现云上Lambda 架构的轻量化实现。

2019 云栖大会"下一代云存储技术与最佳实践专场"，分享“对象存储海量数据管理和应用最佳实践” 议题，重点介绍对象存储 OSS 的架构原理、数据管理、最佳实践。

本文介绍如何在E-MapReduce中通过Tablestore Spark Streaming Source将TableStore中的数据实时导入到Delta Lake中。 背景介绍 近些年来HTAP(Hybrid transaction/analytical processing)的热度越来越高，通过将存储和计算组合起来，既能支持传统的海量结构化数据分析，又能支持快速的事务更新写入，是设计数据密集型系统的一个成熟的架构。

本文将介绍如何在E-MapReduce中实时流式的处理Tablestore中的数据。 场景设计 随着互联网的发展，企业中积累的数据越来越多，数据的背后隐藏着巨大的价值，在双十一这样的节日中，电子商务企业都会在大屏幕上实时显示订单总量，由于订单总量巨大，不可能每隔一秒就到数据库中进行一次SQL统计，此时就需要用到流计算，而传统的方法都是需要借助Kafka消息队列来做流式计算，数据订单需要写入数据库与Kafka中，Spark Streaming 消费来自Kafka中的订单信息。

阿里云连续复制型容灾（ Continuous Data Replication，CDR）是阿里云混合云容灾服务推出的针对企业关键应用的秒—分级 RPO/RTO 业务持续性保障方案，它通过把虚拟机/物理机近乎实时的复制到阿里云ECS上来实现连续性的保障。

前言  任何线上系统都离不开数据，有些数据是业务系统自身需要的，例如系统的账号，密码，页面展示的内容等。有些数据是业务系统或者用户实时产生的，例如业务系统的日志，用户浏览访问的记录，系统的购买订单，支付信息，会员的个人资料等。

## 前言  任何线上系统都离不开数据，有些数据是业务系统自身需要的，例如系统的账号，密码，页面展示的内容等。有些数据是业务系统或者用户实时产生的，例如业务系统的日志，用户浏览访问的记录，系统的购买订单，支付信息，会员的个人资料等。

阿里云开发工程师悟冥带来日志服务在CDN流量指标中的异常检测实战的分享，悟冥负责日志服务平台中时序异常和时序预测的算法研发，提升系统发现异常、处理异常的能力，致力于让算法更好的协助开发和运维人员。本次专题围绕以实时的视频流媒体数据为例，介绍常用时序异常检测算法、异常维度分析的具体应用。

阿里云开发工程师悟冥带来日志服务在CDN流量指标中的异常检测实战的分享，悟冥负责日志服务平台中时序异常和时序预测的算法研发，提升系统发现异常、处理异常的能力，致力于让算法更好的协助开发和运维人员。本次专题围绕以实时的视频流媒体数据为例，介绍常用时序异常检测算法、异常维度分析的具体应用。

云存储网关预付费购买指引

本篇覆盖日志服务数据加工最佳实践: 从其他logstore拉取数据做富化的各种场景, 包括定期刷新拉取所有, 拉取部分数据, 拉取后再过滤数据, 调整返回表格结构等

日志服务数据加工最佳实践: 字符串动态键值对的提取, 详细讲解e_kv, e_kv_delimit与e_regex在各种场景下的用法与推荐.

日志服务索引那些事儿 简介 日志是排查问题最基本也是最重要的信息，排查问题原始的方式是登录机器查看日志，分布式场景下登录所有的机器代价太大，不利于问题排查。所以需要将日志集中采集，而且要快速查询到问题日志。

一、相关算法研究 1.1 常见的开源算法 Yahoo：EGADS FaceBook：Prophet Baidu：Opprentice Twitter：Anomaly Detection Redhat：hawkular Ali+Tsinghua：Donut Tencent：Metis Numen...

本文列举了阿里云对象存储 OSS 的常见问题，帮助您快速了解 OSS。

日志服务数据加工系列培训资料汇总: 扫平日志分析路上障碍, 实时海量日志加工实践

随着小步快跑、快速迭代的开发模式被越来越多的企业认同和采用，应用的发布、升级频率变得越来越频繁。进入云原生时代后，越来越多的应用被容器化，如何方便地对容器类应用进行平稳的发布和升级受到了广泛关注。

Log4j是Apache的一个开放源代码项目，通过使用Log4j，您可以控制日志信息输送的目的地是控制台、文件、GUI组件、甚至是套接口服务器、NT的事件记录器、UNIX Syslog守护进程等；您也可以控制每一条日志的输出格式；通过定义每一条日志信息的级别，您能够更加细致地控制日志的生成过程。

OSS 支持设置对Bucket设置标签，并按标签查询Bucket，以及结合访问控制RAM，按标签进行授权

您使用阿里云产品和服务踩过哪些坑？有哪些经验？欢迎把您的亲身实践写（录）下来与大家分享，优秀内容将发布到阿里云官网文档，有署名、积分等奖励哦！

对数据系统核心组件进行拆解，介绍每个组件下对应的开源组件以及云上产品。

交易数据的实时统计是电商网站一个核心功能，可以帮助用户实时统计网站的整体销售情况，快速验证“新销售策略”的效果。我们今天介绍一个基于表格存储(Tablestore)实现交易数据的实时计算，给大家提供一个新使用方式。

日志服务用户，您好！ 针对日志生命周期内存在的各种数据规整、分发、富化、清洗场景需求，阿里云日志服务（SLS）新推出了“数据加工”功能。 推荐在日志服务上进行数据规整、加工或联合其它数据源做分析的数据工程师使用。

1.背景     云计算已经成为行业发展趋势，越来越多的企业将生产系统、数据库等关键业务迁移到云上。由于基础架构发生变化，传统的备份软件/备份一体机方式并不适合云上ECS以及RDS等数据备份以及容灾场景。

阿里云日志服务（Log Service）于八月上线新版控制台，相较于旧版的控制台，我们致力于提供更加清晰快捷的功能入口，方便用户快速接入数据和管理资源项

日志服务数据加工：错误排查指南, 覆盖数据加工各个环节的错误与排查实践

日志服务数据加工最佳实践: 任务状态监控与告警, 介绍如何监控数据加工的任务状态, 并配置相应的监控.

从EMR-3.21.0 版本开始将提供Spark Streaming SQL的预览版功能，支持使用SQL来开发流式分析作业。结果数据可以实时写入Tablestore。 本文以LogHub为数据源，收集ECS上的日志数据，通过Spark Streaming SQL进行聚合后，将流计算结果数据实时写入Tablestore，展示一个简单的日志监控场景。

本文介绍日志服务数据加工最佳实践: 日期时间处理, 覆盖日志互转实践, 时区转换, 日期偏移等

20+篇日志服务数据加工最佳实践的实战汇总 (持续更新)

典型映射方式不能满足富化需求时, 可以使用搜索映射, 搜索映射与传统方式映射的区别在于匹配方式不同. 本篇介绍日志服务数据加工最佳实践: 使用搜索映射做高级数据富化.