本篇介绍日志服务数据加工: 跨账号多源logstore数据汇总最佳实践

本篇介绍日志服务数据将: 跨账号多目标logstore数据分发最佳实践, 覆盖如何动态多目标灵活分发.

本篇介绍日志服务数据加工: 事件判断最佳实践汇总

本篇介绍日志服务数据加工最佳实践: 函数调用汇总, 如何绕开相关的坑等

1.背景     阿里云提供自动快照策略，用户可以根据实际情况创建不同类型的快照策略，并附加到指定的云盘上。这个功能非常强大，定制化能力强，适合于各种云盘保护场景。但是自动快照策略操作不太灵活，需要用户先创建快照策略，然后在勾选指定的云盘。

前言 表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库。在处理海量数据时，方案设计非常重要，合理的设计才能够发挥出数据库的性能水平。本文主要介绍Tablestore在表设计方面的一些实践经验，供大家参考。

日志服务数据加工: 介绍数据加工用到的JMES的语法

本文提供日志服务数据加工的ETL语言中完整语法, 200+函数与400+GROK模式等完整手册下载.持续更新.

表格存储（Tablestore）入门指南内容简介了表格存储（Tablestore）是阿里云自研的 NoSQL 多模型数据库，提供海量结构化数据存储以及快速的查询和分析服务。

前言 表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless NoSQL多模型数据库。Tablestore在阿里云官网上有各种文档介绍，也发布了很多场景案例文章，这些文章收录在这个合集中《表格存储Tablestore权威指南》。

本文介绍如何授权阿里云子账号操作数据加工功能.

数据加工主要解决用户规整数据的痛点以及进一步挖掘数据价值, 降低时间与人力成本, 另一方面, 合理配置也可以节约一定财务费用. 本文介绍了如何以较优的成本方式使用数据加工.

本篇介绍日志服务数据加工的性能主要因素, 以及如何合理规划源logstore, 目标logstor和加工任务配置来满足数据加工的性能要求.

本文介绍日志服务数据家中中的查询字符串语法, 其类似日志服务查询以及lucene语法, 极大简化条件判断的逻辑编写.

本文介绍日志服务数据加工 - DSL语言规范

本文介绍日志服务数据加工的控制台的基本操作步骤

本篇介绍日志服务数据加工的原理, 包括调度原理, 规则引擎的逻辑处理的基本和高级原理

本篇介绍日志服务数据加工的相关概念

### 一、 背景介绍         近年来，物联网（IoT）技术发生了巨大的变化。NB-IoT、LoRa等技术的产生解决了网络覆盖、设备功耗成本问题；尤其是最近5G技术的商用，意味着支持海量设备连接进行高质量数据通讯即将有坚实的基础设施支持。

前言 Elasticsearch 是一个开源的分布式 RESTful 搜索和分析引擎。它可以在近实时条件下，存储，查询和分析海量的数据。它还支持将快照备份至HDFS/S3上面，而阿里云OSS兼容S3的API，本文将介绍如何使用ES的Repository-S3插件将快照备份至OSS。

1.云盘在线扩容介绍  阿里云支持针对正在使用中（running状态）的云盘进行在线扩容，用户无需重启（reboot instance）实例即可完成物理空间扩容。 2.云盘在线扩容操作演示  您可以通过控制台或者API方式完成在线kuo扩容。

摘要 从MySQL到Tablestore的全量数据导出可以参考同系列文章《数据同步-从MySQL到Tablestore》，本文主要介绍将MySQL的增量数据同步到Tablestore的一种方式——使用阿里集团的数据传输服务DTS的数据订阅功能做增量数据的读取以及改写。

如何快速的批量对监控系统中的多时序数据进行异常检测，如何对批量检测的结果进行快速的进行异常模式过滤？ 阿里云日志服务平台，可以让您通过简单的SQL就可以对上千条时序数据进行异常检测，同时快速的针对指定异常模式进行过滤，缩短用户对异常的排查时间。

简介 差不多十年前，随着功能机的淘汰和智能机的普及，互联网开始进入移动互联网时代，最具代表性的产品就是微博、微信，以及后来的今日头条、快手等。这些移动化联网时代的新产品在过去几年间借着智能手机的风高速成长。

### 前言 数据复制主要指通过互联的网络在多台机器上保存相同数据的副本，通过数据复制方案，人们通常希望达到以下目的：1）使数据在地理位置上更接近用户，进而降低访问延迟；2）当部分组件出现故障时，系统依旧可以继续工作，提高可用性；3）扩展至多台机器以同时提供数据访问服务，从而提升读吞吐量。

一、背景   目前上云已经成为行业发展趋势，越来越多的企业级客户将业务系统和数据库迁移到云上。而传统的备份一体机/备份软件方式，并不适合云上ECS、RDS等产品的备份与容灾服务。阿里云块存储服务提供云原生的快照服务，通过针对关键业务系统的自动以及手工快照，确保用户业务系统在发生灾难时，也能够快速进行业务恢复。

数据质量决定运营分析的质量 在上文中，我们介绍了GrowthHacking的整体架构，其中数据采集是整个数据分析的基础，只有有了数据，才能进行有价值的分析；只有高质量的数据，才能驱动高质量的运营分析.可以说,数据质量决定了运营质量。

增长关乎产品的存亡 增长！增长！增长！业务增长是每一个创业者每天面临的最大问题。无论你的产品是APP，还是web，或者是小程序，只能不断的维持用户的增长，才能向资本市场讲出一个好故事，融资活下去。活到最后的产品，才有机会盈利。

基于阿里云文件存储NAS构建高可用的GitLab

Kubernetes（k8s） 凭借着其优良的架构，灵活的扩展能力，丰富的应用编排模型，成为了容器编排领域的事实标准。越来越多的企业拥抱这一趋势，选择 k8s 作为容器化应用的基础设施，逐渐将自己的核心服务迁移到 k8s 之上。

日志服务数据加工上线，介绍了配置数据数据加工时从源logstore到目标logstore进行分发的权限配置细节与样例

日志服务加工功能对每个配置的任务，都提供了免费的规则洞察报表与诊断功能，覆盖了总览指标、消费延迟与速率指标、活跃Shard指标、异常详等

日志服务数据加工上线，本文概述其语法框架与样例，覆盖事件操作宏、事件类操作函数、字段类操作函数、表达式函数等

日志服务数据加工上线，本文介绍规则编排的使用场景，覆盖自由编排、内置字段提取、富化，以及使用内置的100多种表达式函数完成自由灵活的数据加工。

日志服务数据加工上线，本文以SLB日志加工实战为例，覆盖规则编写、控制台交互、权限配置、监控排错等

日志服务数据加工：功能概述

一、LVM简介   LVM是逻辑盘卷管理（Logical Volume Manager）的简称，它是Linux环境下对磁盘分区进行管理的一种机制，LVM是建立在硬盘和分区之上的一个逻辑层，来提高磁盘分区管理的灵活性。

阿里云AI整体解决方案概览

基于阿里云容器服务和文件存储NAS构建自动化持续集成交付环境

本文会简述大数据分析场景需要解决的技术挑战，讨论目前主流大数据架构模式及其发展。最后我们将介绍如何结合云上存储、计算组件，实现更优的通用大数据架构模式，以及该模式可以涵盖的典型数据处理场景。 大数据处理的挑战 现在已经有越来越多的行业和技术领域需求大数据分析系统，例如金融行业需要使用大数据系统结合VaR(value at risk)或者机器学习方案进行信贷风控，零售、餐饮行业需要大数据系统实现辅助销售决策，各种IOT场景需要大数据系统持续聚合和分析时序数据，各大科技公司需要建立大数据分析中台等等。

# 背景 订单系统在各行各业中广泛应用，为消费者、商家后台、促销系统等第三方提供用户、产品、订单等多维度的管理和查询服务。为了挖掘出海量订单数据的潜能，丰富高效的查询必不可少。然而很多时候并不能给出完整准确的查询关键字，例如，只知道收货人姓氏，或是产品名称部分关键字，或是根据收货人手机尾号找到订单，我们将这类查询归为“模糊查询”。

前言 Tablestore是一款NoSQL多模型数据库，可提供海量结构化数据存储以及快速的查询和分析服务。如何将数据导入Tablestore，可以通过SDK/API、控制台、命令行工具直接写入、或者使用离线数据迁移工具DataX等。

为防止滥用消耗过多机器资源，我们对默认安装的Logtail进行了一系列的资源限制。默认安装的Logtail最多日志采集速度为20M/s，20个并发发送。如需提高采集性能，请参考本篇文章。

前言 目前出行市场主要分为传统和新兴两个阵营：私家车、公共交通、出租车和长租车为传统出行提供服务，共享单车、网约车以及分时租赁共享汽车则是最近几年兴起的出行方式。_图1 出行方式分析_出行者往往是在成本和出行便捷之间权衡选择出行方式。

1.RAID简介 RAID是将多个独立的磁盘按照一定的方式组成1个磁盘阵列组，相比单个磁盘能够有效的提高磁盘的容量、带宽以及可靠性和可用性。 说明： 1.不建议对云盘采用RAID5 和RAID6模式，这些RAID模式的奇偶校验数据会占用一定的IOPS，从而造成性能的损失 2.建议创建RAID0,RAID1模式，并使用相同分区大小，以减少云盘空间的浪费 如下是常见的RAID配置选项： 配置 优点 劣势 使用场景 RAID0 I/O在卷内以条带化的方式分布在各个磁盘上。

1.场景简介 若整块磁盘作为1个分区使用（即不存在多个逻辑分区，例如/dev/vda1,/dev/vda2）。请不要在ECS磁盘上创建分区，而是直接在裸设备上创建文件系统。 2.在裸设备上创建文件系统（如下以ubuntu系统举例） 1.以root身份登录Linux系统 运行如下命令，查看磁盘名称： fdisk -l 回显信息如下图所示，表示当前ECS服务器有两块云硬盘，/dev/vda是系统盘，而/dev/vdb是新添加的数据盘。

前言 现在越来越多的人都开始关心自己的运动数据，比如每日的计步、跑步里程、骑行里程等。运动APP与运动类的穿戴设备借助传感器、地图、GPS定位等技术，收集好运动数据以后，通过与互联网社交功能结合，产生了一种新的运动模式。

围绕日志，挖掘其中更大价值，一直是我们团队所关注。在原有日志实时查询基础上，今年SLS在DevOps领域完善了如下功能： - 上下文查询 - 实时Tail和智能聚类，以提高问题调查效率 - 提供多种时序数据的异常检测和预测函数，来做更智能的检查和预测 - 数据分析的结果可视化 - 强大的告...

互联网快速发展的今天，社交类应用、消息类功能大行其道，占据了大量网络流量。大至钉钉、微信、微博、知乎，小至各类App的推送通知，消息类功能几乎成为所有应用的标配。根据场景特点，我们可以将消息类场景归纳成三大类：IM（钉钉、微信）、Feed流（微博、知乎）以及常规消息队列。

Azure在2018年推出了Data Explorer产品，提供实时海量流数据的分析服务（非流计算），面向应用、网站、移动端等设备。以下是对于该产品的解读和学习笔记。