日志无处不在，它作为记录世间万物变化的载体，在运维、研发、运营、安全、BI、审计等领域有着广泛的应用场景。阿里云日志服务是日志类数据的一站式服务平台，其核心组件 LogHub 凭借着高吞吐、低延迟、可自动伸缩等特性，逐渐成为大数据处理领域特别是实时数据处理场景下的基础设施。

Aliyun LOG Java Producer 是为运行在大数据、高并发场景下的 Java 应用量身打造的高性能写 LogHub 类库。相对于原始的 API 或 SDK，使用 producer 写数据能为您带来诸多优势，包括高性能、计算与 I/O 逻辑分离、资源可控制等。

利用模式挖掘中的算法（Apriori Tree、FP-Growth Tree）进行相关的模式挖掘。针对文本中的各个字段信息的统计模式，得到数据中的关联关系，将海量日志中有频繁的模式进行分析。同时可以针对不同的条件进行差异的模式分析，可以快速的辅助分析日志中的有价值信息。

1. OSS C SDK，是否支持在mac系统上运行？ 解答：不支持。 截止本文撰写之际，官网文档基于OSS C SDK 3.6.0编写。 兼容性 对于3.*.*系列SDK：兼容。 对于 2.*.*系列SDK： Windows兼容。

1. OSS控制台不支持上传文件夹，是否有其它方式可以支持？ 解答：OSS提供了ossutil工具，支持文件夹上传。 使用cp命令进行上传/下载/拷贝文件时： 使用-r选项来拷贝文件夹 详见官网说明:https://help.aliyun.com/document_detail/50561.html Github：http://github.com/aliyun/ossutil 2. OSS的URL，怎么将失效时间设置得久一点？ 解答：请使用ossutil工具。

1. OSS最大支持多大的文件？ 解答：非multipart方式上传，最大支持5GB的文件; multipart方式上传，最大支持48.8TB。 通过控制台上传、简单上传、表单上传、追加上传的文件大小不能超过5GB， 要上传大小超过5GB的文件必须使用断点续传方式。

阿里云反爬管理与日志服务打通，对外开放访问与机器人攻击日志。提供近实时的网站具体的日志自动采集存储、并提供基于日志服务的查询分析、报表报警、下游计算对接与投递的能力。

提供实时日志智能聚类(LogReduce)功能，根据日志的相似性进行聚类，快速掌握日志全貌，也不用担心重要信息被淹没在海量日志中，为系统稳定运行保驾护航！

阿里云对象存储用户众多。很多用户需要对OSS内的数据做线上或者线下的备份。本文介绍的基于云存储网关和混合云备份的OSS数据备份方案，不仅能保证OSS数据按策略的多版本备份，而且配置简单，性能好，效率高，成本低。

Fission 是由私有云服务提供商领导开源的 serverless 产品，它借助 kubernetes 灵活强大的编排能力完成容器的管理调度工作，而将重心投入到 FaaS 功能的开发上，其发展目标是成为 AWS lambda 的开源替代品。

通过分析序列进行合理预测，做到提前掌握未来的发展趋势，为业务决策提供依据，这也是决策科学化的前提。 时间序列就是按时间顺序排列的一组数据序列。时间序列分析就是发现这组数据的变动规律并用于预测的统计技术。

SMB网络文件系统协议, 全名服务器消息块（Server Message Block），曾用名CIFS（通用互联网文件系统 Common Internet File System）, 公元1983年诞生于IBM[1]，幼年得到英特尔和微软的照料，最终在微软的培养下成长为当今世上网络文件系统协议两极之一的存在。

OSS开放IPv6/IPv4双栈域名，可同时支持IPv6/IPv4客户端的访问，支持下一代互联网技术IPv6，可服务海量物理网设备连接等应用场景。

数据库作为企业的重要资产，数据备份必不可少。混合云备份推出的备份工作流功能作为备份数据库上云的一种解决方案，使用简单，备份可靠，并且可以订制各种数据库的备份。接下来我们以SQL Server为例，介绍一种利用混合云备份的工作流备份SQL Server的最佳实践。

背景 Serverless 架构的出现让开发者不用过多地考虑传统的服务器采购、硬件运维、网络拓扑、资源扩容等问题，可以将更多的精力放在业务的拓展和创新上。 随着 serverless 概念的深入人心，各大云计算厂商纷纷推出了各自的 serverless 产品，其中比较有代表性的有 AWS lambda、Azure Function、Google Cloud Functions、阿里云函数计算等。

1.Terraform简介    Terraform 是一个开源的自动化的资源编排工具，支持多家云服务提供商。阿里云作为第三大云服务提供商，terraform-alicloud-provider 已经支持了超过 90 多个 Resource 和 Data Source，覆盖20多个服务和产品，吸引了越来越多的开发者加入到阿里云Terraform生态的建设中。

一、方案背景 用户存储海量的文档、媒体文件等数据的同时，对文件元数据（Mate）的管理不可或缺。元数据拥有多维度的字段信息，基本信息包含文件大小、创建时间、用户等。随着人工智能的发展，通过AI技术提取文件核心要素也成为文件元数据的重要信息。

2018天猫双11，阿里云文件存储支撑了关键业务的消息系统存储，在应对几十倍于平时的大流量时，系统表现稳定，帮助业务系统完美度过尖峰流量的考验。本文将介绍阿里云文件存储的背景，以及文件存储是如何来保障业务系统应对高压力的。

本文以 Docker 为例，依托阿里云日志服务团队在日志领域深耕多年积累下的丰富经验，介绍容器日志处理的一般方法和最佳实践。

ossutil发布1.4.2版本，支持上传、复制文件或目录时指定存储类型，支持访问请求者付费模式的Bucket，上传或下载文件时显示传输速度

IMM服务（智能媒体管理）的 API 提供异步接口能力，处理大文件的文档转码、图像或者视频的 AI 处理，此时采用轮训的方式（比如文档转码的 GetOfficeConversionTask接口）效率不高，通过 MNS 队列通知获取异步任务执行结果是一种高效的方式，转载文章提供了 Python 示例，供大家参考。

日志服务团队具备强大的日志采集功能，针对建立索引的日志进行快速的查询和分析能力。基于此，我们团队将时序数据分析功能整合到日志服务中去，结合更加强大的告警功能，帮助用户根据自己的业务需求，快速的构建报警规则，提高效率。

如何使用TableStore打造店铺搜索系统

第一章：OSS沙箱说明   阿里云OSS不承担网络攻击的防护义务。如果用户的Bucket正在遭受攻击或者有受攻击的风险，OSS会自动将被攻击的Bucket切入到沙箱。沙箱中的Bucket仍然可以正常响应请求，但是用户有可能明显感受到该Bucket服务质量的下降。

OSS Select，让用户可以直接使用SQL语句，从OSS文件中选取所需要的内容，而不必读取整个文件的内容。企业级用户使用OSS Select，可将查询条件下推到OSS，为计算应用加速，更好地发挥数据的价值。

智能媒体管理 (Intelligent Media Management, IMM) 是阿里云的云服务，它通过 文档标准型 实例提供了 Cloud Native 架构的文档转换/预览功能 ，本文介绍 API 按量计费模式的配置。

混合云备份是一种简单可靠且经济实惠的在线备份方案。为了让用户更方便的对阿里云ECS作文件备份，混合云备份现推出了ECS文件备份的集中管控功能。用户登陆混合云备份控制台后，只需要三步，就可以走完ECS文件备份/还原的整个流程。

在大型互联网企业中，对海量KPI（关键性能指标）进行监控和异常检测是确保服务质量和可靠性的重要手段。基于互联网的服务型企业（如线上购物、社交网络、搜索引擎等）通过监控各种系统及应用的数以万计的KPI（如CPU利用率、每秒请求量等）来确保服务可靠性。

Spark读写OSS 基于这篇文章搭建的CDH6以及配置，我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法，不再赘述)。 由于默认Spark并没有将OSS的支持包放到它的CLASSPATH里面，所以我们需要执行如下命令下面的步骤需要在所有的CDH节点执行 进入到$CDH_HO.

背景介绍 OSS Select是OSS近期推出的一项新功能，它可以对OSS上的类CSV文件（其他类型文件比如Json也会很快推出）在服务器端运行SQL查询，仅将查询结果返回给客户端。举例来说，假如你有一个10GB的csv日志文件，有一列数据是错误码，想把其中所有错误码等于500的日志找出来，用OSS Select仅仅返回错误码是500的日志，在从而降低用户的数据传输成本以及处理数据的成本，相比在客户端下载整个文件再处理在性能上也可以提高最多到6倍以上。

用户在上传、复制文件时，可灵活地指定文件的存储类型为Standard、IA、Archive；用户也可以修改实时修改文件的存储类型，比如从低频型（IA）修改为标准型。

1     概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备，将现有的存储应用程序和工作负载链接阿里云存储服务，无缝对接阿里云的存储和计算服务。

1     概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备，将现有的存储应用程序和工作负载链接阿里云存储服务，无缝对接阿里云的存储和计算服务。

本文针对智能媒体管理的文档转码、图片内容识别、人脸检测、二维码识别、人脸聚类等功能，提供了 Python 的 SDK 使用 DEMO，希望通过这些实例能够尽快帮助使用文档、图片的智能管理能力。

CDH6 目前CDH的最新版本是6.0.1，支持Hadoop 3.0.0，本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。

时序数据是业务监控中最多方法，双十一大盘、业务监控系统、系统性能平台等都可以看到他的身影。为了更好的在日志服务平台中，针对时序数据进行进行较好的分析和交互，本团队针对单时序数据数据的各种场景，开发了相应的时序数据处理算法，可直接嵌入在标准的MySQL语法中使用，降低了用户对这类算法的使用难度，提供更好的服务。

HDP和Ambari HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台，里面包含了Hadoop、Hive、HBase等很多开源组件，目前有不少用户直接使用HDP版本的Hadoop。

1.当前存在的问题 无法通过固定的IP方式访问OSS:阿里云OSS通过Restful API方式对外提供服务。最终用户通过OSS默认域名或者绑定的自定义域名方式访问（例如：https://your_bucketname.oss-cn-hangzhou.aliyuncs.com/your_object ） 。

1.概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备将现有的存储应用程序和工作负载链接阿里云存储服务无缝对接阿里云的存储和计算服务。

1. 当前存在的问题： 金融云由于等保要求，不能直接将闪电立方设备寄送到金融云机房。因此，我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。

1. 服务端加密介绍 使用服务器端加密方式保护静态数据，即OSS将用户数据写入数据中心内的磁盘时，会在对象级别加密数据，并且在访问这些数据时自动解密。用户只需要验证请求是否拥有访问权限。当前OSS支持如下两种服务端加密方式（注意：您不能对同一对象同时应用两种不同类型的服务器端加密方式）： 使用由OSS完全托管的服务端加密功能：数据加密密钥的生成和管理，由OSS负责，并采用高强度、多因素的安全措施进行保护。

针对智能媒体管理产品文档预览功能，提供 NodeJS 的端到端快速搭建教程，同时官网提供了视频。

背景 为了方便用户快速从大量历史备份中找到想要恢复的文件，混合云备份服务于近日发布了搜索功能。通过搜索功能，用户可以根据备份文件的文件名及其他一些元数据快速、准确地找到备份中的特定文件，并一键恢复到本地。

智能媒体管理产品， PHP 语言人脸分组 DEMO

本文重点介绍了Serverless的发展以及这个浪潮下日志所扮演的角色，并通过阿里云日志服务提供的实时采集、可靠存储、交互式分析能力，为用户搭建Serverless应用日志处理架构提供了两个实践参考。