日志分析图表:同比环比场景和TreeMap
一. 同比环比场景应用 同比环比是日志分析中十分常见的场景,日志服务于7月推出同比环比函数,我们可以利用其强大的分析能力,配合日志分析图表中的同比环比图以及折线图和柱状图进行非常直观清晰的展示。 同比环比函数 同比函数用于把当前区间的计算结果和之前一个指定区间的结果进行比较。
精通日志查询: 如何翻页获取日志和计算结果
精通日志查询: 如何翻页获取日志和计算结果 日志服务提供一站式的日志采集、存储、查询、计算功能。交互式的日志采集体验,释放用户的运维压力,解放用户的双手; 交互式的查询分析体验,让用户自由的构建数据模型、探索式分析挖掘数据深层。
【最佳实践】OSS移动端断点下载简单实现
概要 技术点 最佳实践 改进 参考 概要 所谓断点下载,其实是客户端在从网络上下载资源时,由于某种原因中断下载。再次开启下载时可以从已经下载的部分开始继续下载未完成的部分,从而节省时间和流量。
混合云存储跨云灾备方案之跨云容灾
混合云容灾实现了跨云/多云场景中的应用和整机的灾备和恢复。支持整机和主流的企业应用,如各版本的Oracle(Oracle RAC近期即将支持)和SQL Server等。先进的压缩重删服务节约了备份时的网络带宽和空间占用,云灾备库的按需分配和弹性无限扩展,灾备ECS可关机不付费等多个特性,从多个维度将用户成本降到最低。
混合云存储跨云灾备方案之跨云复制
在本文中,通过一次备份和一次恢复操作来展示云存储网关是如何迅速地通过复制模式备份用户本地数据到阿里云OSS中和方便地反向同步恢复OSS中的数据到用户本地环境中,从而解决用户跨云/多云场景中的数据灾备和恢复问题。
混合云存储跨云灾备方案之跨云备份
阿里云混合云存储团队的云存储网关,混合云备份和混合云容灾产品能够给用户提供完备的容灾方案,从而解决客户本地IDC到阿里云的混合云灾备场景和其他云厂商平台到阿里云的跨云灾备/多云灾备场景所遇到的问题。通过两次备份和一次恢复来演示混合云备份是如何备份用户云主机上的文件,备份增量数据和恢复用户数据的。
混合云存储网关云上部署版本介绍
随着企业信息系统的需求扩展和信息技术的发展进步,很多企业用户的信息系统已经完成了从物理环境到虚拟化环境的转变。云上部署版本的混合云存储网关在目前已实现的虚拟化环境中部署形态的基础上,帮助用户在云上的环境中无需改变现有业务系统中的应用,轻松的对接阿里云上的存储服务。
全媒体时代的速度与激情:香港凤凰卫视云端转型实践
今年凤凰卫视已经部署完成阿里云专有云敏捷版OSS存储,通过和凤凰全媒体平台有效结合,生产效率提升50%,成本降低30%。阿里云专有云敏捷版(Alibaba Cloud Apsara Stack Agility)是面向中小型业务规模客户的企业级云平台,能够实现简易、快速、经济部署专有云的需求。
【飞天存储服务月报】2018年7月刊
7月底,2018 Gartner全球云存储魔力象限报告发布,全球前四依然是亚马逊AWS、微软Azure、谷歌GCP和阿里云。与去年相比最大变化是,腾讯云出局,谷歌和阿里云分别跃升领导者和挑战者象限,这是中国云计算厂商首次进入Gartner云存储挑战者象限。
如何快速开发一个IM系统
本文将会给大家介绍如何开发一个简单的即时通讯系统(IM)。 Timeline 模型是 TableStore团队针对消息数据场景所新创的一个数据模型,它的特色在于能够满足消息数据场景对消息保序、海量消息存储、实时同步的特殊需求。
一行命令:从 ELK 迁移日志服务
日志服务相比自建 ELK 在功能、性能、规模和成本等方面有诸多优势。对于已经存储在 Elasticsearch 中的数据,用户只需要一行命令就能方便地将数据迁移至日志服务。
【最佳实践】授权子账号进行OSS图片样式设置
1.引子:如何授权子账号在控制台针对指定的Bucket设置图片样式呢? 【使用场景】:某企业内部有众多Bucket,并且不同的Bucket分别指定了Bucket的管理员。目前Bucket A的管理员期望能够针对Bucket A中的图片通过设置图片样式的方式进行通过管理。
【最佳实践】如何授权子账号查看某一个Bucket的运维监控数据?
通过RAM Policy 授权子账号登录控制台查看指定Bucket的云监控信息,包括概要信息、热点文件统计、API统计等
CLI使用案例6:使用CLI的灵活时间格式来执行查询、报警和下载等
在查询、统计、拉取时需要传入时间范围,经常需要传入更灵活的参数,如:"今天凌晨","昨天","3天前","现在"等参数时。现在CLI也支持了!
TableStore数据模型 - WideColumn和Timeline
前言 TableStore是阿里云自研的一款分布式NoSQL数据库,提到NoSQL数据库,现在对很多应用研发来说都已经不再陌生。当前很多应用系统底层不会再仅仅依赖于关系型数据库,而是会根据不同的业务场景,来选型使用不同类型的数据库,例如缓存型KeyValue数据会存储在Redis,文档型数据会存储在MongoDB,图数据会存储在Neo4J等。
【最佳实践】OSS开源工具ossutil-上传性能调优
经常碰到内部同学或者外部客户问ossutil关于并发上传性能的问题。本文简单描述下ossutil并发上传原理并举例说明。 用户可从这里获取ossutil。 官网:https://help.aliyun.com/document_detail/50452.html代码:https://github.com/aliyun/ossutil 参数 --recursive 上传文件到oss时,如果file_url为目录,则必须指定--recursive选项,否则无需指定--recursive选项。
OSS控制台集成将数据库实时备份到OSS的功能
用户可以将通过数据库备份产品,将本地IDC、公网、其他云、RDS和ECS自建数据库等实时备份到对象存储OSS上。提供全量或增量实时备份、秒级RPO,支持OSS异地容灾,更安全可靠。同时,基于OSS标准型、归档型,提供高性价比的数据库备份的方案。
SQL on log : 同比分析各种指标
同比环比函数 同比函数用于把当前区间的计算结果和之前一个指定区间的结果进行比较。 函数 含义 样例 compare(value, time_window) value为double或long类型,time_window为秒。
OLAP on TableStore:基于Data Lake Analytics的Serverless SQL大数据分析
TableStore(简称OTS)是阿里云的一款分布式表格系统,为用户提供schema-free的分布式表格服务。随着越来越多用户对OLAP有强烈的需求,我们提供在表格存储上接入Data Lake Analytics(简称DLA)服务的方式,提供一种快速的OLAP解决方案。
NAS用户级日志实时分析功能:高效、便捷、快速分析NAS访问日志
支持对NAS下大量访问日志进行查询分析、并提供开箱即用的报表及灵活开放的报表与报警功能。帮助NAS用户管理自己的数据看板,实时了解访问明细,审计敏感操作,诊断问题,实时报警等。
丰富日志信息,日志服务和OSS外表进行关联分析
1. 日志信息不够丰富,怎么破 在日志分析场景中,我们经常遇到这样的问题,日志中的信息不完善。例如,日志中包含了用户的点击行为,但是却缺少用户的属性,例如注册信息、资金、道具等信息。 而产品PD、运营同学分析日志的时候,往往需要这种联合分析用户的属性和行为,例如分析用户地域对付费习惯的影响。
文档预览功能使用技巧(4)---图片水印
智能媒体管理提供了文档预览功能,通过快速搭建文章的介绍,详细描述了使用“文档转换 + JS 前端渲染引擎”实现文档预览的过程,本文将介绍预览功能中的 图片水印(wmType=2 和 wmValue=url 参数)技巧。
文档预览功能使用技巧(3)---文字水印
智能媒体管理提供了文档预览功能,通过快速搭建文章的介绍,详细描述了使用“文档转换 + JS 前端渲染引擎” 实现文档预览的过程,本文将介绍预览功能中的文字水印技巧。
阿里云混合云备份发布vSphere虚拟机备份服务
阿里云发布了vSphere虚拟机备份上云服务(HBR for vSphere),利用混合云备份服务可以将虚拟机镜像备份上云,避免了传统备份方案复杂的软件部署,存储资源规划,异地备份保护等难点,客户在网络带宽有限的条件下依然能够有效地保护vSphere虚拟机数据。
阿里云发布国内首个混合云大数据双活容灾服务
阿里云发布了国内首个混合云大数据集群双活容灾产品-混合云容灾服务下的大数据容灾服务(HDR for Big Data),采用业界领先的数据双向实时复制技术,HDR for Big Data可以实现Hadoop集群双活和准0 RPO容灾,为大数据灾备制定了全新的标准。
文档预览功能使用技巧(1)---文字拷贝
智能媒体管理提供了文档预览功能,通过 快速搭建 文章的介绍,详细描述了使用“文档转换 + JS 前端渲染引擎”实现文档预览的过程,本文将介绍预览功能中的 文字拷贝 技巧。
文档预览功能使用技巧(2)---打印控制
智能媒体管理 提供了文档预览功能,通过 快速搭建 文章的介绍,详细描述了使用“文档转换 + JS 前端渲染引擎”实现文档预览的过程,本文将介绍预览功能中的打印控制(print=1 参数)技巧。
How to incrementally migrate DynamoDB data to Table Store
AWS's Amazon DynamoDB and Alibaba Cloud's Table Store are both fully-managed NoSQL database services, providing fast and predictable performance with seamless scalability.
LC3视角:Kubernetes下日志采集、存储与处理技术实践
在Kubernetes服务化、日志处理实时化以及日志集中式存储趋势下,Kubernetes日志处理上也遇到的新挑战,包括:容器动态采集、大流量性能瓶颈、日志路由管理等问题。本文介绍了“Logtail + 日志服务 + 生态”架构,介绍了:Logtail客户端在Kubernetes日志采集场景下的优势;日志服务作为基础设施一站式解决实时读写、HTAP两大日志强需求;日志服务数据的开放性以及与云产品、开源社区相结合,在实时计算、可视化、采集上为用户提供的丰富选择。
【最佳实践】如何通过OSS的Bucket Policy设置访问授权?
OSS控制台支持图形化设置Bucket Policy。通过Bucket Policy允许Bucket Owner直接进行访问授权控制,而不需要通过RAM 进行授权。Bucket Policy可以实现带IP条件限制的匿名用户访问策略设置以及跨账号授权策略设置;
Nginx监控数据采集与分析
本文主要介绍通过日志服务logtail采集nginx status信息,并对采集的status信息进行查询、统计、搭建仪表盘、建立自定义报警,对您的nginx集群进行全方位的监控。
如何将内网服务器数据采集到日志服务
1.背景公司内部服务器都没有公网访问权限,只有少数网关机可以访问公网,但需要将日志采集到阿里云日志服务进行实时分析,因此需要配置网关机转发来实现内网服务器的日志采集。 2.准备材料 一台可以访问外网的网关机 1.
日志OLAP:在SQL中使用UDF, lambda函数使用案例
场景 日志服务内置了20+类SQL函数。面对用户复杂的业务场景,例如使用json来沉淀业务数据,普通的SQL函数可能就无法满足需求,需要一些用户自定义处理逻辑。为了处理json类的业务数据,我们可以采用把json展开成多行的形式进行统计分析,今天我们介绍使用UDF(lambda)的方式来编写自定义逻辑,处理json、array、map类型的数据。
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。