快速读懂对象存储 OSS数据处理介绍
阿里云OSS为在云上的数据打通了一个处理与使用的快速通道。通过简单的 RESTful 接口,可以在任何时间、任何地点、任何互联网设备上对存储在OSS中的数据进行分析处理。
基于安全和性能视角的图片加载接口设计(相册与网盘服务)
背景 移动端app, 对于图片的加载是必不可少的一个需求之一,在我们开发的app中可能对于图片的资源有一定的安全需求,图片的地址是需要app业务服务这边做过签名等机制才允许访问使用,基于这个我们使用阿里云oss的签名方式来使用,服务端将签好名的地址直接图给客户端,即可加载成功,但是这样在客户端场景中使用上还是有一些比较难受的痛点。
基于SLS+Blink的实时计算最佳实践
SLS与阿里云实时计算结合,可以把SLS作为数据源(Source),实现日志端到端的实时采集与处理,也可以把SLS作为结果的输出目标(Sink),在SLS对结果实时查询分析,配置可视化报表等。
导入MaxCompute数据到日志服务实战
日志服务支持将MaxCompute 中的数据导入到日志服务,利用日志服务的查询和可视化功能,对数据进行分析和可视化展示,使用数据加工对数据进一步处理,充分发掘数据的价值
基于日志服务数据加工与RDS MySQL做数据富化以及数据分析
准备基于sls日志服务对共享单车租赁信息进行加工分析。sls日志服务上记录2019年8月上海地区某共享单车的数据,已脱敏处理,供研究之用。因RDS数据库里保存的是每辆自行车的编号、品牌以及投放批次。因此需要使用日志服务数据加工将单车实时动态记录日志与保存在RDS上的静态数据做富化和数据分析处理。
基于云存储网关的Veeam备份归档上云方案
传统备份厂商的异地备份方案是将数据备份至异地机房来保护数据。公共云的出现改变了异地备份的方案和架构。用户在面对公共云和传统备份架构时,该如何选择呢?本文结合Veeam备份软件的使用,一方面来阐述Veeam是如何与云存储网关产品结合将数据备份上云,另一方面也试着给出一些看法和建议。
《阿里云存储产品及应用白皮书》发布,4大趋势助你布局决策
通过《阿里云存储产品及应用白皮书》我们不仅可以全面了解阿里云作为一家云服务商的存储产品与解决方案,也能从“上帝视角”对整个存储技术领域有一个清晰的轮廓。
阿里云日志服务(SLS)SQL案例中心发布
阿里云日志服务(SLS)提供大规模日志实时查询与分析能力(LogSearch/Analytics),支持完整SQL92标准(提供restful 和 jdbc两种协议),除基本聚合功能外,支持完整的SQL计算,并支持外部数据源联合查询(Join)、机器学习、模式分析等函数。
阿里云日志服务与Splunk集成方案(Splunk Add-on方式)实战
技术文章--阿里云日志服务与Splunk集成方案(Splunk Add-on方式)实战 背景信息 在 日志服务与SIEM(如Splunk)集成方案实战 中,作者已经就阿里云日志服务及审计相关日志的现状做了介绍,并实现了“使用SLS消费组构建程序,从SLS进行实时消费,然后通过Splunk API(HEC)来发送日志给Splunk。
批量开启 SLS 服务日志
背景 SLS 服务日志支持记录 Project 内的用户操作日志等多种日志数据,并提供多种分析维度的仪表盘。在开通此功能后,相关的日志都会被存储到指定位置(project)下的两个特殊 logstore:internal-operation_log 以及 internal-diagnostic_log,我们可以像操作普通 logstore 一样,对它们进行查询、分析、消费以及构建仪表盘等。
地理数据可视化探索——SLS的地图演变之路
伴随着阿里云日志服务(SLS)面向的客户群体不断变化,接入的日志数据种类日益增多,地理类数据成为了日志数据分析中越来越常见的一类数据形式。数据可视化应用的火爆发展,地理数据的可视化也萌发出了大量的需求,大规模地理数据可视化分析,从业务上来看一直是个难点,地理数据的存储,计算,分析,可视化,产品应用等各个方面都需要综合起来考虑。
MacOS客户端通过阿里云VPN连接阿里云NAS SMB文件系统
SMB远程文件传输协议在远程文件系统领域具有相当的统治地位。主流客户端厂家,包括微软、苹果以及Linux生态圈都支持SMB协议,并且苹果的MacOS已经将SMB作为其默认的远程文件协议。作为国内云厂商的龙头企业,阿里云NAS SMB文件系统也可以支持MacOS客户端。
再也不用为权限配置烦恼了——日志服务权限助手实践
权限助手是日志服务为了简化 RAM 策略配置而推出的小工具,旨在帮助用户进行日志服务的权限配置。用权限助手配置权限,再也不用辛苦查帮助文档了,哪里需要点哪里,从此再也不用为权限配置烦恼了。
在日志服务中使用权限助手进行权限配置
在使用 SLS 日志服务的时候,很多情况下,我们需要给不同子账号,角色赋予不同的权限。由于日志服务中涉及的功能模块很多,而且功能模块互相之间有依赖关系,所以手工编写 RAM 的配置文件会显得很繁琐。现在,日志服务中新上线了权限助手功能,使用这个工具可以在很大程度上简化权限配置的操作。
Logtail 新功能:采集路径黑名单
背景 在某些场景下,我们需要采集的日志会分散在多个目录,为了在一个采集配置中同时采集它们,我们往往需要把采集配置中的目录指定为这些目录的共同父目录,这在实际使用用可能会产生一些问题。以如下的目录结构为例,我们希望在一个采集配置内指定采集 dira/b/c 目录下的 *.log,就必须将采集目录指定为父目录 admin。
使用dataworks投递日志服务数据到MaxCompute
日志服务提供了多种投递数据的方式,如: 在控制台直接配置投递任务,通过消费组获取数据然后再投递。控制台直接投递配置方式与dataworks类似,不过配置项更少,更容易操作。
五个问答,告诉你阿里云对象存储如何助力钉钉战胜业务洪峰
为了积极迎接此次疫情的挑战,政府组织、企业、院校等纷纷开启了线上办公,视频会议、在线教育以及基于互联网的数据分析已然成为当下最重要的刚需。在这样如此巨大的业务流量和数据增量的压力下,钉钉是如何积极应对,从而实现存储的快速扩容,保障了业务连续性。
云存储网关的缓存最佳实践
前言 云存储网关支持通过传统的文件协议(SMB/NFS)来访问OSS Bucket里面的数据,并能够通过缓存技术将用户频繁访问的热点数据保留在网关侧的缓存盘里,从而提供给用户更好的访问体验。用户在使用阿里云云存储网关时,经常会碰到一些缓存相关的问题,比如在创建共享时如何选择缓存盘的容量和类型,比如缓存的数据淘汰策略是什么等。
如何同步OSS Bucket数据到云存储网关SMB/NFS共享
云存储网关主要提供了反向同步和极速同步两种方法来同步OSS Bucket里面的数据到网关侧的共享里。本文将对这两种数据同步的方法均做下介绍,给出它们的实现原理以及分别适用的场景。反向同步是基于对文件夹进行全量扫描比对的方式来发现OSS Bucket里面的数据变化,极速同步则是基于OSS Bucket数据变化增量的方式来实现的。
SLS数据处理实践:加工延迟篇
在日志服务,数据加工功能(功能介绍)用于完成对Logstore数据的预处理,为后续的分析阶段准备数据。本文主要介绍数据加工实践中可能遇到的延迟问题,帮助大家理清延迟现象背后的原因,以及如何去监控、解决延迟问题。
云存储网关"NFS V4优化"选项详解
本文主要介绍了云存储网关的“NFS V4优化”选项的工作原理,如果您并没有需求必须使用NFSv3的方式挂载网关的NFS共享,建议您都以NFSv4的方式挂载并打开这个选项,从而获得更理想的文件上传效率。
利用智能媒体管理(IMM) 搭建云相册指南
- 为用户创建智能云相册 - 支持人脸检测,获取包括人脸位置、表情、年龄等信息 - 支持人脸分组,可以根据人物搜索、展示照片 - 支持照片标签检测,可以根据标签对照片进行分类 - 支持地理位置检测,获取照片拍摄的具体位置、时间,并且可以进行搜索
Logtail 心跳监控最佳实践
作为采集 agent,logtail 所采集的日志可能会就被用于对应用程序进行监控/告警,所以保证它自身处于正常状态对整个系统的稳定显得尤为重要。在之前的[《全方位 Logtail 状态监控》](https://yq.aliyun.com/articles/691336)中,我们曾介绍了关于监控 Logtail 各类状态的方法,包括基本的链路状态、资源使用情况等。
使用Kafka Connect 同步Kafka数据到日志服务
使用Kafka Connect 同步Kafka数据到日志服务 简介 Kafka作为最流行的消息队列,在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后,再使用其他的软件如ElasticSearch进行分析。
数据库代码化(Database-as-Code)实战(二)
前言 在数据库代码化(Database-as-Code)实战一文中介绍了如何借助 Flyway 实现 migration based 的数据库迁移。但在实践过程中,发现了如下问题: 随着项目的发展,迁移脚本数量会越来越多,而全新部署时由于要执行所有的历史变更,部署时间会越来越长。
Kubernetes可观察性:全方位事件监控
为了让大家更便捷的使用Kubernetes事件功能,阿里云容器服务Kubernetes和日志服务SLS合作推出了Kubernetes事件中心,支持将Kubernetes中的事件实时采集到日志服务中,把阿里工程师在多年Kubernetes运维中积累的事件监控、告警指标提炼到事件中心,开箱即可获得这些积累的运维经验。
时序图在SLS中的使用技巧
场景问题 通过SQL分析出实际场景中的数据,如果有数据缺失怎么办? 在折线图中如果有一些显著的异常点,能否主动的标记出来? 能否自定义某个观测指标的区间,在折线图中,添加区间的绘制能力? 能否支持多张图表在相同的时间轴上的联动操作? 基础数据的提取 假设我们现在有一个网站的访问日志,我们去找某个域名("aaa.aliyun.log.com"),访问的路径为("/account/query") 的分钟级别的流量,通过如下SQL,我们可以得到一条时序曲线,我们选择普通的折线图,我们可以发现,折线图中横坐标显示的比较凌乱,没有很好的适应数据本身对时间进行格式化。
使用临时令牌访问 OSS 遇到授权问题的分析说明
本文针对移动APP开发客户在使用OSS过程中遇到的一个常见的权限错误问题,进行了分析说明,并在说明过程中引用了阿里云官方文档里RAM的部分解释。
MySQL实战——基础架构
MySQL架构 MySQL 可以分为 Server 层和存储引擎层两部分。不同的存储引擎共用一个Server层。 Server层 概述 Server层包括 连接器 查询缓存 分析器 优化器 执行器 ... Server层功能 MySQL大多数核心服务功能 所有的内置函数,如日期、时间、数学和加密函数等 跨存储引擎的功能,如存储过程、触发器、视图等 连接器 连接器做什么? 连接器负责跟客户端建立连接、获取权限、维持和管理连接。
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。