【最佳实践】OSS开源工具ossutil-ls --marker使用方法
经常碰到有内部同学和外部客户问ossutil在list的时候marker如何使用,这篇短文可以帮到您。 ossutil的ls命令默认情况下回列出给定bucket/prefix的所有object。--marker参数可以指定从该位置开始list。
上海云栖Clouder Lab—小微金融业务跨平台数据共享与处理课程实践
近来各类小微金融业务不断涌现,这些数字化金融创新背后是各种复杂的数据采集、交换、以及构建的过程。 本次Clouder Lab的课程中,我们会以一个第三方支付业务的风控场景为案例,演示如何通过阿里云产品解决核心数据互通的痛点,通过Serverless架构应对业务增长,通过与各计算分析引擎支持建立风控平台对机构和用户进行服务。
日志服务(Log service)5月控制台更新指南
概览 日志查询分析框全面增强 SLB日志分发支持国内Region,仪表盘优化 支持数据永久保存 图表属性相关开放国际站和日本站 可视化图形细节提升 部分已知bug修复 日志查询分析框全面增强 提升可视区域,支持换行编辑查询分析语句 关键字、操作符、函数高亮,查询分析语句更加易读 交互式编辑体验,关键字、200+内置函数以及字段索引自动提升,提升你的编辑体验 SLB日志分发支持国内Region,仪表盘优化 SLB日志分发功能目前已经支持所有的国内Region项目进行分发,优化了默认的字段索引以及仪表盘,欢迎试用。
对象存储OSS标准型降价回馈,分享存储规模和技术升级的红利
为回馈客户并分享OSS存储规模和技术不断升级带来的红利,阿里云OSS标准型存储单价,中国大陆所有区域统一降为0.120元/GB/月,降幅18.9%。
Severless SQL on OSS 实验
数据存储在OSS后,可以有多种方式查询分析OSS数据,如自建Spark/Presto/Impala(阿里云EMR以及Hadoop社区官方已支持OSS), 使用MaxCompute、DataLakeAnalytics等。
架起线上线下存储桥梁,云存储网关开放性能型文件网关及块网关公测
云存储网关支持行业标准的文件和块存储协议,可以通过在本地缓存经常访问的数据来提供低延迟高性能, 让企业或个人安全地将数据存储在阿里云OSS中,最新发布的“性能型文件网关”和“块网关”现已开通公测。
OSS直传与UXCore-Uploader实践
本文是我们OSS的用户自己写的一篇文章,笔者做了简单的修改。这里代发。感谢这位用户对OSS的了解如此深! 背景 视联网业务中,需要存储大量的图片、视频等素材资源,为应对这种大数据文件的存储,就接入了阿里云对象存储服务(Object Storage Service,简称 OSS)。
使用Python Log Handler自动上传并解析KV格式的日志
Python Logging Handler可以无需写代码自动高效上传日志, 还可以像Splunk一样对KV格式自动解析字段. 本文介绍如何简单配置.
使用Python Log Handler自动上传并解析JSON格式的日志
Python Logging Handler可以无需写代码自动高效上传日志, 对JSON格式还可以自动解析字段. 本文介绍如何简单配置.

再次升级!阿里云Kubernetes日志解决方案
今天阿里云Kubernetes日志解决方案再次升级,为您带来以下改进: 1、极致部署体验:只需一条命令一个参数即可完成整个K8S集群的日志解决方案部署。 2、支持更多配置方式:除原生控制台、SDK配置方式外,支持通过CRD方式进行配置(kubectl、控制台、K8S openapi)。
表格存储降价啦,来看看可以省多少钱!
作为为一款完全自研的分布式NoSQL数据库服务,表格存储在性能、稳定性、功能等方便不断的迭代优化,而单机性能的提高也意味着使用单价的降低,同时由于用户规模的扩大,表格存储对按量读写单价进行了最大50%的下调。
游戏日志分析5:数据库与日志关联分析
在日志分析场景中,我们经常会遇到数据分散在各地场景,例如: 1. 用户操作、行为相关的数据在日志中 2. 用户属性、注册信息,资金、道具等状态存在DB中 3. 根据1和2我们需要对用户进行分层统计,将最后的计算结果写入DB中供报表系统查询 因此为了做分析,我们要在日志服务Logstore.

Logtail从入门到精通(五):分隔符Nginx访问日志采集实战
除正则表达式方式外,日志服务还支持分隔符模式的日志,分隔符支持单字符和多字符两种方式。本文通过Nginx分隔符访问日志为大家介绍如何使用Logtail采集分隔符类型的日志。
如何使用表格存储控制台进行数据监控
### 摘要 2018年5月10号,表格存储新版控制台的监控功能正式上线,优化后的监控功能,不仅可以为用户提供自定义时间段的监控信息查看,增加了对错误率的展示,还提供了更丰富的监控指标,能够清晰的看到指定时间段内诸如总访问量、CU总消耗、请求行数、流量等监控指标,同时,对监控的粒度也进行了提升,从5分钟提高到60秒。
如何使用表格存储控制台进行数据管理
#### 摘要 表格存储(TableStore)是构建在阿里云飞天分布式系统之上的 NoSQL 数据存储服务,提供海量结构化数据的存储和实时访问,数据读写是表格存储产品化最重要的功能之一。 本文首先介绍了表格存储原有的数据读写工具及不足之处,接着介绍了表格存储的数据模型,然后对控制台的数据读写功能进行了详尽的阐述,最后对控制台的数据读写功能进行了总结和展望。
React Native SDK for OSS
此文主要介绍 React Native SDK for OSS的方方面面,包括相关基本概念、项目背景、项目方案、环境搭建运行、使用姿势、注意事项等。文末的附件可运行Example Zip压缩包和针对新手的入门实用文章《从0开始搭建React Native for OSS项目》。
如何将DynamoDB的数据增量迁移到表格存储
AWS 的 Amazon DynamoDB 和阿里云的表格存储 TableStore 都是完全托管的NoSQL数据库服务,提供快速的、可预期的性能,并且可以实现无缝扩展。本篇文章介绍了如何使用 Lambda 将 DynamoDB 的数据增量迁移到表格存储中。

Logtail从入门到精通(四):正则表达式Java日志采集实战
为简化日志接入门槛,我们提供了极简模式的日志解析方式(如[开启日志采集之旅]()中的介绍)。为了更好的对日志进行分析,我们还提供了其他解析方式,例如:分隔符模式、完整正则模式、JSON模式等。本文将为大家介绍如何使用完整正则解析模式。
使用函数计算对表格存储中数据做简单清洗
表格存储的增量数据流功能能够使用户使用API获取Table Store表中增量数据,并可以进行增量数据流的实时增量分析、数据增量同步等。通过创建Table Store触发器,能够实现Table Store Stream和函数计算的自动对接,让计算函数中自定义的程序逻辑自动处理Table Store表中发生的数据修改,充分的利用了函数计算全托管、弹性伸缩的特点。
日志服务(Log service)4月控制台更新指南
概览 查询界面全新视图 支持查询页面以及仪表盘页面内嵌 支持OSS访问日志向导以及安骑士访问日志向导 时间选择器全面加强 部分细节优化和已知bug修复 一.查询界面全新视图 左侧标签页替换为资源树状结构,直接展示用户的日志库、快速查询和仪表盘列表。
智能媒体管理产品文档转换/预览功能介绍(4)--快速搭建
智能媒体管理提供了 Cloud Native 架构的文档转换/预览服务,本文介绍快速搭建的示例,让您用 DIY 的体验方式实现文档预览功能。
日志服务时间选择器增强
日志服务(Log Service)提供给用户丰富的时间选择功能,意图帮助用户快速选择时间段对日志信息进行查询和分析。主要包括3个大类 相对时间 整点时间 自定义时间 一、相对时间 相对时间的计算方式为: 当前时间精确到秒 - 窗口 如当前时间为2018-04-26 21:14:32,时间窗口大小.

Logtail从入门到精通(三):机器分组配置
基于集团内数年来的Agent运维经验总结,我们设计了一种灵活性更高、使用更加便捷、耦合度更低的配置&机器管理方式:自定义标识机器分组。此种方式对于动态环境非常适用,尤其适用于弹性伸缩服务和swarm、pouch(阿里docker)、Kubernetes等容器环境。

Logtail从入门到精通(一):日志采集杂谈
目前logtail已承载阿里云全站、所有云产品服务、全球各Region部署、阿里巴巴集团(淘宝、天猫、菜鸟等)上重要服务的数据采集。每天采集接近百万服务器上数PB的实时数据,对接数千个应用与消费者。
SQL老司机:流量骤增骤减,可以这样设置告警
面向用户的在线产品,例如游戏行业,需要实时的关注流量情况,如果流量突然降低,那么我们得立刻检查,是否是宕机了,或者进程异常,避免影响用户体验。那么怎么设置这样的告警呢?接下来通过日志服务来介绍。 完整的报警语句 先贴个完整的告警语句: * | select time,pvPerSec, lastPvPerSec, diff,diff >1.
如此方便的日志分析功能,快来嵌入到你的网站吧!
背景需求 用户配置完成日志服务采集和查询分析等功能后,期望能直接使用日志查询分析和仪表盘页面,同时对于日志一般需要分享给其他同事进行使用,此时使用RAM会带来众多子账号的管理成本,因此日志服务提供新的单点登录方式嵌入式集成查询分析和仪表盘等页面。
带您探究云存储的奥秘,三分钟帮您快速了解OSS
快来,带您探究云存储的奥秘,三分钟帮您快速了解OSS。 阿里云对象存储服务,简称 OSS,是一种面向海量数据规模的分布式存储服务,具有稳定、可靠、安全、低成本的特点,能够提供十一个九的数据可靠性。OSS提供与平台无缝对接地RESTful API接口,您可以在互联网任何位置任何设备上访问OSS。
Lucene 查询原理
# 前言 Lucene 是一个基于 Java 的全文信息检索工具包,目前主流的搜索系统Elasticsearch和solr都是基于lucene的索引和搜索能力进行。想要理解搜索系统的实现原理,就需要深入lucene这一层,看看lucene是如何存储需要检索的数据,以及如何完成高效的数据检索。
SQL老司机,居然是这样智能挖掘异常日志
提取异常日志是个大难题 面对海量的日志(TB乃至PB级别),如何从日志中挖掘出异常信息对于大部分的开发者而言是一个大难题。例如,判断机器的延时是否正常,部分request是否正常。通常,我们对于异常的数据,要及时的报警,以尽快的处理。
智能媒体管理产品文档转换/预览功能介绍(1)---Cloud Native架构
办公文档是每个人日常频繁使用的工具,ppt、word、xls、wps、pdf等为我们工作和生活带来了很多的便利,本文介绍在云计算和智能手机时代,基于智能媒体管理的新型Cloud Native文档转换/预览架构,实现高效的
使用Logging Handler自动上传Python程序日志到日志服务
想要日志上云,又不想修改程序代码? 或者不希望进行相对复杂的客户端部署?那么您需要使用Logging Handler,现在Python程序也支持了!
如何在阿里云•对象存储OSS托管用户域名的https证书
OSS服务支持将用户域名绑定到OSS域名,并为此用户域名提供HTTPS证书托管服务。以满足用户使用自己的域名也能支持HTTPS安全加密的访问方式传输数据。
如何使用OSS视频截帧功能快速生成视频预览
OSS作为对象存储产品,主要提供的是海量非结构化数据的存储,其中绝大部分都是视频和图片等富媒体数据,针对该场景的需求,OSS提供了丰富的图片处理功能来帮助用户更加方便的对存储于OSS上的图片数据进行加工,从而减少了对于流量、CPU等资源的消耗。
CLI使用案例4:灵活配置CLI
配置CLI以满足不同需求: - 配置多个账户,方便测试和多域操作。 - 切换默认账户,不用每个命令都指定。 - 使用HTTPS连接日志服务,更加安全。 - 格式化输出json格式,更方便查阅。
开放分布式追踪(OpenTracing)入门与 Jaeger 实现
分布式系统的运维挑战 容器、Serverless 编程方式的诞生极大提升了软件交付与部署的效率。在架构的演化过程中,可以看到两个变化: 应用架构开始从单体系统逐步转变为微服务,其中的业务逻辑随之而来就会变成微服务之间的调用与请求。
OSS定制自定义response header
OSS通过传入"x-oss-persistent-headers"这个头,支持指定非"x-oss-meta-"开头的usermeta,满足特定用户特定场景的需求
日志服务支持Json类型数据
JSON数据作为一种通用类型的数据类型,其自解析、灵活的特性,使其能够很好满足复杂场景下数据的记录需求,在很多日志内容中格式不固定的部分往往都是以json的形式进行记录,如将一次http请求的request参数和response内容以json的形式记录在一条日志中。

全面提升,阿里云Docker/Kubernetes(K8S) 日志解决方案与选型对比
今天,日志服务再次升级Kubernetes(k8s)的日志解决方案。1分钟内即可完成整个集群部署,支持动态扩容,提供采集宿主机日志、容器日志、容器stdout等所有数据源的一站式采集。

云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。