OAS的使用——控制台和命令行工具
OAS提供命令行工具oascmd.py,命令行工具可以给用户一个快捷的使用工具,不需要任何代码编写就可以使用OAS的功能,在实际使用中命令行工具更多作为一种测试工具。
阿里云表格存储技术分享
表格存储(Table Store)是构建在阿里云飞天分布式系统之上的NoSQL数据存储服务,提供海量结构化数据的存储和实时访问。表格存储以实例和表的形式组织数据,通过数据分片和负载均衡技术,实现规模上的无缝扩展。应用通过调用表格存储 API / SDK 或者操作管理控制台来使用表格存储服务。
最佳实践:如何基于MNS实现事务消息
事务消息的背景: 有时候我们需要实现本地操作和消息发送的事务一致性功能。即:消息发送成功,则本地操作成功;反之,如果消息发送失败,本地操作失败(成功也需要rollback)。保证不出现操作成功但消息发送失败;或者操作失败但消息发送成功的情况; 另外,消费端,我们也希望消息一定被成功处理一次,不会
最佳实践:如何基于MNS实现一对多拉取消息消费模型
如何实现一对多拉取消息消费模型 问题背景: 阿里云消息服务MNS 已经提供队列(queue)和主题(topic)两种模型。其中队列提供的是一对多的共享消息消费模型,采用客户端主动拉取(Pull)模式;主题模型提供一对多的广播消息消费模型,并且采用服务端主动推送(Push)模式。上面两种模型基
表格存储在互联网风控和金融数据服务上的应用实践
引言 当前,第三方支付、P2P网贷、宝宝类理财、众筹等金融产品层出不穷,随着金融知识的普及,全民参与又进一步促进了互联网的发展。海量交易数据,实时在线访问,业务快速的迭代变化都对传统金融解决方案提出了更高的要求,而互联网金融本身的开放性,低门槛,征信信息的缺乏,又容易发生各类风险问题,这有给传统金
日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤
对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output。 Input 适配各类日志接入源,目前Logtail支持文本文件、Syslog(TCP流式)两种形式数据写入。 Process 自定义日志处理逻辑,常见的有:日志切分、日志编码转换、
表格存储:使用TableStoreWriter进行高并发、高吞吐的数据写入
表格存储(原OTS)的一大特性是能够支撑海量数据的高并发、高吞吐率的写入,特别适合日志数据或物联网场景(例如轨迹追踪或溯源)数据的写入和存储。这些场景的特性是,会在短时间内产生大量的数据需要消化并写入数据库,需要数据库能够提供高并发、高吞吐率的写入性能,需要满足每秒上万行甚至上百万行的写入吞吐率。针
NAS特定场景下buffered io比direct io读性能差问题的调查
最近一位NAS用户在微信上报道了NAS的性能测试报告,报告中测试数据显示buffered io读性能比direct io读要差。这显然和直观的认识不符,在内存充足的情况下,buffered io读的数据一般都在page cache中,每次读都是内存操作,其性能应该远远高于direct io,但测试.
日志服务(原SLS)新功能发布(9)--Logtail配置支持主题(Topic)设置功能
日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic)、时间(Time)、内容(Content)和来源(Source),详细描述请参考核心概念。其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记).
通过客户端加密保护数据
客户端加密是指用户数据在发送给远端服务器之前就完成加密,而加密所用的密钥的明文只保留在本地,从而可以保证用户数据安全,即使数据泄漏别人也无法解密得到原始数据。 本文介绍如何基于oss的现有python sdk版本, 通过客户端加密来保护数据。 原理介绍 用户本地维护一对rsa密钥(rsa_pr
日志服务(原SLS)新功能发布(8)--日志服务Web Tracking功能
日志服务通过Tracking功能支持 HTML, H5, iOS 和 Android 平台的数据的数据采集,允许用户自定义维度和指标,使用tracking功能可以采集各种浏览器以及ios、android APP的用户行为信息.
日志服务(原SLS)新功能发布(7)--使用logtail接入JSON/分隔符日志
基于日志做分析时,常常需要结构化解析日志的内容,将日志切分为不同字段,每个字段表示不同的语义,从而精确到字段进行查询、统计、报警等操作。 在日志采集过程中进行结构化解析是一种常见的方式,比如:Logtail、Fluentd可以通过正则表达式匹配日志、提取字段,Logstash通过grok(底层基于
表格存储数据模型和查询操作
本篇文章主要会详细聊一下表格存储的查询操作,以及如何根据业务的需求来设计表结构以支持特定条件的查询。 在理解查询操作之前,会简单描述一下表格存储的数据模型,以加深对查询操作的理解。
开启存储的“轻计算”时代(下) ——阿里云云栖大会Tech insight:存储与轻计算专场
4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。
使用日志服务LogHub替换Kafka
前几天有客户问到,云上有什么服务可以替换Kafka? 怀着程序员的一丝小小的骄傲回复:日志服务(原SLS)下LogHub功能可以完全替代Kafka等产品,并且在性能、易用性和稳定性上更佳。 但客户将信将疑,于是花了一天时间整理一篇文章,简单从各个角度解释下为何建议用户从自搭Kafka换成
开启存储的“轻计算”时代(上) ——阿里云云栖大会Tech insight:存储与轻计算专场
4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。
通过日志服务调试分布式系统
分布式系统的调试是一个大难题,多个进程是如何协作的?如何查看延时消耗在哪里?本位为你揭秘阿里云的调试利器,基于日志服务的Tracer工具。
ossfs:两个Cache引发的Bug
ossfs是一个可以将OSS的Bucket挂载到本地文件系统的工具,用户可以像操作本地文件一样(ls/cat/stat)操作OSS的Object。
syslog协议介绍
syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者n
日志服务(原SLS)新功能发布(5)--使用Logstash接入数据
日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考。 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能。
MNS支持JMS协议的方案
JMS即Java Message Service,一般是用于两个应用程序之间,或分布式系统中发送消息,进行异步通信。有大量的消息服务中间件都实现了JMS协议,今天我们要介绍消息服务是阿里云提供的MNS消息服务,MNS消息服务现在也已经有了支持了JMS协议的方案。
最佳实践:如何对MNS消息进行加密传输
问题背景阿里云消息服务MNS提供公网http可访问的服务。对于包含敏感信息的消息,如何进一步提高从用户客户端程序到阿里云的服务之间的网络链路上的安全性?目前有两种解决方案: 1.MNS提供https的服务域名(计划中,预计4月中旬可用),用户选用https服务地址。 2.用户对传输的消.
最佳实践:如何基于MNS和OSS实现无大小限制的消息传输
问题背景阿里云消息服务MNS的队列的消息大小最大限制是64K,这个限制基本能够满足在正常情况下消息作为控制流信息交换通道的需求。但是,在某些特殊场景下,消息数据比较大时,就只能采用消息分片的方式。那么如何能够基于MNS,又不做消息切片,传递大于64K的消息呢?解法是有的。解决方案1.生产者在往MN.
日志客户端(Logstash,Fluentd, Logtail)横评
针对主流日志采集客户端(Logstash,Fluentd,以及日志服务客户端Logtail)进行功能、性能和稳定性测评
大模型竞争进入下半场,存储正在成为 AI Infra 的决胜场
AI时代,存储正从“容量底座”跃升为“智能引擎”。阿里云发布CPFS、KVCacheStore、AgenticFS及OSS/CDE Agent等新品,覆盖训练、推理、Agent全生命周期——百PB级吞吐、亚毫秒KV缓存、百万级Agent空间隔离、自然语言智能运维,全面支撑AI原生与Agent原生演进。
分析师想查数据湖?Trino 不用搬数据,直接查 OSS Tables【详解 OSS Tables 系列】
本文介绍如何让Trino支持阿里云OSS Tables——需对Trino源码做两处轻量修改(注册oss://协议),使其通过Iceberg REST Catalog对接OSS Tables,实现秒级交互式SQL查询。涵盖Table Bucket创建、Catalog配置及权限设置,助力BI分析师高效即席分析湖数据。(239字)
AgenticFS 重磅发布:专为 AI Agent 打造的全新文件存储
阿里云发布AgenticFS——全球首款Agent Native文件存储,专为AI Agent场景设计。单系统支持百万级AgenticSpace,提供目录级权限隔离、独立配额与性能QoS,峰值挂卸载达10万QPS,兼顾安全、弹性与超大规模扩展能力。(239字)
如何用检测站与灰度验证判断你的账号环境是否真的干净
本文深度解析多账号运营的关联风险本质:无工具能“保证”不被限号,稳定核心在于环境隔离质量(防技术识别)与运营行为合规(防规则判定)。详析平台五大风控维度(设备指纹、IP、存储、行为、内容),对比MostLogin等5款主流工具技术路线,并提供可落地的六维选型评估清单及验证方法。
多账号管理浏览器用户规模真相:社媒长期运营该看活跃度还是看宣传
本文深度解析社媒账号长期运营的风控逻辑与多账号管理浏览器选型要点:指出“用的人多”≠适配业务,强调需关注真实活跃规模、场景匹配度及工程能力;以MostLogin为例,拆解设备指纹、IP稳定性、行为拟人、内容差异化等五大技术维度,并提供灰度验证与四维评估方法,助力团队科学选型、稳健运营。
浏览器指纹是怎么把你的多个账号"认成同一个人"的
跨境电商多账号运营常因浏览器指纹(Canvas/WebGL/时区等)被平台关联封号。本文详解平台如何通过数十项设备特征识别“同一人”,并揭示多账号浏览器(如MostLogin)的底层原理:基于定制Chromium内核,从API层伪造稳定、自然、自洽的虚拟设备身份,同时隔离IP、Cookie及本地数据。环境隔离是必要条件,而非万能解药。
Flink 算完的数据存哪?写进 OSS Tables,实时离线读同一张表【详解 OSS Tables 系列】
OSS Tables 是阿里云推出的 Iceberg 数据湖服务,原生兼容 REST Catalog 协议,让 Flink 无需额外部署元数据服务即可直连建表、写入与查询,实现 Exactly-Once 流式入湖,简化实时计算后的数据归宿问题。
云存储
阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。