|
消息中间件
|

最佳实践:如何基于MNS实现一对多拉取消息消费模型

如何实现一对多拉取消息消费模型 问题背景: 阿里云消息服务MNS 已经提供队列(queue)和主题(topic)两种模型。其中队列提供的是一对多的共享消息消费模型,采用客户端主动拉取(Pull)模式;主题模型提供一对多的广播消息消费模型,并且采用服务端主动推送(Push)模式。上面两种模型基

6864 0
|
存储 消息中间件 大数据
|

表格存储在互联网风控和金融数据服务上的应用实践

引言 当前,第三方支付、P2P网贷、宝宝类理财、众筹等金融产品层出不穷,随着金融知识的普及,全民参与又进一步促进了互联网的发展。海量交易数据,实时在线访问,业务快速的迭代变化都对传统金融解决方案提出了更高的要求,而互联网金融本身的开放性,低门槛,征信信息的缺乏,又容易发生各类风险问题,这有给传统金

7528 0
|
编解码 监控
|

日志服务(原SLS)新功能发布(10)--Logtail配置支持日志转换、过滤

对于日志收集的客户端,其work pipeline通常包括三个过程:Input,Process,Output。 Input 适配各类日志接入源,目前Logtail支持文本文件、Syslog(TCP流式)两种形式数据写入。 Process 自定义日志处理逻辑,常见的有:日志切分、日志编码转换、

7327 0
|
存储 NoSQL Java
|

表格存储:使用TableStoreWriter进行高并发、高吞吐的数据写入

表格存储(原OTS)的一大特性是能够支撑海量数据的高并发、高吞吐率的写入,特别适合日志数据或物联网场景(例如轨迹追踪或溯源)数据的写入和存储。这些场景的特性是,会在短时间内产生大量的数据需要消化并写入数据库,需要数据库能够提供高并发、高吞吐率的写入性能,需要满足每秒上万行甚至上百万行的写入吞吐率。针

12269 0
|
测试技术 文件存储
|

NAS特定场景下buffered io比direct io读性能差问题的调查

最近一位NAS用户在微信上报道了NAS的性能测试报告,报告中测试数据显示buffered io读性能比direct io读要差。这显然和直观的认识不符,在内存充足的情况下,buffered io读的数据一般都在page cache中,每次读都是内存操作,其性能应该远远高于direct io,但测试.

5218 1
|
监控 前端开发 索引
|

日志服务(原SLS)新功能发布(9)--Logtail配置支持主题(Topic)设置功能

日志服务中日志为日志服务中处理的最小数据单元,采用半结构化数据模式定义一条日志,具体数据模型包括主题(Topic)、时间(Time)、内容(Content)和来源(Source),详细描述请参考核心概念。其中主题(Topic)为用户自定义字段,用以标记一批日志(例如:访问日志根据不同站点进行标记).

29859 13
|
开发工具 数据安全/隐私保护 Python
|

通过客户端加密保护数据

客户端加密是指用户数据在发送给远端服务器之前就完成加密,而加密所用的密钥的明文只保留在本地,从而可以保证用户数据安全,即使数据泄漏别人也无法解密得到原始数据。 本文介绍如何基于oss的现有python sdk版本, 通过客户端加密来保护数据。 原理介绍 用户本地维护一对rsa密钥(rsa_pr

4136 1
|
监控
|

日志服务(原SLS)新功能发布(8)--日志服务Web Tracking功能

日志服务通过Tracking功能支持 HTML, H5, iOS 和 Android 平台的数据的数据采集,允许用户自定义维度和指标,使用tracking功能可以采集各种浏览器以及ios、android APP的用户行为信息.

3334 1
|
JSON 监控 数据格式
|

日志服务(原SLS)新功能发布(7)--使用logtail接入JSON/分隔符日志

基于日志做分析时,常常需要结构化解析日志的内容,将日志切分为不同字段,每个字段表示不同的语义,从而精确到字段进行查询、统计、报警等操作。 在日志采集过程中进行结构化解析是一种常见的方式,比如:Logtail、Fluentd可以通过正则表达式匹配日志、提取字段,Logstash通过grok(底层基于

6302 0
|
存储 关系型数据库 移动开发
|

表格存储数据模型和查询操作

本篇文章主要会详细聊一下表格存储的查询操作,以及如何根据业务的需求来设计表结构以支持特定条件的查询。        在理解查询操作之前,会简单描述一下表格存储的数据模型,以加深对查询操作的理解。

24332 2
|
存储 数据处理 云栖大会
|

开启存储的“轻计算”时代(下) ——阿里云云栖大会Tech insight:存储与轻计算专场

4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。

2904 0
|
消息中间件 运维 监控
|

使用日志服务LogHub替换Kafka

前几天有客户问到,云上有什么服务可以替换Kafka? 怀着程序员的一丝小小的骄傲回复:日志服务(原SLS)下LogHub功能可以完全替代Kafka等产品,并且在性能、易用性和稳定性上更佳。 但客户将信将疑,于是花了一天时间整理一篇文章,简单从各个角度解释下为何建议用户从自搭Kafka换成

31585 12
|
Linux 测试技术 Apache
|

使用ab和wrk对OSS进行benchmark测试

14313 0
|
存储 安全 Serverless
|

开启存储的“轻计算”时代(上) ——阿里云云栖大会Tech insight:存储与轻计算专场

4月22日在深圳举行的云栖大会tech insight技术峰会中,阿里云存储的多位主要产品技术负责人齐聚存储与轻计算专场,与大家一起,分享阿里云存储团队在“大存储,轻计算”中的实践以及展望。  

4098 0
|
监控 索引
|

通过日志服务调试分布式系统

分布式系统的调试是一个大难题,多个进程是如何协作的?如何查看延时消耗在哪里?本位为你揭秘阿里云的调试利器,基于日志服务的Tracer工具。

5785 1
来自: 日志服务SLS  版块
|
存储 运维 监控
|

云存储系统监控服务分析

首先,阐述监控服务重要性和用户需求;然后描述OSS监控现状;最后给出监控服务解决方案。

5954 0
|
Linux Shell 对象存储
|

ossfs:两个Cache引发的Bug

ossfs是一个可以将OSS的Bucket挂载到本地文件系统的工具,用户可以像操作本地文件一样(ls/cat/stat)操作OSS的Object。

5766 1
|
监控 JavaScript
|

syslog协议介绍

syslog是网络上各种设备将日志收集到日志服务器的一种数据协议,它几乎被所有的网络设备支持,并且能够记录多种事件类型的日志消息,支持syslog的设备常见的有路由器、交换机、打印机等等,甚至unix-like的服务器也可以支持产生syslog消息,用以记录用户的登录、防火墙事件、apache或者n

16599 0
|
应用服务中间件 对象存储 nginx
|

Aliyun OSS Nginx proxy module(阿里云OSS Nginx 签名代理模块)

OSS Nginx proxy module

14368 0
|
对象存储 Perl
|

命令行下玩转阿里云OSS

单行命令完玩转阿里云OSS

7549 0
|
监控
|

日志服务(原SLS)新功能发布(5)--使用Logstash接入数据

日志服务结合Logstash 目前,阿里云用户可以通过API/SDK或Logtail将数据写入日志服务,参考。 今天要介绍一个新方法:使用著名开源软件Logstash采集机器日志数据,并结合日志服务插件完成数据上传日志服务功能。

8403 0
|
消息中间件 Java
|

MNS支持JMS协议的方案

JMS即Java Message Service,一般是用于两个应用程序之间,或分布式系统中发送消息,进行异步通信。有大量的消息服务中间件都实现了JMS协议,今天我们要介绍消息服务是阿里云提供的MNS消息服务,MNS消息服务现在也已经有了支持了JMS协议的方案。

8525 14
|
消息中间件 存储
|

认识MNS消息服务

你是否,还在担心硬盘损坏等原因导致数据丢失?还在担心自建的消息服务受到恶意攻击?还在担心业务量迅速增加可能导致的性能压力?还在担心没有专业的运维人员?担心机器的维护成本过高?不必担心!MNS消息服务已经帮你一站式解决了以上所有问题,并且,价格超便宜!

12878 14
|
监控 Java
|

日志服务新功能发布(1)--支持保序写入和消费

日志服务新功能上线介绍,本文介绍日志服务如何支持日志严格保序的写入和消费。

5049 14
|
消息中间件 数据安全/隐私保护
|

最佳实践:如何对MNS消息进行加密传输

问题背景阿里云消息服务MNS提供公网http可访问的服务。对于包含敏感信息的消息,如何进一步提高从用户客户端程序到阿里云的服务之间的网络链路上的安全性?目前有两种解决方案:    1.MNS提供https的服务域名(计划中,预计4月中旬可用),用户选用https服务地址。    2.用户对传输的消.

3861 14
|
消息中间件 对象存储
|

最佳实践:如何基于MNS和OSS实现无大小限制的消息传输

问题背景阿里云消息服务MNS的队列的消息大小最大限制是64K,这个限制基本能够满足在正常情况下消息作为控制流信息交换通道的需求。但是,在某些特殊场景下,消息数据比较大时,就只能采用消息分片的方式。那么如何能够基于MNS,又不做消息切片,传递大于64K的消息呢?解法是有的。解决方案1.生产者在往MN.

4621 14
|
监控 Java Ruby
|

日志客户端(Logstash,Fluentd, Logtail)横评

针对主流日志采集客户端(Logstash,Fluentd,以及日志服务客户端Logtail)进行功能、性能和稳定性测评

45413 13
|
监控 API
|

日志服务支持VPC(专有网)啦

日志服务已支持VPC(专有网)中日志收集、以及API访问

3473 0
|
11月前
|
人工智能 5G 定位技术
|

如何使用基站查询API帮你解析地理位置?

随着“新基建”战略推进,我国已建成全球领先的移动通信网络。基于基站数据的LBS定位服务成为各行业数字化转型的重要工具。探数平台基站查询API整合三大运营商数据,提供高精度、低延迟的地理位置查询服务,广泛应用于位置推荐、物流追踪等领域。本文详细介绍该API的核心功能、返回字段及调用流程,并通过Python示例展示使用方法。未来,随着5G和AI技术发展,基站定位将迈向厘米级精度,赋能自动驾驶、工业物联网等前沿领域,助力开发者抢占位置经济的战略高地。

3484 1
来自: 技术博文  版块
|
11月前
|
API 开发者 Python
|

ISBN 数据查询 API :掌管书海信息的钥匙 如何调用?

探数平台的ISBN数据查询_专业版API致力于解决高校教辅书籍管理与交易中的痛点。通过输入13位ISBN编码,用户可快速获取图书名称、出版社、作者等20+维度信息,确保正版与版本准确性。该API包含图书基础信息查询和版本对比功能,适用于二手书交易、图书馆管理及电商场景。文档详细解析了ISBN编码规则、接口调用流程及Python示例代码,助力开发者高效集成,推动图书管理数字化升级。

1364 0
来自: 技术博文  版块
|
存储 人工智能 安全
|

OSS 深度解析:Data + AI 时代的对象存储

在 Data + AI 时代,随着大数据分析和 AI/ML 工作负载的进一步融合,对象存储 OSS 作为面向 AI 时代的数据基础设施,迎来了新的挑战与创新机遇。本话题我们将会介绍对象存储的能力创新,深度解读对象存储在实现稳定、安全、高性能和低成本背后的技术进展,并展望未来 AI 驱动趋势下的技术发展方向。

2043 2
来自: 技术博文  版块
|
存储 Cloud Native 块存储
|

EBS深度解析:云原生时代企业级块存储

企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。

1110 3
来自: 技术博文  版块
|
存储 人工智能 安全
|

CPFS深度解析:并行文件存储加速AI创新

在生成式AI的大潮中,并行文件系统作为高性能数据底座,为AI算力提供高吞吐、低延迟的数据存储服务。在本话题中,我们将介绍阿里云并行文件存储CPFS针对AI智算场景而提供的产品能力演进与更新,深入讲解在性能、成本、稳定、安全等方面的技术创新。

1498 0
来自: 技术博文  版块
|
存储 人工智能 大数据
|

AI驱动下的云存储创新

随着大数据时代的到来,云存储作为数据存储和管理的核心基础设施,其重要性日益凸显。同时, AI 快速发展也为云存储的进化与创新提供了强大的驱动力。本话题将解读AI 驱动下云存储的进化趋势,分享阿里云存储的创新技术,助力企业实现数字化升级。

1082 5
|
存储 人工智能 NoSQL
|

表格存储:为 AI 注入“记忆”,构建大规模、高性能、低成本的 Agent Memory 数据底座

本文探讨了AI Agent市场爆发增长背景下的存储需求,重点介绍了Tablestore在Agent Memory存储中的优势。2025年被视为AI Agent市场元年,关键事件推动技术发展。AI Agent的存储分为Memory(短期记忆)和Knowledge(长期知识)。Tablestore通过高性能、低成本持久化存储、灵活的Schemaless设计等特性满足Memory场景需求;在Knowledge场景中,其多元索引支持全文、向量检索等功能,优化成本与稳定性。实际案例包括通义App、某浏览器及阿里云多项服务,展示Tablestore的卓越表现。最后邀请加入钉钉群共同探讨AI技术。

2868 15
|
数据采集 人工智能 机器人
|

RPA与爬虫:自动化工具的本质差异与选择指南

本文深入解析RPA与爬虫的本质差异,帮助企业根据业务需求明智选型。RPA侧重内部流程自动化,爬虫专注外部数据采集。内容涵盖技术原理、应用场景、优劣势对比及主流RPA工具介绍,助力把握自动化趋势,提升效率。

2213 0
|
存储 人工智能 安全
|

智存跃迁,阿里云存储面向 AI 升级全栈数据存储能力

一文总览阿里云存储产品创新与进展!

1455 0
|
人工智能 算法 数据管理
|

阿里云 OSS MetaQuery 全面升级——新增内容和语义的检索能力,助力 AI 应用快速落地

阿里云 OSS MetaQuery(数据索引)全新升级,支持基于内容和语义的智能检索,面向安防监控、智慧社区、智能零售等场景。企业可快速开启该能力,无需自建基础设施或优化模型,即可自动完成视频、图片、文档等非结构化数据的向量化与索引构建,基于成熟的精排算法和多路召回机制,有效提升检索准确率与召回率,轻松实现 RAG 多模态语义检索和 AI 应用,标志着 OSS 迈入 AI 原生数据管理新时代。

989 0
来自: 对象存储OSS  版块
|
存储 人工智能 运维
|

阿里云联合上海交大荣膺 FAST'26 最佳论文:揭秘云上本地存储的演进与未来发展

通过论文,阿里云展示了如何利用软硬协同(ASIC+SoC)与端云融合(Local+EBS)的技术红利,打破存储性能、成本与可靠性的“不可能三角”。

347 1
来自: 技术博文  版块

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

0
今日
8358
内容
45
活动
195821
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品