|
存储 容灾
|

《混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布》电子版地址

混合云存储开启企业上云新路径---阿里云混合云备份容灾方案发布

277 0
|
数据采集 存储 消息中间件
|

iLogtail开源之路

2022年6月底,阿里云iLogtail代码完整开源,正式发布了完整功能的iLogtail社区版。iLogtail作为阿里云SLS官方标配的采集器,多年以来一直稳定服务阿里集团、蚂蚁集团以及众多公有云上的企业客户,目前已经有千万级的安装量,每天采集数十PB的可观测数据,广泛应用于线上监控、问题分析/定位、运营分析、安全分析等多种场景。此次完整开源,iLogtail社区版首次在内核能力上与企业版完全对齐,开发者可以构建出与企业版性能相当的iLogtail云原生可观测性数据采集器。

1624 1
来自: 技术博文  版块
|
存储 消息中间件 分布式计算
|

容器持久化存储-容器有状态应用调研报告

容器持久化存储-容器有状态应用调研报告

52285 5
|
存储 监控 Cloud Native
|

云存储生态构建的技术基因和最佳实践

Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

670 0
来自: 技术博文  版块
|
存储 监控 前端开发
|

行动策略过于复杂怎么办?试试下面一些解决方法

随着使用SLS告警越来越深入,有些用户的行动策略会配置的特别复杂,有些时候可以让用户通过创建多个行动策略来进行一定的精简,但是在一些场景下,用户是无法创建多个行动策略的。

399 0
来自: 技术博文  版块
|
存储 数据采集 监控
|

无数据告警最佳实践

在对SLS的Logstore和Metricstore进行监控的过程中,有时候会出现一些无数据的情况,监控SLS的存储库中无数据的情况,是保证数据成功上传到SLS的一个重要手段,本文将介绍无数据告警的常见配置方法。

705 0
来自: 技术博文  版块
|
数据挖掘 云计算
|

数智创新行·新一代实时数仓SelectDB专场即将开启

数智创新行·新一代实时数仓SelectDB专场即将开启

393 0
|
存储 人工智能 运维
|

QCon大会精彩分享:数据湖、可观测、自动驾驶训练,阿里云存储独家技术详解与案例实践!

QCon 全球软件开发大会是由极客邦科技旗下 InfoQ 中国主办的综合性技术盛会,每年在伦敦、北京、纽约、圣保罗、上海、旧金山召开。自2007年3月份开始举办以来,已经有超万名有多年从业经验的技术人员参加过QCon大会。QCon 内容源于实践并面向社区,演讲嘉宾依据热点话题,面向5年以上工作经验的技术团队负责人、架构师、工程总监、开发人员分享技术创新和实践。

1646 2
|
监控
|

限制SLS告警通知时段的几种常见方法

在对系统进行监控告警的过程中,有时候并非在任何时候都要接收告警通知,本文会介绍几种常见的限制告警通知时段的方法,以及它们各自所适用的场景。

641 0
来自: 技术博文  版块
|
数据采集 监控 Linux
|

​数据采集神器Telegraf对接开源日志服务器GrayLog

​数据采集神器Telegraf对接开源日志服务器GrayLog

1172 0
来自: 技术博文  版块
|
数据采集 运维 监控
|

本地机器安装Logtail接入到阿里云SLS日志服务

本地机器安装Logtail接入到阿里云SLS日志服务

1705 0
来自: 技术博文  版块
|
弹性计算 运维 网络安全
|

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

一次阿里云ECS主机上挂载文件存储NAS的排障过程记录

722 1
来自: 技术博文  版块
|
存储 安全 对象存储
|

用阿里云对象存储OSS搭建个人网盘或企业网盘的方法

阿里云对象存储OSS是低成本高可靠的存储服务,使用阿里云OSS对象存储搭建个人网盘或企业网盘的方法

1791 0
来自: 技术博文  版块
|
存储 运维 监控
|

一键式开启:IDaaS日志接入SLS日志审计发布

本文主要介绍IDaaS EIAM两种日志(管理操作+用户行为)接入SLS日志审计的最佳实践

512 0
来自: 技术博文  版块
|
存储 数据采集 消息中间件
|

阿里十年技术沉淀|深度解析百PB级数据总线技术

数据总线作为大数据架构下的流量中枢,在不同的大数据组件之间承载着数据桥梁的作用。通过数据总线,可以实时接入来自服务器、K8s、APP、Web、IoT/移动端等产生的各类异构数据,进行统一数据管理,进而实现与下游系统的解耦;之后可以异步实现数据清洗、数据分发、实时计算、离线计算等计算过程,进而将结构化后的数据投递到下游的分析、归档系统,进而达到构建清晰的数据流的目的。广义上,数据采集与接入、传输链路、存储队列、消费计算、投递等都属于数据总线的范畴,整体上可以分为采集接入层、管道层、计算层。

25007 6
来自: 技术博文  版块
|
监控
|

H3C交换机配置信息中心将日志发送到日志服务器

H3C交换机配置信息中心将日志发送到日志服务器

2105 0
来自: 技术博文  版块
|
存储 数据采集 Kubernetes
|

文件存储CPFS最佳实践-轻舟智航

通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

1243 2
来自: 技术博文  版块
|
存储 Cloud Native 对象存储
|

当云原生成为一种显学,对象存储和数据湖如何顺势而为

本文主要介绍云原生以及对象存储如何支持云原生。

770 0
来自: 技术博文  版块
|
存储 机器学习/深度学习 传感器
|

Qcon大会·上海站:探索自动驾驶 AI 训练的统一存储演进之路

Qcon大会·上海站:探索自动驾驶 AI 训练的统一存储演进之路

1174 0
来自: 文件存储NAS  版块
|
存储 监控 Cloud Native
|

聚焦QCon全球软件开发大会·上海站,阿里云邀您共赴可观测技术盛宴!

聚焦QCon全球软件开发大会·上海站,阿里云邀您共赴可观测技术盛宴!

1092 0
|
存储 Cloud Native 对象存储
|

共话数据湖实战之前世今生,阿里云与您相约QCon全球软件开发大会·上海站

共话数据湖实战之前世今生,阿里云与您相约QCon全球软件开发大会·上海站

439 0
来自: 对象存储OSS  版块
|
消息中间件 SQL 数据采集
|

EventBridge 生态实践:融合 SLS 构建一体化日志服务

本文将从 SLS 在 EventBridge上 的使用以及若干最佳实践场景等方面,为大家介绍如何基于 EventBridge 构建 SLS 相关应用。

582 0
来自: 技术博文  版块
|
存储 安全 专有云
|

全网首发 | 阿里云存储产品手册

阿里云存储产品手册正式发布会

551 0
|
存储 数据采集 弹性计算
|

一文详解K8s环境下Job类日志采集方案

K8s丰富的controller为分布式任务编排提供了极大的便利,然而任务的时长可能很短(如定时清理数据的任务),甚至有些任务因为一启动就运行失败出现秒退的情况,这给采集任务日志带来了很大的挑战。本文将基于高性能轻量级可观测采集器iLogtail探讨Job日志的多种采集方案,分析这些方案在不同场景下对日志采集所能做到稳定性保证以及方案优化空间。

857 0
来自: 技术博文  版块
|
存储 人工智能 Cloud Native
|

再谈数据湖3.0:降本增效背后的创新原动力

越来越多企业选择数据湖作为企业数据存储、管理的解决方案。同时,数据湖的应用场景也在不断发展,各行各业都在云上构建数据湖,从一开始的简单分析,到互联网搜索推广和深度分析以及近两年大规模的AI训练,都是基于数据湖架构进行的。

13857 25
来自: 技术博文  版块
|
存储 弹性计算 运维
|

不仅有0.0075元的深度冷归档,更有对下一代云存储的重新定义

阿里云存储的创新活力,不仅拓展了云存储的边界,更为客户如何挖掘数据无限价值方面,带来了更多的可能。11月4日,阿里巴巴集团高级研究员、阿里云智能存储产品线总经理吴结生,在云栖大会上做了《重新定义云存储,释放数据无限价值》的主题分享。

15267 0
来自: 技术博文  版块
|
存储 数据采集 运维
|

阿里云日志服务SLS携手观测云发布可观测性解决方案,共建可观测应用创新

2022年云栖大会期间,阿里云同观测云共同发布可观测性联合解决方案。

503 0
|
存储 数据采集 运维
|

阿里云日志服务SLS携手观测云发布可观测性解决方案,共建可观测应用创新

2022年云栖大会期间,阿里云同观测云共同发布可观测性联合解决方案。观测云通过集成日志服务SLS的产品能力,发布了观测云SAAS专属版。

1017 0
|
Kubernetes 监控 索引
|

使用日志上下文聚合插件使能上下文查询及Livetail

日志上下文浏览是排查业务故障时常用的方式,但受限于Logtail插件系统的设计,在Logtail 1.2.1版本前,如果用户使用Logtail插件来处理日志或采集容器的标准输出,那么用户将无法使用上下文浏览及Livetail功能。为了解决这一问题,本文将重点介绍如何使用日志上下文聚合插件来使能上下文查询和Livetail功能。

13185 0
来自: 技术博文  版块
|
存储 人工智能 达摩院
|

在云栖大会,有哪些和存储相关的科技与狠活?

本届云栖大会以“计算·进化·未来”为主题,涵盖2场主论坛、60+场峰会和论坛。作为存储行业从业者,又将如何切身体会到本次大会上那些和存储相关的科技与狠活呢?

704 0
|
存储 SQL 数据采集
|

通过定时SQL提取阿里云API网关访问日志指标

阿里云API网关服务提供API托管服务,提供了强大的适配和集成能力,可以将各种不同的业务系统API实现统一管理。API网关同时支持将API访问日志一键存储到日志服务,通过日志服务强大的查询分析能力,用户可以针对访问日志自定义计算多种指标,监测服务运行情况。继而通过定时SQL将结果指标直接存储到时序库,直接查询API网关指标,而且可以通过较低成本长期存储指标数据。 下面我们一步步从头开始,学习如何利用日志服务监测API网关及其代理的服务。

792 0
来自: 技术博文  版块
|
存储 JSON 运维
|

聊聊日志硬扫描,阿里 Log Scan 的设计与实践

SLS 新推出 Scan 功能,让未索引的字段也支持搜索(硬扫描模式),节省全量索引产生的构建和存储费用,同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配,帮助企业客户实现数字化增效、IT 支出降本的目标。

14471 9
来自: 技术博文  版块
|
存储 数据采集 人工智能
|

用积木讲运维,这样的IT人太会了

日志服务SLS提供数据采集、加工、分析、告警可视化与投递功能,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,并能以搭积木的方式适配各类运维场景,辅助企业的IT决策。近日,日志服务SLS新增了两项重磅功能,有助于进一步提升研发、运维等场景数字化能力。

635 0
来自: 技术博文  版块
|
JSON 运维 Kubernetes
|

K8s场景下Logtail组件可观测方案升级-Logtail事件监控发布

SLS针对Logtail本身以及Logtail的管控组件alibaba-log-controller,采用K8s事件的方式,将处理流程中的关键事件透出,从而让用户能够更清楚的感知其中发生的异常。

856 0
|
存储 SQL JSON
|

[SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结,有错误之处欢迎交流。

1019 2
来自: 技术博文  版块
|
存储 缓存 算法
|

[SIGMOD 22 学习]《Adaptive Hybrid Indexes》解读

本文是学习总结,有错误处欢迎交流。

614 0
来自: 技术博文  版块
|
存储 SQL Prometheus
|

三款“非主流”日志查询分析产品初探

本文介绍三款 "schema-on-read" 类型日志系统。

740 0
来自: 技术博文  版块
|
消息中间件 存储 安全
|

Azure Event Hubs 调研

本文对 Event Hubs(2014 年推出)产品及近半年 GA 的特性做一些解读。

577 0
|
消息中间件 存储 运维
|

AWS MSK 调研

2021 AWS Re-Invent 上发布了 MSK Serverless,本文从 Stream Storage 角度做一些调研解读。

1202 0
|
SQL 存储 运维
|

基于IoT全链路实时质量-魔洛哥

通过基于IoT的全链路实时质量,业务使用狄仁杰进行全链路埋点后,可一键接入魔洛哥平台,实现终端问题的实时感知和链路分析,以及智能终端系统业务场景的全链路实时质量。整体方案接入成本低(分钟级别接入),可实现全链路的实时质量分析,以及精准的终端预警能力。帮助开发运维同学实时发现问题,快速问题的定位分析。

1074 0
来自: 技术博文  版块
|
存储 数据可视化 关系型数据库
|

AWS Data Pipeline调研

AWS Data Pipeline是AWS提供的一项用于在不同计算和存储服务之间大规模传输、转换和处理数据的Web服务。利用AWS Data Pipeline,用户在不用关心计算存储网络等资源的情况下轻松创建出高可用的复杂数据处理任务,可以定期地读取并处理用户存储在AWS上的数据,最终高效地将计算结果传输到如 Amazon S3、Amazon RDS、Amazon DynamoDB 和 Amazon EMR等各种AWS服务中。

718 0
|
安全 Linux 程序员
|

一招解决开发环境问题——远程容器开发指南

使用C++作为主要开发语言的程序猿们应该会认同搭建开发环境是一件烦人的事情。笔者在运营iLogtail开源社区的过程中发现开发和调试环境问题也是成员问的最多的问题之一。利用 VSCode 的 Remote-Development 插件可以使整个开发环境运行在远程容器中,利用容器技术做到一致、可移植、天然隔离的环境开发编译。本文由浅到深带大家搭建这样的远端容器开发环境。

3561 0
|
存储 运维 监控
|

Alibaba Cloud Lens 云产品可观测平台

Alibaba Cloud Lens 作为云产品可观测平台,可以从成本、性能、安全、数据保护、稳定性、访问分析六个纬度,提供对存储类、网络类、数据库类等云产品的精细化运维辅助分析能力。让企业在保障业务敏捷性的前提下,低门槛实现对云产品的可观测。

2473 2
|
存储 SQL 运维
|

亿级异构任务调度框架设计与实践

阿里云日志服务作为云原生可观测与分析平台。提供了一站式的数据采集、加工、查询分析、可视化、告警、消费与投递等功能。全面提升用户的研发、运维、运营、安全场景的数字化能力。 日志服务平台作为可观测性平台提供了数据导入、数据加工、聚集加工、告警、智能巡检、导出等功能,这些功能在日志服务被称为任务,并且具有大规模的应用,接下来主要介绍下这些任务的调度框架的设计与实践。

2731 0
来自: 动手实践  版块
|
存储 运维 自动驾驶
|

从三国到云计算,从存储到算力!

面对两派的不同意见,关键先生周瑜并没有选择恣意妄为或者无脑跟风,而是通过具体且准确的数据计算后,选择了最为可行的方案。历史也最终印证了周瑜的判断。可见,准确的数据分析是正确决策的前提。而决定数据分析准确与否的关键,就是算力!

572 0
|
消息中间件 数据采集 JSON
|

iLogtail社区版使用入门 - iLogtail日志处理实战

本文将会详细介绍使用iLogtail社区版进行日志采集时,对于常见日志格式的处理实战。为了便于调测,以下样例默认将采集到的日志,经过处理后,输出到标准输出,开发者可以根据实际需求进行适当的调整。

3901 0
来自: 动手实践  版块
|
Prometheus 监控 Kubernetes
|

可观测数据采集端的管控方案的简单对比

当前,主流的日志采集产品除了SLS的ilogtail,还有Elastic Agent、Fluentd、Telegraf、Sysdig、Logkit、Loggie、Flume等。详细的对比结果见下表: 备注: ○ 集群监控:表示工具可以查看管理采集端的运行状态、采集速度等数据 ○ 集群管理:表示工具可以对管理采集端的采集配置、运行参数等进行添加、修改、删除

1101 0
|
消息中间件 存储 数据采集
|

iLogtail社区版使用入门 - 主机环境采集业务日志到SLS

本文将会详细介绍如何使用社区版iLogtail,并结合SLS云服务快速构建出一套高可用、高性能的日志采集分析系统

2417 0
来自: 动手实践  版块
|
消息中间件 存储 数据采集
|

iLogtail社区版使用入门 - 如何将业务日志采集到Kafka

本文将会详细介绍如何使用iLogtail社区版将日志采集到Kafka中,从而帮助使用者构建日志采集系统。

2539 0
来自: 动手实践  版块
|
消息中间件 JSON Prometheus
|

云原生日志采集管理方案--Logging Operator

Logging Operator是BanzaiCloud开源的一个云原生场日志采集方案,它整合了fluent 社区的两个开源日志采集器 FluentBit、Fluentd,以 operator 的方式自动化配置 k8s 日志采集pipeline。

2621 0
来自: 动手实践  版块

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

0
今日
8341
内容
45
活动
195788
关注
你好!
登录掌握更多精彩内容

相关产品