|
弹性计算 运维 监控
|

【Logtail最佳实践】使用Logtail采集和解析Syslog数据

Syslog是一种行业标准的协议,可用来记录设备的日志。常见的应用场景是网络管理工具、安全管理系统、日志审计系统。 本文档介绍如何使用Logtail采集和解析Syslog数据。

3035 0
来自: 动手实践  版块
|
SQL 存储 物联网
|

表格存储2022年产品满意度调研

新一年的产品满意度调研开始了。作为一款云产品,最开心的事情就是陪伴客户业务一起成长。相信客户的业务也在经历大大小小的挑战,面临许许多多新的机会以及问题,而这些都会或多或少的化作对产品的要求。而这些要求以及在使用中或多或少的吐槽,就是我们产品最大的养分。这里过往的产品改进做了小结,期待大家对我们新的评价与建议。

669 0
|
存储 弹性计算 人工智能
|

阿里云文件存储NAS通用型、极速型和文件存储CPFS有什么区别?

阿里云文件存储NAS极速型NAS低时延,适合企业级时延敏感型核心业务;文件存储CPFS拥有高吞吐和高IOPS,适合高性能计算业务;通用型NAS大容量、高性价比、弹性扩展,支持低频介质,适合通用类文件共享业务。

2921 0
来自: 文件存储NAS  版块
|
机器学习/深度学习 存储 数据采集
|

一站式智能运维解决方案,企业系统的隐形守护者

数字化时代,创新迭代在加速,体验重要性在提升,IT系统架构在变革,运维数据与事件在爆发。阿里云智能运维解决方案,帮助用户高效定位问题、提升业务体验与洞察、快速创新迭代。

1644 2
来自: 日志服务SLS  版块
|
存储 自动驾驶 文件存储
|

IT人才能嗑到的这对CP,甜!

提到文件存储,相信大家都不陌生,在浩瀚的存储发展史中,文件存储无疑是璀璨的,耀眼的。那么,在性能已经成为刚需,自动驾驶行业风起云涌的当下,文件存储与GPU这对CP又有怎样的含糖量呢?今天,我们就来嗑一嗑。

43658 0
来自: 文件存储NAS  版块
|
存储 Cloud Native 文件存储
|

阿里云文件存储NAS(Apsara File Storage NAS)真是个好东西,相见恨晚。

阿里云文件存储NAS(Apsara File Storage NAS)是一个可大规模共享访问,弹性扩展的高性能云原生分布式文件系统。支持智能冷热数据分层,有效降低数据存储成本。

1525 0
来自: 文件存储NAS  版块
|
存储 人工智能 文件存储
|

聊一聊并行文件系统的客户端优化之道

本文主要介绍阿里云CPFS是如何应对挑战以及对并行文件系统的技术探索与落地实践。

43728 5
来自: 动手实践  版块
|
弹性计算 JSON 监控
|

【最佳实践】使用Logtail采集MQTT协议数据

MQTT是一个为IoT设计的消息协议,是一种轻量级的基于Pub/Sub模式的通信协议,支持物联网设备与服务器之间的双向通信。广泛应用于自动驾驶、智能家居、制造业、电信等领域。 本文主要介绍如何使用日志服务Logtail作为订阅方来采集基于MQTT协议的消息。并将消息内容采集到日志服务的Logstore。

967 0
来自: 动手实践  版块
|
机器学习/深度学习 存储 SQL
|

如何将“智能巡检”嵌入“业务系统”中?

智能巡检借助强大的SLS“告警2.0”消息系统,可以很好的桥接很多内部和外部的系统(EventBridge、FC等),也可以借助SLS的SDK和自定义的函数去解决针对“告警结果”的下一步“分析任务”,从而更好的实现对于问题的排查和解决。

846 0
来自: 动手实践  版块
|
存储 移动开发 人工智能
|

今天的应用架构,正处在一个不可测的阶段

简介: 近几年,“可观测性”这个词在国内的 IT 圈子突然走红,阿里、百度、字节、腾讯等大厂纷纷跟进可观测性建设,更有多家基于可观测技术创业的公司陆续成立,可观测性领域的融资很火爆。这把名为“可观测性”的火,甚至从后端领域,延伸到了大前端,一些移动开发团队希望通过引入“可观测性”概念解决更深层次的应用架构问题,改善性能和业务体验。

504 2
来自: 动手实践  版块
|
SQL 存储 监控
|

数据洞察(2):描述性数据分析在日志场景的落地

随着互联网的极速发展,海量用户产生的海量日志,每天都在急剧膨胀。数据仓库就像一个个油井一样,我们都知道这里边有矿,但是怎么从矿里边挖出有价值的信息,一直是困扰矿主的最大问题。如果缺乏强大的分析工具,或者数据分析能力,积累再多的数据的数仓,都会变成数据坟墓:花了大力气采集过来数据,然后打包放到冷存仓库里边,一直没有任何访问,直到一天磁盘空间满了,把最老的数据清理掉。我们的决策,往往是依赖于个人的经验和直觉,而不是基于数据所呈现给我们的信息。而要从数据中挖掘出有用的信息辅助我们做决策,一方面需要强大的数据分析工具,一方面需要专业的数据分析经验。

637 0
来自: 动手实践  版块
|
存储 监控 安全
|

SLS日志审计2021技术总结

本文概述了过去一年SLS日志审计的技术发展。

1097 4
来自: 动手实践  版块
|
数据采集 存储 缓存
|

K8S采集专题-稳定性:iLogtail容器重启数据可靠性探讨

容器场景下iLogtail容器的稳定性对于日志采集的可靠性尤为重要,特别是对于容器重启的情况需要通过特定的配置确保采集状态可恢复。本文简要讲解了iLogtail的状态持久化原理和容器场景状态持久化方案,并详细描述了在K8S和Docker环境下如何配置iLogtail参数和容器参数来解决这种情况下的数据采集的稳定性问题。

3138 0
|
存储 弹性计算 监控
|

半天掌握日志存储 云启实验室系列课程 第六讲 | 日志服务数据导入

本场景介绍如何通过日志服务数据导入方式,将 OSS 数据导入到日志服务。

732 0
来自: 动手实践  版块
|
存储 弹性计算 监控
|

半天掌握日志存储 云启实验室系列课程 第五讲 | 日志服务之分析用户访问行为

本教程介绍如何使用日志服务采集NGINX日志,创建仪表盘分析用户访问行为。 专家支持:阿里云日志服务技术专家 执少

743 0
来自: 动手实践  版块
|
存储 Web App开发 移动开发
|

半天掌握日志存储 云启实验室系列课程 第四讲 | 日志服务之告警接入与管理

本教程介绍如何使用日志服务接入NGINX模拟数据,并配置告警规则来对NGINX访问错误进行监控。 专家支持:阿里云日志服务技术专家 寂之

592 0
来自: 动手实践  版块
|
存储 数据采集 Web App开发
|

半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖

半天掌握日志存储 云启实验室系列课程 第三讲 | 日志服务之数据清洗与入湖 本教程介绍如何使用日志服务接入 NGINX 模拟数据,通过数据加工对数据进行清洗并归档至OSS中进行存储 专家支持:阿里云日志服务技术专家 王星宇 唐恺

748 0
来自: 动手实践  版块
|
存储 运维 监控
|

最佳实践:使用CloudLens对负载均衡进行全面观测

本文为您介绍使用CloudLens对阿里云负载均衡进行全面观测

657 0
来自: 动手实践  版块
|
存储 Web App开发 移动开发
|

半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计

半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。 专家支持:阿里云日志服务技术专家 灵圣

798 1
来自: 动手实践  版块
|
存储 Web App开发 移动开发
|

半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计

半天掌握日志存储 云启实验室系列课程 第二讲 | 日志服务之敏感信息脱敏与审计。本教程介绍如何使用日志服务创建模拟数据任务(NGINX访问日志),并对数据进行脱敏和审计。专家支持:阿里云日志服务技术专家 灵圣

536 0
来自: 动手实践  版块
|
Web App开发 存储 弹性计算
|

半天掌握日志存储 云启实验室系列课程 第一讲 | 日志服务之使用 Nginx 模式采集日志

半天掌握日志存储 云启实验室系列课程 第一讲 |日志服务之使用 Nginx 模式采集日志。 本文介绍如何通过日志服务控制台创建 Nginx 模式的Logtail 配置快速采集 Nginx 日志并进行多维度分析。专家支持:阿里云日志服务技术专家 沐自

465 0
来自: 动手实践  版块
|
弹性计算 负载均衡 安全
|

使用Terraform玩转SLS数据加工自动化部署

本文主要介绍Terraform的安装、阿里云Terraform Provider的安装以及如何使用Terraform管理SLS数据加工。

779 0
来自: 动手实践  版块
|
数据采集 存储 SQL
|

日志服务应用场景

日志服务的典型应用场景包括:数据采集与消费、数据清洗与流计算 (ETL/Stream Processing)、数据仓库对接(Data Warehouse)、日志实时查询与分析。

1370 0
来自: 动手实践  版块
|
存储 缓存 文件存储
|

IIS应用使用虚拟目录功能,将数据目录存放到阿里云SMB文件系统上实现弹性存储

阿里云SMB文件系统具有超大容量以及弹性扩展的能力,但是兼容性和性能相比虚拟机系统盘有差距。针对这个特性,可以将IIS应用的数据部分存放在云上文件系统中,应用核心还是在系统盘上运行,通过IIS虚拟目录功能将IIS应用与阿里云SMB文件系统的目录相连。 本文详述了如何配置IIS虚拟目录到阿里云SMB文件系统,实现存储海量扩展。

1398 0
来自: 动手实践  版块
|
存储 缓存 并行计算
|

Electronic Design Automation (EDA) 数据上云解决方案

基于文件存储 CPFS 的 EDA 解决方案可大大加速 EDA 工作流,提高效能。 CPFS 提供高性能文件处理,缩短芯片上市周期;其云端的弹性扩展,使得业务快速上线;并行计算共享存储,加速工作流效率;同时提供简单易用的特性简化数据管理。本文详细剖析了 EDA 行业背景、EDA 芯片设计流程及 EDA 工具、EDA 工作流的存储需求和 IO 模型以及EDA 工作流的数据挑战。详细阐述了 EDA 数据上云整体解决方案以及基于 CPFS 的 EDA 解决方案、最佳实践及案例。

4005 0
来自: 动手实践  版块
|
存储 运维 分布式计算
|

专访阿里云罗庆超:对象存储的过去、现在、未来

发展到现在,数据湖越来越受企业重视,美国知名科技企业风投机构 A16Z 经过调查发现数据湖已成为现代化数据分析架构中的中流砥柱,处于数据分析架构的核心位置。HDFS 和对象存储都是可以用来构建数据湖的组件,但对象存储更能适应当前存算分离的发展趋势,所以越来越多的企业转向了对象存储,阿里的数据湖在 2019 年也从 Hadoop 生态转向了对象存储 OSS。

616 0
来自: 动手实践  版块
|
存储 人工智能 Cloud Native
|

阿里云贾扬清:数据湖正成为企业数据应用创新标配

全球数据湖峰会开幕

110341 14
来自: 对象存储OSS  版块
|
存储 JSON 运维
|

使用Terraform玩转SLS告警

Terraform是有HashiCorp公司开源的IT基础架构的自动化编排工具,“Write,Plan and Create Infrastructure as Code”,Terraform的命令行接口(CLI)提供了一种简单的机制,用于将配置文件部署到阿里云或者其他任意支持的云上,并对其进行版本控制。 SLS告警告警是一站式告警监控、降噪、事务管理、通知分派的智能运维平台。包含日志/时序存储、告警监控、告警管理、通知管理等模块;强大的功能当然也有自动化配置的需求,本文将介绍如何使用Terraform进行简单的配置,即可完成在无界面的告警配置。

1138 0
来自: 技术博文  版块
|
SQL 存储 机器学习/深度学习
|

2022年AIOps热身赛数据可视化详解

本次介绍2022年AIOps国际挑战赛--热身赛数据的可视化详解,希望可以更好的帮助选手使用SLS平台进行赛题数据的理解。接下来主要介绍下,如何不写一行代码就可以在SLS平台上实现数据的可视化部分。我们提供的DEMO已经同步发不到网上(https://sls.aliyun.com/),各位可以去查阅。

3575 2
来自: 技术博文  版块
|
存储 Cloud Native 数据管理
|

【预约直播】2022全球数据湖峰会盛大启幕

【预约直播】2022年3月31日 全球数据湖峰会盛大启幕

991 0
|
机器学习/深度学习 SQL 弹性计算
|

在SLS上进行异常点的绘制

对于很多流量、访问量、延时等场景,很对同学在绘制大盘时想能在指标中,体现出来异常值的位置,这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来,我们一步步操作下,如何绘制异常点

1537 1
来自: 技术博文  版块
|
消息中间件 Kubernetes 监控
|

通用数据库审计K8s部署实践

通用数据库审计是日志服务提供的一种轻量级、低成本数据库安全方案,在之前的文章《自建数据库没有审计方案?试试这套轻量级低成本方案》中介绍了通过部署Logtail和Packetbeat在应用服务器或者数据库服务器上的方法抓取数据库操作行为流量,从而实现数据库审计数据的采集。日志服务提供了开箱即用的审计报表和告警配置。 随着云原生技术的成熟,越来越多的应用部署在云原生环境,云原生环境的动态及灵活性给抓包工具带来了一些困难,本文主要介绍在K8s环境下如何部署这套轻量级、低成本审计方案。

927 0
来自: 技术博文  版块
|
SQL 机器学习/深度学习 存储
|

通过日志服务实现数据库MySQL入湖OSS实践

日志服务(SLS)是云原生观测分析平台,为Log/Metric/Trace等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、分析、告警可视化与投递功能。阿里云提供了企业级的数据湖解决方案,存储层基于阿里云对象存储OSS构建。日志服务支持开箱即用的OSS投递入湖功能,实现数据的端到端的入湖。 本文主要介绍如何借助日志服务将关系型数据库MySQL数据入湖和实践,并介绍数据在入湖之前可以日志服务可以提供哪些开箱即用的功能。

1030 0
来自: 技术博文  版块
|
存储 监控 关系型数据库
|

日志审计:开启RDS/PolarDB错误日志采集

本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

881 0
来自: 技术博文  版块
|
存储 监控 负载均衡
|

日志审计:多账号下ALB访问日志的自动化采集与监控

本文主要介绍在日志审计下如何开启ALB访问日志的自动化采集与监控

814 0
来自: 技术博文  版块
|
SQL 运维 监控
|

零基础玩转SLS日志分析 - SLS Data Explorer发布

为了帮助用户改善查询分析体验,让更多不熟悉SQL语法的用户也能使用SLS进行日志分析,SLS推出了交互式查询分析功能(Data Explorer)。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景,助力用户专注于业务分析之上,而无需关注SQL语法细节。

1765 0
来自: 技术博文  版块
|
SQL 存储 运维
|

SLS 2021年用户体验总结

本文主要作为对2021年SLS产品用户体验改进工作的总结,如您对于产品有任何的建议,可以通过文末的用户体验调研问卷向我们反馈。

762 1
来自: 技术博文  版块
|
SQL 存储 算法
|

如何写出高性能的SQL Join: join实现和最佳实践

Join是数据库和数仓中最常用的一个感念了。在关系型数据库的数据模型中,为了避免数据冗余存储,不同的数据往往放在不同的表中,分为事实表和维度表,这样做可以极大的节省数据存储空间。但是在分析数据时,则需要通过join把多表关联起来分析。可以说,做数据分析,绕不开的一个话题就是join。而join有多种类型,在使用上有不同的使用方式,而在实现上也有不同的实现方式。不同的使用方式和实现方式,则会造成性能上的天差地别。本文尝试由表及里梳理join的使用和内部实现方式,通过了解内部实现,了解如何写出一个高性能的join SQL。

3398 2
来自: 技术博文  版块
|
文件存储 Windows
|

阿里云文件系统NAS SMB如何修改根目录权限

阿里云文件系统服务SMB文件系统(NAS SMB)在没有打开SMB ACL功能时,只支持只读操作,无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html,打开SMB ACL功能之后,用户即可修改根目录权限。

1041 0
来自: 技术博文  版块

阿里云文件系统SMB ACL超级用户功能使用指南

阿里云文件系统对于SMB文件系统提供了SMB ACL超级用户功能,可以方便客户在无需改变目录权限的情况下查看和修改任何目录或者任何文件。方便文件系统的管理员进行管理。 以下介绍两个适用SMB ACL超级用户功能的案例,方便用户模仿使用。

607 0
来自: 技术博文  版块
|
存储 数据采集 SQL
|

阿里云日志服务 SLS 全景体验

阿里云日志服务 SLS 不只是“日志储存”,更是一个一站式智能运维方案、可观测平台。我们从“客户需要的数据如何获取”,发展为“客户的数据如何使用”,再过渡到“如何帮助客户用好数据,产生更大价值”。

1788 1
来自: 技术博文  版块
|
存储 数据采集 人工智能
|

以Trace为核心的根因分析概述

近期一直在学习和复现“根因分析”领域的相关文章,在这里跟大家一起分享下相关内容。这里不在赘述关于“可观测性”和“AIOps”的重要性和必要性,也不过多的陈述在“复杂系统”中进行快速根因诊断的必要性,直接进入到相关算法和系统设计部分。

2765 0
来自: 技术博文  版块
|
存储 对象存储 消息中间件
|

SLS 数据投递 OSS 文章专栏

SLS 投递 OSS 功能介绍、使用帮助、场景实践合集

725 0
来自: 技术博文  版块
|
存储 机器学习/深度学习 人工智能
|

独家专访阿里云存储负责人吴结生:我经历的三个重大决策

云原生正在重新定义存储,而存储只是基础软件领域中的一环。本期 C 位面对面,我们有幸邀请到了阿里巴巴高级研究员,阿里云智能存储负责人吴结生(Jason Wu),他亲历了阿里云存储技术高速发展的 8 年,此次,他将与 InfoQ 共同解读存储技术的现在与未来,以及他本人在职业生涯中面临的一些抉择和个人成长感悟。

2524 2
|
存储 运维 监控
|

“虎力全开”采购季,存储产品已就位

两百多年前,有个叫吴锡麒的少年,在“江南三月听莺天,买酒莫论钱”。如今又逢暮春三月,一年一度的开年大促——阿里云上云采购季也拉开了序幕。

504 0
|
存储 监控 索引
|

SLS告警最佳实践——自定义分析告警历史

在SLS告警评估、触发到通知的整个生命周期过程中,都会有一些日志记录,通过这些日志我们可以借助告警对系统的整体健康状况、稳定性等有一个相对全面的了解。

836 0
来自: 技术博文  版块
|
canal 存储 SQL
|

MySQL数据库同步CDC方案调研

数据库同步是一个比较常见的需求,业务数据一般存储在一致性要求比较高的OLTP数据库中,在分析场景中往往需要OLAP数据库或者比较火的数据湖方案;CDC是数据库同步较为流行的方案,全称是Change Data Capture,主要用于捕捉数据库中变化的数据,然后根据变化的数据写入不同的目标存储。接下来是一些数据库CDC方案的调研及原理探讨,调研方案基于MySQL数据库。

4184 0
来自: 技术博文  版块
|
存储
|

【第一期】云桌派开年首播!我的数据存储20年|无限生长篇

云桌派开年首播,阿里云携手极客邦科技创始人兼CEO【霍太稳】专访阿里巴巴副总裁、阿里云智能存储负责人【吴结生】,共同交流存储、数据及可观测的技术本质,以及在职业生涯中面临的一些抉择和个人成长感悟!

397 0
|
存储 弹性计算 运维
|

云上的潮玩社区,如何让年轻人念念不忘?

许多潮玩品牌正是看中千岛品牌资源整合的能力,首选在千岛微信小程序上进行新品首发、新品市场测试等业务。由于这些业务流量的激增,在业务架构上,如何有效应对突发流量、保障业务系统稳定性成了至关重要的问题。

1837 0
|
存储 Prometheus 运维
|

顺滑迁移Prometheus告警到SLS告警

Prometheus作为一个开源的云原生监控系统,具有很广泛的应用场景,通过各种Exporter收集各类设备,应用的指标,将各类指标抽象为时序数据,在Prometheus上可以使用PromQL进行高效的指标查询和分析。SLS告警是云上的一站式告警监控运维平台,支持各种Ops场景。SLS告警系统主要包括指标采集,监控系统,告警管理,通知管理等子系统。本文介绍如何将Prometheus告警无缝转换为SLS告警,并使用SLS告警的管理功能。

1189 0
来自: 技术博文  版块

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

0
今日
8307
内容
45
活动
195823
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品