开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
254
内容
0
活动
57
关注
|
存储 缓存 算法
|

[SIGMOD 22 学习]《Adaptive Hybrid Indexes》解读

本文是学习总结,有错误处欢迎交流。

611 0
|
SQL 运维 监控
|

零基础玩转SLS日志分析 - SLS Data Explorer发布

为了帮助用户改善查询分析体验,让更多不熟悉SQL语法的用户也能使用SLS进行日志分析,SLS推出了交互式查询分析功能(Data Explorer)。Data Explorer让用户只需一些简单的点击和选择操作即可完成复杂的日志分析场景,助力用户专注于业务分析之上,而无需关注SQL语法细节。

1708 0
|
canal 存储 SQL
|

MySQL数据库同步CDC方案调研

数据库同步是一个比较常见的需求,业务数据一般存储在一致性要求比较高的OLTP数据库中,在分析场景中往往需要OLAP数据库或者比较火的数据湖方案;CDC是数据库同步较为流行的方案,全称是Change Data Capture,主要用于捕捉数据库中变化的数据,然后根据变化的数据写入不同的目标存储。接下来是一些数据库CDC方案的调研及原理探讨,调研方案基于MySQL数据库。

4087 0
|
存储 数据采集 运维
|

简单、有效、全面的Kubernetes监控方案

近年来,Kubernetes作为众多公司云原生改造的首选容器化编排平台,越来越多的开发和运维工作都围绕Kubernetes展开,保证Kubernetes的稳定性和可用性是最基础的需求,而这其中最核心的就是如何有效地监控Kubernetes集群,保证整个集群的一个良好的可观察性。本期将为大家介绍Kubernetes的监控方案。

3752 0
|
消息中间件 数据采集 JSON
|

iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)

iLogtail使用入门-iLogtail本地配置模式部署(For Kafka Flusher)

1899 0
|
JSON 应用服务中间件 数据处理
|

SLS告警最佳实践——在通知中引用日志内容

在配置告警通知的时候,通常我们需要知道告警的触发详情。例如Nginx访问错误告警,我们需要知道错误的HTTP Status 分布,错误的机器IP等信息,并且需要将这些信息体现在通知中,以便在接收到告警通知后,能够一目了然地知道发生了什么事情。那么在创建告警规则的时候,我们就需要进行合理的配置,使得告警在触发后,可以将这些信息放在合适的位置发送给通知服务,从而在通知模板里可以被引用到,从而被正确地通知。

722 0
|
运维 监控 安全
|

SLS告警通知体验升级——移动端免登查看与操作

SLS告警通知体验重磅升级,支持了移动端免登陆的能力,从而可以随时随地在手机上查看告警信息并进行后续的管理,提升运维效率。

689 0
|
存储 Prometheus 监控
|

打造Java可观测性的5个关键步骤

伴随云原生和微服务的普及,可观测性设计基本上是作为一个线上业务服务必备的基础能力。这篇文章我将介绍天罡项目围绕可观测性的三大支柱:日志,指标以及链路追踪所做的可观测性设计和实践,以及项目中实施可观测性的5个关键步骤。

1137 0
|
SQL 存储 弹性计算
|

日志审计:多账号下VPC Flow日志的采集与监控

VPC流日志的采集和监控在日志审计下的功能介绍及最佳实践

733 0
|
SQL 消息中间件 数据采集
|

Trace告警配置最佳实践

阿里云日志服务(SLS)提供了Log,Metric,Trace等三种数据快速接入的能力,同时也提供了丰富的分析功能和可定制化的Dashboard的能力,客户可以利用SLS快速的搭建可观测性平台,让用户更加关注于分析,降低用户接入各类数据的门槛。本文主要讲述应用接入SLS Trace服务后,针对各种场景化如何配置告警。

1368 0
|
存储 SQL 机器学习/深度学习
|

零信任策略下云上安全信息与事件管理最佳实践

零信任策略下云上安全信息与事件管理最佳实践

994 0
|
存储 SQL 数据采集
|

可观测性平台下的低代码技术实践——PyCon2021分享

本文介绍阿里云SLS丁来强(花名成喆)在PyCon2021上海站分享时的议题内容,结尾有录播的视频和PPT下载链接。

781 0
|
存储 SQL 运维
|

基于ScheduledSQL实现K8S集群指标预计算

随着云原生的普及,各家公司都通过K8S实现了服务的容器化,极大的简化了开发运维人员的工作,是目前最为常用的基础服务。同时,K8S集群中的各项基础服务能够通过metrics接口导出Prometheus格式的多种指标,方便观察当前系统状态,及时发现问题。用户将K8S集群指标采集到日志服务SLS时序存储之后,可以随时查看系统历史及当前指标,还可以通过SLS内置仪表盘或者Grafana构建监控大盘,方便观察系统情况。但是随着系统规模以及负载成倍增加,复杂的指标查询以及监控大盘的渲染开始变慢,进而影响操作体验。

467 0
|
网络协议 Linux 文件存储
|

NAS SMB ACL自动配置自动检查脚本

NAS SMB ACL的系列文章详细叙述了如何安装并启用AD域服务与DNS服务,将阿里云SMB协议文件系统挂载点接入AD域,将Windows客户端加入AD域,Windows客户端以AD域用户身份挂载并使用阿里云SMB协议文件系统。 即便我们提供了多篇文章尽力描述清楚整个NAS SMB ACL的配置步骤,但是复杂的流程仍然给用户造成了困扰。为了让配置更加简单,我们开发了NAS SMB ACL自动配置和自动检查脚本,将复杂的步骤尽量压缩在数个Powershell命令中。 注意:该Powershell每次运行一条修改命令,会弹出确认框,需要手动确认要执行的命令。

625 0
|
存储 弹性计算 负载均衡
|

使用Terraform玩转SLS日志审计自动化部署

Terraform是一种开源工具,用于安全高效地预览,配置和管理云基础架构和资源。阿里云的terraform-provider-alicloud目前已经提供了超过 163 个 Resource 和 113 个 Data Source,覆盖计算,存储,网络,负载均衡,CDN,容器服务,中间件,访问控制,数据库等超过35款产品。 本文主要介绍如何使用Terraform自动化部署阿里云日志服务下的日志审计服务。

955 0
|
存储 关系型数据库 MySQL
|

SLS数据加工——动态解析与分发日志实战

阿里云日志服务提供可托管、可扩展、高可用的数据加工服务。数据加工服务可用于数据的规整、富化、流转、脱敏和过滤。本文为读者带来了数据加工动态解析与分发的最佳实践。

1105 0
|
运维 监控
|

SLS告警内置通知渠道最佳实践

为了实现全方位、多层次的告警通知,SLS告警内置了多种通知渠道,从触达强度、通知内容丰富程度等方面进行了全方位的覆盖。本文会详细介绍各个渠道的一些特点以及限制,并给出一般场景下的最佳实践。

947 0
|
监控 开发工具
|

阿里云日志服务NetCore SDK Quick Start

日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。本文主要演示如何在VS2019中安装及使用SLS NetCore SDK。

3211 0
|
存储 IDE 开发工具
|

磁盘的物理组成

本文介绍了磁盘的物理组成和如何新增磁盘。磁盘主要由主轴、磁盘盘、磁头和磁头臂组成,其中磁道、簇、扇面和扇区是磁盘的基本存储单元。新增磁盘的步骤包括关闭操作系统、选择磁盘类型和容量、创建新虚拟磁盘并完成配置。常见的磁盘接口类型有IDE、SCSI、SATA和SAS。

619 1
|
存储 弹性计算 监控
|

利用阿里云云产品进行项目成本节约的实践

本文分享了利用阿里云降低成本的实践经验,主要通过选择合适的计费模式(如按量付费、包年包月和抢占式实例)、优化资源配置(弹性伸缩、资源监控与调整、适配存储方案)、利用优惠和成本管理工具(预留实例券、成本预警、优惠活动)以及案例分析,实现云计算成本的有效控制。通过这些策略,企业在保证灵活性和扩展性的同时,能更好地管理云服务成本,提高项目经济效益。

1096 4
|
数据采集 存储 监控
|

离散型工厂生产制造MES管理系统解决方案

MES 是车间中用以管理和优化从订单下达到产品完工的整个生产过程的硬件和软件的集合,它控制和利用准确的制造信息,对车间生产活动中的实时事件做出快速响应,同时向企业决策支持过程提供相关生产活动的重要信息。

731 0
|
运维 算法 数据挖掘
|

在云栖,一场关于数据洞察的创新实践

数据驱动创新·创新鉴于未来。做好数据洞察,是鉴往知来的必备条件。阿里云将携手广大开发者,进一步完善相关技术和工具,提供更好的产品和方案,让数据洞察的应用更加广泛和深入。

1099 10
|
网络协议 算法 网络性能优化
|

关于TCP协议我们需要知道的

TCP协议是OSI模型中的传输层协议,用于建立和维护两个程序间的数据交换连接,以及通过Internet发送信息。TCP协议的主要特点包括面向连接、可靠性、流控制和拥塞控制。其中,三次握手和四次挥手是建立和断开TCP连接的必要过程。此外,TCP协议还提供了流控制机制来控制数据发送方的发送速度,以避免网络拥塞问题。

858 0
|
存储 数据采集 缓存
|

数据中台建设:千万级的瀑布式,和十万级的迭代式,你会选择哪一个?

连接1次孤岛,服务N个场景。Tapdata Live Data Platform (LDP)通过为实时数据集成增加一个高速缓存的方式,将企业核心的常用的数据实时复制到缓存层(最后一次ETL),再从缓存层为企业的多个应用场景快速提供数据, 实现一次打通,多次复用的降本增效价值。Tapdata LDP 现已入驻阿里云云市场。

16354 0
|
存储 监控 Cloud Native
|

云存储生态构建的技术基因和最佳实践

Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

670 0
|
存储 数据采集 监控
|

无数据告警最佳实践

在对SLS的Logstore和Metricstore进行监控的过程中,有时候会出现一些无数据的情况,监控SLS的存储库中无数据的情况,是保证数据成功上传到SLS的一个重要手段,本文将介绍无数据告警的常见配置方法。

704 0
|
存储 数据采集 Kubernetes
|

文件存储CPFS最佳实践-轻舟智航

通过与阿里云建立合作,轻舟智航可以更加专注地进行业务场景研发。轻舟智航通过使用阿里云CPFS和OSS数据流动解决方案,打造一体化的自动驾驶数据底座,并且依托CPFS的高性能和高吞吐,很好地支持轻舟智航业务的快速增长。

1242 2
|
存储 数据采集 运维
|

阿里云日志服务SLS携手观测云发布可观测性解决方案,共建可观测应用创新

2022年云栖大会期间,阿里云同观测云共同发布可观测性联合解决方案。观测云通过集成日志服务SLS的产品能力,发布了观测云SAAS专属版。

1017 0
|
存储 JSON 运维
|

聊聊日志硬扫描,阿里 Log Scan 的设计与实践

SLS 新推出 Scan 功能,让未索引的字段也支持搜索(硬扫描模式),节省全量索引产生的构建和存储费用,同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配,帮助企业客户实现数字化增效、IT 支出降本的目标。

14469 9
|
JSON 运维 Kubernetes
|

K8s场景下Logtail组件可观测方案升级-Logtail事件监控发布

SLS针对Logtail本身以及Logtail的管控组件alibaba-log-controller,采用K8s事件的方式,将处理流程中的关键事件透出,从而让用户能够更清楚的感知其中发生的异常。

855 0
|
存储 监控 关系型数据库
|

日志审计:开启RDS/PolarDB错误日志采集

本文主要介绍如何在日志审计中开启RDS错误日志以及Polardb错误日志的采集与监控

850 0
|
SQL 分布式计算 关系型数据库
|

文件存储HDFS版和数据库MySQL双向数据迁移

本文档介绍如何使用Sqoop工具实现文件存储HDFS版和关系型数据库MySQL之间的双向数据迁移。

888 1
|
存储 运维 监控
|

Redis Lens 隆重推出:轻松直观的洞察Redis状态

Redis Lens提供集中式Redis实例资产视图,可方便快捷获取数据库的运行日志、慢日志以及审计日志的监控与分析

369 0
|
SQL 数据采集 安全
|

数据库审计数据采集方案调研

在互联网,云计算,大数据快速发展的背景下,数据的规模也有了前所未有的增长,数据库在企业数据中几乎占有着核心地位。同时SQL注入,敏感操作,不规范使用等问题也一直伴随着数据库的使用,数据库安全也一直的数据库管理的重要工作,主要包括数据库漏扫,数据库加密,数据库防火墙,数据库脱敏,数据库安全审计等领域,本文将从数据库审计角度来介绍数据库审计的概念及审计数据的采集方案。

991 0
|
存储 SQL 人工智能
|

MySQL监控-Datadog数据库监控调研

MySQL是最流行的数据库之一,在大多系统的后端的存储都有MySQL的身影,MySQL运行的是否健康,直接影响着整个系统的运行,数据库的瓶颈往往也是整个系统的瓶颈,其重要性不言而喻,所以对于MySQL的监控必不可少,及时发现MySQL运行中的异常,可以有效提高系统的可用性和用户体验。 本文主要介绍下MySQL如何做监控,以及对Datadog的Database Monitoring的一些简单调研。

1731 0
|
运维 监控 数据可视化
|

阿里云服务网格ASM集成SLS告警

随着微服务的流行,微服务的架构也在不断的发展演进,Spring Cloud 与 Dubbo为代表的微服务开发框架也得到了普及和落地;在云原生时代,无侵入的服务网格(Service Mesh)开始走向成熟,相对于传统微服务架构,服务网格具有可观察性、流量控制、安全性三大优势。服务网格将之前服务治理中的复杂性从应用中分离出来,将这些复杂性放到了服务代理中,包括流量控制,断路,服务发现,安全性,可观测性等;开发时应用只需要关心业务功能实现,让责任划分变得更加清楚。

709 0
|
SQL 运维 监控
|

酷!在终端上使用命令行可视化分析日志

运维工程师在通过日志调查问题时,或者通过日志搭建监控系统时,不仅需要查看原始的日志内容,还需要把日志经多深度加工分析,例如计算每分钟的延时,每分钟的流量等等监控。这些数字指标,如果能够通过可视化的手段直观的展示出来,会更直观、有效的理解监控数据。今天我们介绍一种比较简洁、也比较酷的可视化方式,就是在终端上直接通过命令行可视化分析日志。

767 0
|
存储 监控 Cloud Native
|

使用SDK管理SLS告警-以Go为例

除了在SLS控制台创建告警监控以外,SLS的SDK也提供了对告警的管理功能,其中主要包括了初始化告警资源,告警监控规则的增删改查,告警资源的增删改查等功能。

1949 0
|
存储 运维 NoSQL
|

阿里云表格存储全面升级,打造一站式物联网存储新方案

阿里云表格存储全面升级,打造一站式物联网存储新方案

738 17
|
Prometheus 监控 Cloud Native
|

5分钟搞定Loki告警多渠道接入

Loki是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。用户既可以将Loki告警直接接入SLS开放告警,也可以先将Loki接入Grafana或Alert Manager,再借助Grafana或Alert Manager实现Loki间接接入SLS开放告警。

2195 0
|
存储 消息中间件 Cloud Native
|

40年技术发展变革,物联网行业的趋势、现状与挑战

40年技术发展变革,物联网行业的趋势、现状与挑战

1473 1
|
SQL 存储 监控
|

RDS审计日志采集方案升级--RDS审计中心发布

数据库是企业业务的数据核心,其安全方面的问题已经成为数据泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。

958 0
|
运维 监控
|

SLS新版本告警入门——用户、用户组及值班组

在之前的告警中,如果想要发送通知给某个用户,那么需要配置该用户的手机号或者邮箱。如果有多个告警都需要发送给同一个用户,就需要多次配置手机号和邮箱。假如告警要发给多个人,那么就要配置多个用户的手机号和邮箱。这就存在着诸多痛点。基于以上痛点,在新版本的告警中,加入了用户和用户组的管理,并且在此基础上添加了值班组,从而可以非常方便地进行用户的管理,还能够实现高级的值班功能。

772 0
|
存储 人工智能 数据管理
|

预约报名|RAG实践营——智能数据管理专题沙龙·成都站

立即报名,抢占现场参会名额,与各位大咖面对面探讨技术创新与应用模式!

307 10
|
缓存 Linux Windows
|

初识Linux操作系统(根目录下的重要文件)(命令提示符的含义)

Linux系统基于"一切皆文件"的理念,重要文件分布在如/root(root用户目录)、/home(普通用户目录)、/etc(应用配置)、/dev(设备文件)、/boot(内核及启动文件)、/proc(动态系统信息)、/lib64(库文件)、/opt(软件存放)、/tmp(临时文件)。"[root@localhost ~]#"代表管理员在root目录,"$"代表普通用户。创建新用户用`useradd`命令。调节终端字体大小:Ctrl+Shift++增大,Ctrl+减号缩小。绝对路径从根目录开始,相对路径从当前目录开始。

537 1
|
存储 测试技术 Linux
|

存储稳定性测试与数据一致性校验工具和系统

LBA tools are very useful for testing Storage stability and verifying DATA consistency, there are much better than FIO & vdbench's verifying functions.

1748 0
|
监控
|

限制SLS告警通知时段的几种常见方法

在对系统进行监控告警的过程中,有时候并非在任何时候都要接收告警通知,本文会介绍几种常见的限制告警通知时段的方法,以及它们各自所适用的场景。

639 0
|
存储 SQL JSON
|

[SIGMOD 21 学习] 《JSON Tiles》解读: 半结构化 JSON 存算优化

本文是对 SIGMOD 2021 上《JSON Tiles: Fast Analytics on Semi-Structured Data》的学习总结,有错误之处欢迎交流。

1018 2
|
存储 SQL Prometheus
|

三款“非主流”日志查询分析产品初探

本文介绍三款 "schema-on-read" 类型日志系统。

740 0
|
SQL 存储 运维
|

基于IoT全链路实时质量-魔洛哥

通过基于IoT的全链路实时质量,业务使用狄仁杰进行全链路埋点后,可一键接入魔洛哥平台,实现终端问题的实时感知和链路分析,以及智能终端系统业务场景的全链路实时质量。整体方案接入成本低(分钟级别接入),可实现全链路的实时质量分析,以及精准的终端预警能力。帮助开发运维同学实时发现问题,快速问题的定位分析。

1072 0
我要发布