开发者社区> 云存储> 技术博文

技术博文

关注

解析云端数据存储,介绍云产品的使用方法、最佳实践,并深入探讨技术原理、架构设计以及如何利用阿里云服务解决实际业务问题。

0
今日
248
内容
0
活动
57
关注
|
分布式计算 资源调度 Hadoop
|

在文件存储HDFS版上使用 Apache HBase

本文档主要介绍在文件存储HDFS版上使用 Apache HBase 的方法。

356 0
|
SQL 运维 监控
|

酷!在终端上使用命令行可视化分析日志

运维工程师在通过日志调查问题时,或者通过日志搭建监控系统时,不仅需要查看原始的日志内容,还需要把日志经多深度加工分析,例如计算每分钟的延时,每分钟的流量等等监控。这些数字指标,如果能够通过可视化的手段直观的展示出来,会更直观、有效的理解监控数据。今天我们介绍一种比较简洁、也比较酷的可视化方式,就是在终端上直接通过命令行可视化分析日志。

736 0
|
存储 弹性计算 Linux
|

企业级客户使用阿里云文件存储NAS SMB配置Home Directory服务指南

阿里云文件存储服务提供SMB/NFS/CIFS等多种文件存储协议,单文件系统可以存储海量数据,方便企业级客户在多个用户之间进行文件共享和协同合作。其中SMB协议是微软生态默认的文件共享协议,经过几十年的长期积累,具备广大的用户群,能够支持Windows、MacOS、Linux等多种客户端。阿里云NAS SMB文件存储通过支持AD域服务,可以对一个企业不同部门的不同员工创建不同的用户身份,结合ACL权限控制功能,达到企业有序可控地共享整个文件系统。

946 0
|
存储 弹性计算 监控
|

日志审计多帐号采集方案升级--资源目录集成

阿里云SLS日志服务集成阿里云资源目录服务,支持跨账号实时自动化、中心化采集阿里云产品日志。

521 0
|
存储 运维 Kubernetes
|

阿里云文件存储NAS推出回收站功能,轻松实现数据保护

阿里云文件存储通用型NAS现已经全面支持“回收站”特性。该功能适用于通用性能型和通用容量型规格。当文件系统启用该特性后,“回收站”功能可以保护和恢复误删除、误替换的数据。 文件存储NAS“回收站”和快照、备份不同,具有如下特点: 当NAS开启回收站特性后,该文件系统内文件的每次替换、删除操作,NAS都会将原文件自动保存至回收站中。回收站中的文件支持根据用户设置的策略自动清理,并可以即刻恢复至文件系统原位置。

1640 0
|
存储 消息中间件 Cloud Native
|

40年技术发展变革,物联网行业的趋势、现状与挑战

40年技术发展变革,物联网行业的趋势、现状与挑战

1445 1
|
机器学习/深度学习 运维 监控
|

使用SLS告警为你的OSS保驾护航

SLS告警作为一站式运维告警平台,也为OSS的访问提供了定制化的告警规则,用户只需要一键开启,即可完成对OSS访问指标的监控,并可以在指标出现异常时及时收到告警。本文主要介绍如何使用在OSS访问日志上开启SLS告警及配置方法。

950 0
|
SQL 存储 监控
|

Nginx Access Log 指标预聚合实践

Nginx 完成请求处理后会记录客户端请求信息到 access log。与业务请求数量成正比,access log 文件内容日积月累,占用大量磁盘的存储空间的同时,数据量增长也使分析 access log 变得困难。本文介绍一种预计算方案实现冷数据的存储优化以及分析效率提升。

797 0
|
运维 监控
|

SLS告警内置通知渠道最佳实践

为了实现全方位、多层次的告警通知,SLS告警内置了多种通知渠道,从触达强度、通知内容丰富程度等方面进行了全方位的覆盖。本文会详细介绍各个渠道的一些特点以及限制,并给出一般场景下的最佳实践。

914 0
|
监控 开发工具
|

阿里云日志服务NetCore SDK Quick Start

日志服务SLS是云原生观测与分析平台,为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能,全面提升您在研发、运维、运营、安全等场景的数字化能力。本文主要演示如何在VS2019中安装及使用SLS NetCore SDK。

3187 0
|
SQL 存储 监控
|

RDS审计日志采集方案升级--RDS审计中心发布

数据库是企业业务的数据核心,其安全方面的问题已经成为数据泄漏和被篡改的重要根源。因此,对数据库的操作行为尤其是全量 SQL 执行记录的审计日志,就显得尤为重要。

940 0
|
安全 网络安全 区块链
|

勒索病毒利如刀,上网备好技能包

网络安全已不是小说电影中遥远的黑客、间谍与烧脑幻想,而是关系到每一个人的切身利益。勒索病毒作为近年来黑客组织牟取暴利的绝佳手段,也是发展最快的网络安全威胁之一。

62477 9
|
网络协议 算法 网络性能优化
|

关于TCP协议我们需要知道的

TCP协议是OSI模型中的传输层协议,用于建立和维护两个程序间的数据交换连接,以及通过Internet发送信息。TCP协议的主要特点包括面向连接、可靠性、流控制和拥塞控制。其中,三次握手和四次挥手是建立和断开TCP连接的必要过程。此外,TCP协议还提供了流控制机制来控制数据发送方的发送速度,以避免网络拥塞问题。

807 0
|
存储 测试技术 块存储
|

阿里云块存储团队软件工程实践

文本主要介绍阿里云块存储团队同学们的踩坑经验,总结成案例和方法分享公示,实践和方法论不限于分布式系统。

151617 11
|
存储 数据采集 缓存
|

数据中台建设:千万级的瀑布式,和十万级的迭代式,你会选择哪一个?

连接1次孤岛,服务N个场景。Tapdata Live Data Platform (LDP)通过为实时数据集成增加一个高速缓存的方式,将企业核心的常用的数据实时复制到缓存层(最后一次ETL),再从缓存层为企业的多个应用场景快速提供数据, 实现一次打通,多次复用的降本增效价值。Tapdata LDP 现已入驻阿里云云市场。

16332 0
|
存储 弹性计算 分布式计算
|

SelectDB X 阿里云沙龙回顾|企业的数据存储、处理与分析之道

目前,SelectDB Cloud 已上线阿里云,通过与阿里云平台所提供的基础云服务能力深度适配,双方将共同为客户带来极致的大数据相关解决方案。

1068 0
|
存储 监控 Cloud Native
|

云存储生态构建的技术基因和最佳实践

Cloud2.0 时代,数字化转型进入深水区,需要联合所有的伙伴力量,奋楫笃行,共同打通从数字技术到具体解决业务问题的各种关节。

649 0
|
监控
|

限制SLS告警通知时段的几种常见方法

在对系统进行监控告警的过程中,有时候并非在任何时候都要接收告警通知,本文会介绍几种常见的限制告警通知时段的方法,以及它们各自所适用的场景。

609 0
|
存储 JSON 运维
|

聊聊日志硬扫描,阿里 Log Scan 的设计与实践

SLS 新推出 Scan 功能,让未索引的字段也支持搜索(硬扫描模式),节省全量索引产生的构建和存储费用,同时 Scan 的运行时计算模式对于杂乱结构的日志数据有更好的适配,帮助企业客户实现数字化增效、IT 支出降本的目标。

14417 9
|
存储 数据采集 人工智能
|

用积木讲运维,这样的IT人太会了

日志服务SLS提供数据采集、加工、分析、告警可视化与投递功能,为AIOps、大数据分析、运营服务、大数据安全等场景提供支撑,并能以搭积木的方式适配各类运维场景,辅助企业的IT决策。近日,日志服务SLS新增了两项重磅功能,有助于进一步提升研发、运维等场景数字化能力。

606 0
|
SQL 存储 运维
|

基于IoT全链路实时质量-魔洛哥

通过基于IoT的全链路实时质量,业务使用狄仁杰进行全链路埋点后,可一键接入魔洛哥平台,实现终端问题的实时感知和链路分析,以及智能终端系统业务场景的全链路实时质量。整体方案接入成本低(分钟级别接入),可实现全链路的实时质量分析,以及精准的终端预警能力。帮助开发运维同学实时发现问题,快速问题的定位分析。

1024 0
|
机器学习/深度学习 SQL 弹性计算
|

在SLS上进行异常点的绘制

对于很多流量、访问量、延时等场景,很对同学在绘制大盘时想能在指标中,体现出来异常值的位置,这就是需要在SLS的图表中支持同时在一个图表中绘制曲线并标记点。接下来,我们一步步操作下,如何绘制异常点

1477 1
|
SQL 存储 运维
|

SLS 2021年用户体验总结

本文主要作为对2021年SLS产品用户体验改进工作的总结,如您对于产品有任何的建议,可以通过文末的用户体验调研问卷向我们反馈。

710 1
|
文件存储 Windows
|

阿里云文件系统NAS SMB如何修改根目录权限

阿里云文件系统服务SMB文件系统(NAS SMB)在没有打开SMB ACL功能时,只支持只读操作,无法修改根目录权限。 在参考《将阿里云SMB协议文件系统挂载点接入AD域》https://help.aliyun.com/document_detail/154930.html,打开SMB ACL功能之后,用户即可修改根目录权限。

986 0

阿里云文件系统SMB ACL超级用户功能使用指南

阿里云文件系统对于SMB文件系统提供了SMB ACL超级用户功能,可以方便客户在无需改变目录权限的情况下查看和修改任何目录或者任何文件。方便文件系统的管理员进行管理。 以下介绍两个适用SMB ACL超级用户功能的案例,方便用户模仿使用。

547 0
|
存储 对象存储 消息中间件
|

SLS 数据投递 OSS 文章专栏

SLS 投递 OSS 功能介绍、使用帮助、场景实践合集

469 0
|
Kubernetes 监控 开发工具
|

iLogtail使用入门-K8S环境日志采集到SLS

iLogtail是阿里云中简单日志服务又名“SLS”的采集部分。 它用于收集遥测数据,例如日志、跟踪和指标,目前已经正式开源(https://github.com/alibaba/ilogtail)。本文通过介绍ilogtail如何在K8S环境进行安装、配置、使用的最简流程,帮助用户使用预编译版本快速上手ilogtail日志采集。

2681 1
|
数据采集 运维 监控
|

Alibaba Cloud Toolkit 中SLS插件助力线上服务问题排查

Alibaba Cloud Toolkit 是一款非常优秀的插件,新增SLS日志服务的功能,针对软件开发者日常工作中常见的问题排查场景,将日志服务平台的功能集成到ide当中,省去了不同窗口之间来回切换的时间,大大提高了日常工作的效率

743 0
|
SQL 分布式计算 资源调度
|

在文件存储HDFS版上使用 CDH6

本文档介绍如何将CDH6中本地HDFS数据迁移到文件存储HDFS版,并配置CDH上的HDFS服务、Hive服务、Spark服务、HBase服务使用文件存储HDFS版,实现存储计算分离。

769 0
|
存储 运维 监控
|

Redis Lens 隆重推出:轻松直观的洞察Redis状态

Redis Lens提供集中式Redis实例资产视图,可方便快捷获取数据库的运行日志、慢日志以及审计日志的监控与分析

351 0
|
存储 Prometheus 监控
|

打造Java可观测性的5个关键步骤

伴随云原生和微服务的普及,可观测性设计基本上是作为一个线上业务服务必备的基础能力。这篇文章我将介绍天罡项目围绕可观测性的三大支柱:日志,指标以及链路追踪所做的可观测性设计和实践,以及项目中实施可观测性的5个关键步骤。

1089 0
|
存储 运维 Prometheus
|

SLS告警管理中心App重磅发布!

SLS发布了一款日志应用:告警管理中心;告警管理中心是一套以业务为中心告警管理运维平台,企业可以将同时将已有的监控告警平台如Zabbix,Prometheus,Datadog等产生的告警和SLS上的Project/Logstore等资源产生的告警添加到告警运维运维中心进行统一的告警管理和通知配置,将相关业务的告警收敛到一个地方进行运维管理,可以有效的提高运维效率。

954 0
|
运维 监控 数据可视化
|

阿里云服务网格ASM集成SLS告警

随着微服务的流行,微服务的架构也在不断的发展演进,Spring Cloud 与 Dubbo为代表的微服务开发框架也得到了普及和落地;在云原生时代,无侵入的服务网格(Service Mesh)开始走向成熟,相对于传统微服务架构,服务网格具有可观察性、流量控制、安全性三大优势。服务网格将之前服务治理中的复杂性从应用中分离出来,将这些复杂性放到了服务代理中,包括流量控制,断路,服务发现,安全性,可观测性等;开发时应用只需要关心业务功能实现,让责任划分变得更加清楚。

685 0
|
存储 数据采集 弹性计算
|

块存储监控与服务压测调优利器-EBS Lens发布

SLS团队联合EBS团队发布了EBS Lens,针对块存储提供数据分析、资源监控的功能,可以帮助用户获取云上块存储资源信息与性能监控数据、提升云上块存储资源的管理效率、高效分析业务波动与资源性能消耗情况。

2092 0
|
存储 SQL 运维
|

基于ScheduledSQL实现K8S集群指标预计算

随着云原生的普及,各家公司都通过K8S实现了服务的容器化,极大的简化了开发运维人员的工作,是目前最为常用的基础服务。同时,K8S集群中的各项基础服务能够通过metrics接口导出Prometheus格式的多种指标,方便观察当前系统状态,及时发现问题。用户将K8S集群指标采集到日志服务SLS时序存储之后,可以随时查看系统历史及当前指标,还可以通过SLS内置仪表盘或者Grafana构建监控大盘,方便观察系统情况。但是随着系统规模以及负载成倍增加,复杂的指标查询以及监控大盘的渲染开始变慢,进而影响操作体验。

450 0
|
存储 SQL Prometheus
|

基于访问日志实现OSS监控

对象存储OSS是阿里云提供的云存储服务,能够以低成本为用户提供高可靠性的海量数据存储服务。作为基础服务,用户需要时刻关注OSS的使用状况,检测异常状态,从而及时作出响应。

1079 0
|
SQL 存储 监控
|

ScheduledSQL告警配置

为了方便用户观察Scheduled SQL任务的执行情况,日志服务为Scheduled SQL增加了告警功能,本文主要向用户介绍如何开启Scheduled SQL告警,以及追踪任务的执行情况,方便用户及时发现异常情况。

459 0
|
SQL 存储 监控
|

基于Scheduled SQL的log4j日志异常事件过滤与分析

采用SLS提供的Scheduled SQL功能,对log4j ERROR日志进行处理并制作可视化报表

660 0
|
Prometheus 监控 Cloud Native
|

5分钟理解SLS告警通知时机

SLS告警支持丰富的告警管理功能,例如合并抑制静默等功能,跟SLS旧版告警相比增加了很多告警降噪抑制的功能,和用户管理,值班组和可定制复用的内容模板功能。在使用的过程中,因为增加了告警的降噪功能,从告警产生到发送通知这个过程增加了一个告警降噪的过程;因为降噪机制的存在,可能会出现告警触发但不一定会立即发出通知的情况。了解SLS告警通知时机将有助于理解这些情况。

1081 0
|
弹性计算 运维 Unix
|

NAS一键挂载介绍

一键挂载支持在NAS控制台查询、挂载和卸载NFS协议文件系统,自动适配Linux版本,应用最佳挂载参数。无须命令行操作,用图形化界面即可轻松管理NFS协议文件系统的挂载状态。

1504 0
|
8月前
|
人工智能 5G 定位技术
|

如何使用基站查询API帮你解析地理位置?

随着“新基建”战略推进,我国已建成全球领先的移动通信网络。基于基站数据的LBS定位服务成为各行业数字化转型的重要工具。探数平台基站查询API整合三大运营商数据,提供高精度、低延迟的地理位置查询服务,广泛应用于位置推荐、物流追踪等领域。本文详细介绍该API的核心功能、返回字段及调用流程,并通过Python示例展示使用方法。未来,随着5G和AI技术发展,基站定位将迈向厘米级精度,赋能自动驾驶、工业物联网等前沿领域,助力开发者抢占位置经济的战略高地。

2107 1
|
8月前
|
API 开发者 Python
|

ISBN 数据查询 API :掌管书海信息的钥匙 如何调用?

探数平台的ISBN数据查询_专业版API致力于解决高校教辅书籍管理与交易中的痛点。通过输入13位ISBN编码,用户可快速获取图书名称、出版社、作者等20+维度信息,确保正版与版本准确性。该API包含图书基础信息查询和版本对比功能,适用于二手书交易、图书馆管理及电商场景。文档详细解析了ISBN编码规则、接口调用流程及Python示例代码,助力开发者高效集成,推动图书管理数字化升级。

925 0
|
存储 人工智能 安全
|

OSS 深度解析:Data + AI 时代的对象存储

在 Data + AI 时代,随着大数据分析和 AI/ML 工作负载的进一步融合,对象存储 OSS 作为面向 AI 时代的数据基础设施,迎来了新的挑战与创新机遇。本话题我们将会介绍对象存储的能力创新,深度解读对象存储在实现稳定、安全、高性能和低成本背后的技术进展,并展望未来 AI 驱动趋势下的技术发展方向。

1905 2
|
存储 人工智能 安全
|

CPFS深度解析:并行文件存储加速AI创新

在生成式AI的大潮中,并行文件系统作为高性能数据底座,为AI算力提供高吞吐、低延迟的数据存储服务。在本话题中,我们将介绍阿里云并行文件存储CPFS针对AI智算场景而提供的产品能力演进与更新,深入讲解在性能、成本、稳定、安全等方面的技术创新。

1264 0
|
存储 Cloud Native 块存储
|

EBS深度解析:云原生时代企业级块存储

企业上云的策略,从 Cloud-Hosting 转向 Serverless 架构。块存储作为企业应用上云的核心存储产品,将通过 Serverless 化来加速新的计算范式全面落地。在本话题中,我们将会介绍阿里云块存储企业级能力的创新,深入解析背后的技术细节,分享对未来趋势的判断。

1010 3
我要发布