技术博文

本文档主要介绍如何在挂载文件存储HDFS版的 Hadoop 集群上安装及使用 Spark。

阿里云日志服务（SLS）提供了Log，Metric，Trace等三种数据快速接入的能力，同时也提供了丰富的分析功能和可定制化的Dashboard的能力，客户可以利用SLS快速的搭建可观测性平台，让用户更加关注于分析，降低用户接入各类数据的门槛。本文主要讲述应用接入SLS Trace服务后，针对各种场景化如何配置告警。

非常有幸参加了QCon上海站的可观测分会场，并和大家分享阿里在可观测性数据引擎的一些思考和技术实践，本文主要是对于分享的文字整理。

零信任策略下云上安全信息与事件管理最佳实践

日志服务（Log Service，简称 SLS） 是阿里云提供的行业领先的日志大数据解决方案，一站式提供数据收集、清洗、分析、可视化、告警等功能。智能查询分析是数据中台重要的一环，SLS支持秒级查询10亿到千亿级别的日志数据，为万级开发者提供每日百亿级的查询服务。SLS查询语句是日志服务的专有语法，为了帮助用户简单、快速地构建查询语句，降低用户的学习成本，SLS推出了查询辅助输入（Query Builder）功能，让用户无需关注语法细节也可完成查询。

SLS团队联合EBS团队发布了EBS Lens，针对块存储提供数据分析、资源监控的功能，可以帮助用户获取云上块存储资源信息与性能监控数据、提升云上块存储资源的管理效率、高效分析业务波动与资源性能消耗情况。

阿里云日志服务致力于为用户提供统一的可观测性平台，同时支持日志、时序以及Trace数据的查询存储。用户可以基于收集到的各类数据构建统一的监控以及业务大盘，从而及时发现系统异常，感知业务趋势。但是随着收集到的数据量不断增长，特别是遇到业务峰值的时候，大盘报表展示会产生明显的延迟，无法及时查看重要数据。Scheduled SQL支持定时分析数据、存储聚合数据、投影与过滤数据，并将执行的分析结果存入用户指定的日志库或者时序库中，供用户后续分析使用。由于在聚合后数据量将大大小于之前，因而非常适合进行即时数据分析以及大盘展示。

阿里云文件存储CPFS现已支持“数据流动”特性。该功能适用于2021年9月29日以后建立的CPFS文件系统。当文件系统启用该特性后，“数据流动”功能可以实现将对象存储OSS的bucket中的数据合并入CPFS进行统一命名空间的元数据管理。用户可以手动或者通过自动Lazy-load能力，将OSS中的数据复制到CPFS中，实现通过POSIX文件接口高速访问OSS中的数据，在保持数据在OSS中低成本存储的同时，获得高性能文件访问能力，满足云上自动驾驶、机器学习、HPC等大数据计算场景的需求。

本文主要从日志审计的角度解读《网络安全法》、《数据安全法》、《等保2.0》等，介绍新数字经济时代，企业用户应如何加强网络安全管理和数据安全治理，全方位地守护企业云上资产及数据安全。

阿里云 ESSD 为云服务器 ECS 提供低时延、持久性和高可靠的块存储服务，成为云厂商全闪块存储的业界标杆。存储团队推出了 ESSD Auto PL 新的云盘规格，把性能与容量解耦，提供 IO 性能按需供给两大关键特性。AutoPL 具备的灵活性和弹性能力降低了 IT 规模规划难度和因规划不当带来的风险，本文详细介绍了Auto PL 新产品特性、揭秘背后的技术原理。

在大数据时代，数据就是企业的核心资产，是企业的生命线。在现实世界中，灾难时有发生，当发生灾难时，容灾能力成为企业能否生存的关键。云上容灾服务，通常称为 DRaaS（灾难恢复即服务）不但能够省去自建容灾中心的开销，还能节省后续运维成本，帮助客户快速建立起跨地域的容灾方案，即买即用，随时释放的特性也为用户提供了极大的弹性。本文介绍了云上容灾产品形态，企业可结合自身特点选择合适的容灾方案，针对异步复制产品解析了传统容灾与云上容灾的技术架构。阿里云块存储也结合自身架构特点实现了块存储的异步复制产品。

当前 NVMe 云盘结合了业界最先进的软硬件技术，在云存储市场，首创性同时实现了 NVMe 协议 + 共享访问 + IO Fencing 技术。它在 ESSD 之上获得了高可靠、高可用、高性能，同时基于 NVMe 协议实现了丰富的企业特性，如多重挂载、IO Fencing、加密、离线扩容、原生快照、异步复制等功能。本文详细介绍了云上SAN和NVMe的发展历程，并做出了对未来的构想

本文描述了阿里云块存储快照服务基于高性能 ESSD 云盘提升快照服务性能，提供轻量、实时的用户体验及揭秘背后的技术原理。依据行业发展及云上数据保护场景，为企业用户及备份厂商提供基于快照高级特性的数据保护的技术方案，满足云上用户数据保护的迫切需求，保障云上企业业务连续性。

对象存储OSS是阿里云提供的云存储服务，能够以低成本为用户提供高可靠性的海量数据存储服务。作为基础服务，用户需要时刻关注OSS的使用状况，检测异常状态，从而及时作出响应。

运维工程师在通过日志调查问题时，或者通过日志搭建监控系统时，不仅需要查看原始的日志内容，还需要把日志经多深度加工分析，例如计算每分钟的延时，每分钟的流量等等监控。这些数字指标，如果能够通过可视化的手段直观的展示出来，会更直观、有效的理解监控数据。今天我们介绍一种比较简洁、也比较酷的可视化方式，就是在终端上直接通过命令行可视化分析日志。

为了方便用户观察Scheduled SQL任务的执行情况，日志服务为Scheduled SQL增加了告警功能，本文主要向用户介绍如何开启Scheduled SQL告警，以及追踪任务的执行情况，方便用户及时发现异常情况。

将企业级存储和云的特点进行完美的融合是云上企业级存储的目标，它打开存储更多新的维度，在保障用户业务永续的同时，帮助用户更好的进行业务创新。本文属ESSD技术解读的总篇，总体介绍ESSD 云盘创新融合了云和企业级存储的特性，以服务为中心，为用户提供了更便捷、更智能的存储服务体验。

CDS-SLS 作为云化的日志平台，将组件进行高内聚低耦合，线下用户最低可以在6台规模的机器上将上述所有的功能自动化部署，在运维、运营、财务管理、数据分析报表等大数据场景领域以低代码模式有效解决传统软件中的痛点。本文主要进行 CDS-SLS 各功能点概览性的介绍。

全新发布的云定义存储 CDS 和传统的存储阵列、分布式存储、软件定义存储的区别在哪里？阿里云存储团队如何看待将来存储的发展趋势？本文邀请了 CDS 研发团队的核心技术负责人为大家揭开围绕着阿里云 CDS 的种种谜团。

本文主要阐述 CDS 产品中 OSS 服务在容灾方面的部署形态以及实现的其本原理。 容灾功能可以保证用户一份数据在多个地方存在冗余备份，当某个机房出现极端异常（比如物理损毁）情况下，数据也不会出现丢失；也可以保障当某个机房出现不可用（比如断电）时，用户向外提供的功能也基本不受影响。

本文介绍如何基于SLS平台与日志审计构建Cloud SIEM方案。

详解开源数据库审计平台Yearning

Kafka 以消息存储系统在业界闻名，近几年来 Confluent 公司对 on Kafka 流式计算场景又先后推出了 Kafka Streams（流计算）、ksqlDB（基于 Kafka Streams 的类分析型 DB 系统）。笔者对发表在 SIGMOD 2021 上的论文《Consistency and Completeness: Rethinking Distributed Stream Processing in Apache Kafka》做一些总结，梳理 Kafka Streams 在流处理场景上的设计思路。

除了在SLS控制台创建告警监控以外，SLS的SDK也提供了对告警的管理功能，其中主要包括了初始化告警资源，告警监控规则的增删改查，告警资源的增删改查等功能。

本文主要介绍Jaeger最新的插件化后端的接口以及开发方法，让大家能够一步步的根据文章完成一个Jaeger插件的开发。此外SLS也推出了对于Jaeger的支持，欢迎大家试用。

AES加密解密

Loki是受Prometheus启发的水平可扩展、高可用、多租户日志聚合系统。用户既可以将Loki告警直接接入SLS开放告警，也可以先将Loki接入Grafana或Alert Manager，再借助Grafana或Alert Manager实现Loki间接接入SLS开放告警。

NAS SMB ACL的系列文章详细叙述了如何安装并启用AD域服务与DNS服务，将阿里云SMB协议文件系统挂载点接入AD域，将Windows客户端加入AD域，Windows客户端以AD域用户身份挂载并使用阿里云SMB协议文件系统。 即便我们提供了多篇文章尽力描述清楚整个NAS SMB ACL的配置步骤，但是复杂的流程仍然给用户造成了困扰。为了让配置更加简单，我们开发了NAS SMB ACL自动配置和自动检查脚本，将复杂的步骤尽量压缩在数个Powershell命令中。 注意：该Powershell每次运行一条修改命令，会弹出确认框，需要手动确认要执行的命令。

Prometheus作为监控告警的事实标准，提供了标准的指标采集、数据查询以及告警管理开源方案。但是同时在短信、语音、微信等告警通知渠道，告警管理的便捷方面都有缺陷。阿里云日志服务SLS致力于为用户提供统一的可观测性平台，为用户提供了企业级的AlertManager服务，解决客户在告警管理工作中遇到的问题。

一键挂载支持在NAS控制台查询、挂载和卸载NFS协议文件系统，自动适配Linux版本，应用最佳挂载参数。无须命令行操作，用图形化界面即可轻松管理NFS协议文件系统的挂载状态。

Alert Manager是开源监控系统Prometheus中用于处理告警信息的服务，通过将日志服务开放告警配置为Alert Manager中的一个Receiver，可以将Alert Manager产生的告警消息发送到日志服务。