|
存储 弹性计算 大数据
|

阿里云文件存储(NAS)助力业务系统承载双十一尖峰流量

2018天猫双11,阿里云文件存储支撑了关键业务的消息系统存储,在应对几十倍于平时的大流量时,系统表现稳定,帮助业务系统完美度过尖峰流量的考验。本文将介绍阿里云文件存储的背景,以及文件存储是如何来保障业务系统应对高压力的。

2942 0
|
监控 应用服务中间件 Docker
|

面向容器日志的技术实践

本文以 Docker 为例,依托阿里云日志服务团队在日志领域深耕多年积累下的丰富经验,介绍容器日志处理的一般方法和最佳实践。

6506 0
|
存储 对象存储 Python
|

ossutil发布1.4.2版本,支持上传或复制文件目录指定存储类型,支持访问请求者付费模式的Bucket

ossutil发布1.4.2版本,支持上传、复制文件或目录时指定存储类型,支持访问请求者付费模式的Bucket,上传或下载文件时显示传输速度

3768 0
|
消息中间件 API Python
|

IMM 服务(智能媒体管理)通过 MNS 队列通知获取异步任务执行结果--Python示例

IMM服务(智能媒体管理)的 API 提供异步接口能力,处理大文件的文档转码、图像或者视频的 AI 处理,此时采用轮训的方式(比如文档转码的 GetOfficeConversionTask接口)效率不高,通过 MNS 队列通知获取异步任务执行结果是一种高效的方式,转载文章提供了 Python 示例,供大家参考。

1747 0
|
SQL 机器学习/深度学习 运维
|

SLS机器学习最佳实战:时序异常检测和报警

日志服务团队具备强大的日志采集功能,针对建立索引的日志进行快速的查询和分析能力。基于此,我们团队将时序数据分析功能整合到日志服务中去,结合更加强大的告警功能,帮助用户根据自己的业务需求,快速的构建报警规则,提高效率。

9733 0
|
资源调度 运维 监控
|

SLS机器学习介绍(03):时序异常检测建模

虽然计算机软硬件的快速发展已经极大提高了应用程序的可靠性,但是在大型集群中仍然存在大量的软件错误和硬件故障。系统要求7x24小时不间断运行,因此,对这些系统进行持续监控至关重要。这就要求我们就被从系统中持续采集系统运行日志,业务运行日志的能力,并能快速的分析和监控当前状态曲线的异常,一旦发现异常,能第一时间将信息送到相关人员手中。

23874 0
|
存储 NoSQL 开发工具
|

基于Tablestore实现海量摩托车轨迹管理

基于TableStore轻松实现亿量级轨迹管理与地理围栏

7061 0
|
存储 NoSQL 开发工具
|

基于Tablestore多元索引打造亿量级店铺搜索系统

如何使用TableStore打造店铺搜索系统

9243 0
|
弹性计算 安全 JavaScript
|

【最佳实践】用户Bucket如何防御DDOS攻击?

第一章:OSS沙箱说明   阿里云OSS不承担网络攻击的防护义务。如果用户的Bucket正在遭受攻击或者有受攻击的风险,OSS会自动将被攻击的Bucket切入到沙箱。沙箱中的Bucket仍然可以正常响应请求,但是用户有可能明显感受到该Bucket服务质量的下降。

4210 0
|
存储 分布式计算 大数据
|

OSS Select应用实践与使用技巧系列

OSS Select,让用户可以直接使用SQL语句,从OSS文件中选取所需要的内容,而不必读取整个文件的内容。企业级用户使用OSS Select,可将查询条件下推到OSS,为计算应用加速,更好地发挥数据的价值。

7429 0
|
监控 应用服务中间件
|

批量导入历史文件到日志服务

1814 0
|
Web App开发 API
|

智能媒体管理(IMM)文档转换/预览提供 API 按量计费模式

智能媒体管理 (Intelligent Media Management, IMM) 是阿里云的云服务,它通过 文档标准型 实例提供了 Cloud Native 架构的文档转换/预览功能 ,本文介绍 API 按量计费模式的配置。

3369 0
|
存储 弹性计算
|

开箱即用的ECS文件备份来了!

混合云备份是一种简单可靠且经济实惠的在线备份方案。为了让用户更方便的对阿里云ECS作文件备份,混合云备份现推出了ECS文件备份的集中管控功能。用户登陆混合云备份控制台后,只需要三步,就可以走完ECS文件备份/还原的整个流程。

5167 0
|
机器学习/深度学习 运维 算法
|

SLS机器学习介绍(02):时序聚类建模

在大型互联网企业中,对海量KPI(关键性能指标)进行监控和异常检测是确保服务质量和可靠性的重要手段。基于互联网的服务型企业(如线上购物、社交网络、搜索引擎等)通过监控各种系统及应用的数以万计的KPI(如CPU利用率、每秒请求量等)来确保服务可靠性。

11489 0
|
SQL 分布式计算 对象存储
|

Spark读写OSS并使用OSS Select来加速查询

Spark读写OSS 基于这篇文章搭建的CDH6以及配置,我们来使Spark能够读写OSS(其他版本的Spark都是类似的做法,不再赘述)。 由于默认Spark并没有将OSS的支持包放到它的CLASSPATH里面,所以我们需要执行如下命令下面的步骤需要在所有的CDH节点执行 进入到$CDH_HO.

4740 0
|
SQL 监控 大数据
|

OSS Select使用场景及技巧

背景介绍 OSS Select是OSS近期推出的一项新功能,它可以对OSS上的类CSV文件(其他类型文件比如Json也会很快推出)在服务器端运行SQL查询,仅将查询结果返回给客户端。举例来说,假如你有一个10GB的csv日志文件,有一列数据是错误码,想把其中所有错误码等于500的日志找出来,用OSS Select仅仅返回错误码是500的日志,在从而降低用户的数据传输成本以及处理数据的成本,相比在客户端下载整个文件再处理在性能上也可以提高最多到6倍以上。

16459 0
|
存储 API 对象存储
|

OSS新特性:支持文件上传、复制时,指定Object的存储类型以及修改已有文件的存储类型

用户在上传、复制文件时,可灵活地指定文件的存储类型为Standard、IA、Archive;用户也可以修改实时修改文件的存储类型,比如从低频型(IA)修改为标准型。

5828 0
|
存储 弹性计算 Linux
|

配置云存储网关在线服务支持多个互联VPC-云企业网

1     概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备,将现有的存储应用程序和工作负载链接阿里云存储服务,无缝对接阿里云的存储和计算服务。

1798 0
|
存储 弹性计算 安全
|

配置云存储网关在线服务支持多个互联VPC-高速通道版

1     概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备,将现有的存储应用程序和工作负载链接阿里云存储服务,无缝对接阿里云的存储和计算服务。

1637 0
|
开发工具 Python
|

【转载】智能媒体管理(IMM) Python SDK DEMO

本文针对智能媒体管理的文档转码、图片内容识别、人脸检测、二维码识别、人脸聚类等功能,提供了 Python 的 SDK 使用 DEMO,希望通过这些实例能够尽快帮助使用文档、图片的智能管理能力。

1701 0
|
SQL 分布式计算 大数据
|

使用Apache Impala(CDH6)查询OSS的数据

CDH6 目前CDH的最新版本是6.0.1,支持Hadoop 3.0.0,本文将介绍如何使CDH6的相关组件(Hadoop/Hive/Spark/Impala等)能够读写OSS。CDH5对OSS的支持在这篇文章介绍。

5065 0
|
机器学习/深度学习 运维 监控
|

SLS机器学习介绍(01):时序统计建模

时序数据是业务监控中最多方法,双十一大盘、业务监控系统、系统性能平台等都可以看到他的身影。为了更好的在日志服务平台中,针对时序数据进行进行较好的分析和交互,本团队针对单时序数据数据的各种场景,开发了相应的时序数据处理算法,可直接嵌入在标准的MySQL语法中使用,降低了用户对这类算法的使用难度,提供更好的服务。

16487 0
|
分布式计算 Hadoop Shell
|

CDH5 Hadoop如何支持读写OSS

CDH和CM(Cloudera Manager) CDH (Cloudera’s Distribution, including Apache Hadoop)是众多Hadoop发行版本中的一种,由Cloudera维护,目前有不少用户使用这个发行版本。

3916 0
|
分布式计算 大数据 Hadoop
|

HDP2.6 Hadoop如何支持读写OSS

HDP和Ambari HDP(Hortonworks Data Platform)是由Hortonworks发行的大数据平台,里面包含了Hadoop、Hive、HBase等很多开源组件,目前有不少用户直接使用HDP版本的Hadoop。

3846 0
|
弹性计算 应用服务中间件 nginx
|

【最佳实践】如何搭建反向代理服务访问OSS资源?

1.当前存在的问题 无法通过固定的IP方式访问OSS:阿里云OSS通过Restful API方式对外提供服务。最终用户通过OSS默认域名或者绑定的自定义域名方式访问(例如:https://your_bucketname.oss-cn-hangzhou.aliyuncs.com/your_object ) 。

8574 0
|
存储 弹性计算 Linux
|

通过Classiclink联通经典网络和云存储网关在线服务

1.概述 云存储网关是一款帮助客户在现有本地应用程序、基础设施和数据存储与阿里云之间实现无缝集成的存储服务。通过可在本地和云上部署的兼容行业标准存储协议的虚拟设备将现有的存储应用程序和工作负载链接阿里云存储服务无缝对接阿里云的存储和计算服务。

2439 0
|
弹性计算 JavaScript 测试技术
|

【最佳实践】如何通过OSSimport工具将线下数据迁移至金融云OSS?

1. 当前存在的问题: 金融云由于等保要求,不能直接将闪电立方设备寄送到金融云机房。因此,我们还不能通过闪电立方的方式直接迁移数据至金融云OSS。但是金融云提供了另外一种类型的Bucket-金融云公网Bucket。

1947 0
|
安全 算法 API
|

【最佳实践】使用BYOK密钥加密OSS中对象

1. 服务端加密介绍 使用服务器端加密方式保护静态数据,即OSS将用户数据写入数据中心内的磁盘时,会在对象级别加密数据,并且在访问这些数据时自动解密。用户只需要验证请求是否拥有访问权限。当前OSS支持如下两种服务端加密方式(注意:您不能对同一对象同时应用两种不同类型的服务器端加密方式): 使用由OSS完全托管的服务端加密功能:数据加密密钥的生成和管理,由OSS负责,并采用高强度、多因素的安全措施进行保护。

3776 0
|
Web App开发 JavaScript
|

【转载文章】智能媒体管理文档预览快速搭建 NodeJS 教程

针对智能媒体管理产品文档预览功能,提供 NodeJS 的端到端快速搭建教程,同时官网提供了视频。

1164 0
|
存储
|

混合云备份服务搜索功能

背景 为了方便用户快速从大量历史备份中找到想要恢复的文件,混合云备份服务于近日发布了搜索功能。通过搜索功能,用户可以根据备份文件的文件名及其他一些元数据快速、准确地找到备份中的特定文件,并一键恢复到本地。

1279 0
|
API PHP
|

[ 转载文章 ] 智能媒体管理(IMM)人脸分组PHP DEMO

智能媒体管理产品, PHP 语言人脸分组 DEMO

1376 0
|
存储 监控 Serverless
|

Serverless下日志采集、存储、分析实践

本文重点介绍了Serverless的发展以及这个浪潮下日志所扮演的角色,并通过阿里云日志服务提供的实时采集、可靠存储、交互式分析能力,为用户搭建Serverless应用日志处理架构提供了两个实践参考。

9295 0
|
存储 NoSQL 关系型数据库
|

基于Tablestore打造亿量级订单管理解决方案

一、方案背景 订单系统存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个非常广泛、通用的系统。对于这类系统,在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大。

19216 0
|
PHP 对象存储
|

智能媒体管理(IMM)人脸分组PHP DEMO

智能媒体管理(IMM)提供了高效、准确的人脸识别、人脸分组等相关功能。通过简单的API调用即可实现。以下给出一个PHP的DEMO供参考。

2048 0
|
监控 容器 Perl
|

Kubernetes日志采集Sidecar模式介绍

DaemonSet和Sidecar模式各有优缺点,目前没有哪种方式可以适用于所有场景。因此我们阿里云日志服务同时支持了DaemonSet以及Sidecar两种方式,并对每种方式进行了一些额外的改进,更加适用于K8S下的动态场景。

20832 0
|
存储 机器学习/深度学习 文件存储
|

阿里云深度学习存储解决方案

8908 0
|
Web App开发 大数据
|

CLI使用案例9:Shard不够?使用CLI一行命令搞定配置

shard数量不够?现在CLI支持一行命令就可以将目标shard均匀分裂为期望的shard数量了。

2134 0
|
Web App开发 JSON 数据格式
|

CLI使用案例8:使用CLI了解基础资源使用状况

想要知道日志服务一些重要资源的使用状况?例如: 1. 一个Project的总shard数量是否已经超过了200个限制? 2. Logtail配置、机器组、报表数等是否快要满了? 现在使用CLI一行命令即可实现!

1640 0
|
存储 监控
|

态势感知日志分析 - 一行命令导出日志

本篇介绍如何,使用命令行工具一行命令导出态势感知日志

3656 0
|
监控 安全 网络协议
|

一图胜千言 - 查看态势感知日志分析内置9大报表

本篇介绍如何使用态势感知数据分析的内置报表功能: - 告警中心 - 漏洞中心 - 基线中心 - 登录中心 - 进程中心 - 网络连接中心 - DNS访问中心 - Web访问中心 - 主机对外Http 网络会话中心

3430 0
|
监控 网络协议 安全
|

一键开启态势感知日志实时收集:安全、网络、主机三大类14种日志

本篇介绍如何一键开启态势感知日志实时收集:安全、网络、主机三大类14种日志,以及具体的相关日志的位置、字段信息等

4577 0
|
新零售 监控 安全
|

态势感知大数据安全重要一环,实时日志分析上线!

态势感知日志服务实时日志分析即将上线!为客户提供更好符合法规的日志管理、安全防护与业务分析能力: * 快速:安全与主机日志分析从十几分钟级提升为秒级,网络日志从几小时级提升为1小时级别 * 全面:覆盖网络、主机、安全三大类共14种子类日志 * 开放:与阿里云、开源生态下流计算、大数据系统融合,.

4104 0
|
存储 安全 API
|

智能媒体管理产品“文档标准型”使用介绍

智能媒体管理(Intelligent Media Management, IMM) 是阿里云的云服务,它通过 文档标准型 实例提供了 Cloud Native 架构的文档转换/预览功能,本文介绍功能使用、计费相关的配置。

2538 0
|
网络协议 开发工具 对象存储
|

OSS正式支持IPv6公测

6月20日阿里云宣布全面支持IPv6, 随后阿里云开放对象存储OSS也逐步开始向用户公测,本周主要介绍如何在OSS上测试IPv6。

3747 0
|
新零售 存储 关系型数据库
|

基于TableStore的海量电商订单元数据管理

# 一、背景 订单系统存在于各行各业,如电商订单、银行流水、运营商话费账单等,是一个非常广泛、通用的系统。对于这类系统,在过去十几年发展中已经形成了经典的做法。但是随着互联网的发展,以及各企业对数据的重视,需要存储和持久化的订单量越来越大。

5098 0
|
存储 Java 物联网
|

基于TableStore的物联网元数据管理

# 背景 常见的企业级无线接入方案有两种,分别被称作廋AP和胖AP。瘦AP(AC+AP)架构为比较传统的企业级无线接入方案,主要优点就是漫游体验好,但是AC宕机的话会导致所属的AP全部无法工作。对于大型的办公场所,漫游的需求相对较弱,新型的胖AP(无AC,不会因为AC宕机导致网络不可用)+ 云端控制器架构成为了新兴的一种企业无线接入方案,运维人员通过云端对AP进行监控与管理。

4276 0
|
存储 自然语言处理 NoSQL
|

表格存储如何在控制台使用多元索引(SearchIndex)功能

# 背景: 多元索引(SearchIndex)是TableStore 2018年重点打造的核心能力,目的是为在线数据平台(TableStore)提供丰富的查询能力, 目前提供了多种索引能力,包括倒排索引、多维空间索引等。

3115 0
|
存储 数据可视化 BI
|

基于OSS+DataLakeAnalytics+QuickBI的Serverless的查询分析和可视化BI

数据存储在OSS后,可以有多种方式查询分析OSS数据,如自建Spark/Presto/Impala(阿里云EMR以及Hadoop社区官方已支持OSS), 使用MaxCompute、DataLakeAnalytics等。

4164 0

云存储

阿里云存储基于飞天盘古2.0分布式存储系统,产品多种多样,充分满足用户数据存储和迁移上云需求。

0
今日
8314
内容
45
活动
195709
关注
你好!
登录掌握更多精彩内容

活跃用户

相关产品

  • 对象存储
  • 日志服务
  • 文件存储 NAS