基于对象存储 OSS 的智能数据分析处理框架和功能
导语
今年参加了 2019 全球闪存峰会(Flash Memory World)，分享了“基于云存储的智能数据分析处理架构”，重点介绍在对象存储 OSS 之上的数据处理功能，现整理相关内容和大家探讨。
一、通过存储技术分析，探讨为什么对象存储适合做数据分析处理
1.1 存储技术分析
纵观存储技术的发展历史，从 1957 年发明硬盘，1970 年代发明 SAN(Storage Area Netwo...
查看全文 >>
【2019 云栖大会】对象存储海量数据管理和应用最佳实践
导语
今年参加了 2019 云栖大会 下一代云存储技术与最佳实践专场，分享了 “对象存储海量数据管理和应用最佳实践” 议题，重点介绍对象存储 OSS 的架构原理、数据管理、最佳实践，现整理相关内容和大家探讨。
一、企业数据存储的挑战和需求
数据是企业的生命线，企业的数据存储也普遍面临着 3 个挑战：
数据快速增长。根据 IDC 统计全球数据量在 2020 年将高达 40,000EB ， 人均...
查看全文 >>
如何将实时计算 Flink 与自身环境打通
作者 | 张鹏（七器），阿里巴巴开发工程师
本篇内容将向大家介绍如何将实时计算 Flink 与其他系统打通。介绍内容包含四个部分，分别是：
1、Jar的存储与使用；
2、实时计算 Flink 如何与一些典型数据源进行交互；
3、如何将VVP平台上 Flink的指标打入Metrics外部系统；
4、如何将VVP平台上运行的 Flink作业日志打入到外部系统。
一、运行作业的Jar如何存...
查看全文 >>
基于OSS搭建跨区域部署的分布式Docker镜像仓库
基于OSS搭建跨区域部署的分布式Docker镜像仓库
Docker镜像是Docker的核心价值之一，Docker镜像仓库（Registry）是用于Docker镜像的管理和分发的基础设施。现在已经有了Docker Hub等多家公有镜像管理服务供应商，阿里云容器Hub服务也是您在云端的一个非常好的选择。但是有些情况，为了更加灵活的部署控制和一些管控要求，您也许会考虑在云端的部署一个私有镜像仓库。
为...
查看全文 >>
MaxCompute(ODPS)上处理非结构化数据的Best Practice
随着MaxCompute（ODPS）2.0的上线，新增的非结构化数据处理框架也推出一系列的介绍文章，包括
1、MaxCompute上如何访问OSS数据, 基本功能用法和整体介绍，侧重介绍读取OSS数据进行计算处理；
2、MaxCompute上处理非结构化数据的Best Practice。 基于非结构化框架实现原理，提供一些最佳实践总结；
3、MaxCompute访问TableStore(OTS)...
查看全文 >>
MaxCompute上如何处理非结构化数据
0. 前言
MaxCompute作为阿里云大数据平台的核心计算组件，拥有强大的计算能力，能够调度大量的节点做并行计算，同时对分布式计算中的failover，重试等均有一套行之有效的处理管理机制。 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑，在集团内外更是广为应用，在其上实现与各种数据源的互通，对于打通整个阿里云的数据生态具有重要意义。基于这一点，最近MaxCompute团...
查看全文 >>
场景化封装，一站式使用，普惠AI集成 ——阿里云发布智能媒体管理产品
一、导语
近日，阿里云发布了智能媒体管理（Intelligent Media Management）服务， 通过分布式计算处理能力关联授权的云存储，提供便捷的海量多媒体数据一键分析，并通过该分析过程构建价值元数据，更好支撑内容检索。
二、背景介绍
随着智能手机的普及、无人机的流行，业界产生了海量的图片、视频等多媒体数据；同时，网络也在飞速发展，特别是4G的推广，让这些数据的保存、分享发生了巨大的...
查看全文 >>
TAG和ResourceGroup使用介绍
TAG和ResourceGroup使用介绍
标签及资源组都是资源分组的工具，目的是为了更好的资源管理，方便后续进行分组搜索、分权、分账、分组运维等云上资源自动化管理手段。如何为资源打标签、添加资源组是资源分组管理的关键。下文就TAG和ResourceGroup使用进行介绍。
TAG使用介绍
基于TAG管理资源
基于标签批量管理资源 云栖文档
基于TAG鉴权
目前ECS RDS SLB VPC...
查看全文 >>
利用Docker和阿里云容器服务部署高可用Ghost博客集群
简介
Ghost是一个流行的开源博客平台(Open source blogging platform)，基于 Node.js 构建，博客内容默认采用 Markdown 语法书写，给用户提供一种更加纯粹的内容写作与发布平台。
Ghost的部署和运维需要一定的Web开发基础，利用Docker技术可以大大简化Ghost的部署和更新。Docker Hub上面也提供了Ghost官方镜像
使用Docker镜...
查看全文 >>
Spark in action on Kubernetes - 存储篇（一）
前言
在上篇文章中，我们分析了Spark Operator内部的机制，今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房，小到外卖打车，都可以看到通过大数据提供数据分析、数据推荐、数据决策的使用场景。大数据要想能够更准确地协助决策，需要在数据多维度、数据完备性等方面有较高要求。可预知的在未来，数据的量级会越来越大，特别是随着5G时代的到...
查看全文 >>
