一种高性价比的数据上云方案

简介: 肯定有不少人想把本地文件方便快捷地上传到OSS吧?如果是这样,那么这个方案或许对你有用。

肯定有不少人想把本地文件方便快捷地上传到OSS吧?如果是这样,那么这个方案或许对你有用。
现实生活中,存在这样的需求:

1.上传文件到OSS
2.上传时像写本地文件一样方便
3.不占用本地存储
4.不需要从本地回读文件

虽然我们可以使用ossutil这样的工具来将文件上传至OSS,但这种“二传手”式的上传方式,不但需要本地临时提供存储空间,还多了一道中间过程。我们可以利用混合云存储网关,来实现一种高性价比的数据上云方案。之所以说“高性价比”,是因为这种方案仅需要最低配的云存储网关和最小的缓存盘即可,同时不需要占用本地的存储空间。

大家都知道,利用混合云存储网关提供的文件共享协议,本地应用可以无缝地访问云上OSS的存储空间,就像访问本地存储一样便捷。但是,混合云存储网关使用中,一个比较明显的问题就是,当文件数量很多时,存放在缓存盘中的文件的元数据会变得非常大,从而造成本地缓存盘容量不足的情况。这时,扩盘或者提升网关配置,都会增加使用成本。上述需求中的第四点“不需要从本地回读文件”是我们节省成本的一个突破口。因为不需要从本地回读文件,我们可以根据需要,及时地从本地删除以前的文件,充分利用网关提供的“忽略删除”的特性,在节省本地资源消耗的同时,还不会删除已经上传的文件。

之前我曾经写过一篇文章介绍混合云存储网关的“忽略删除”这个特性(https://developer.aliyun.com/article/743091 ),当时只是从确保文件安全性的角度考虑这个功能的重要性。后来发现,如果我们不在乎文件是否存在网关中,只要保证已经上云了,那么我们就可以在开启“忽略删除”的同时,及时删除本地文件,这样就能保证用最低配的网关和最小的缓存盘,实现了方便快捷的文件上云操作。

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
消息中间件 监控 数据可视化
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
大数据-79 Kafka 集群模式 集群监控方案 JavaAPI获取集群指标 可视化监控集群方案: jconsole、Kafka Eagle
473 2
|
8月前
|
数据采集 数据可视化 数据挖掘
基于Python的App流量大数据分析与可视化方案
基于Python的App流量大数据分析与可视化方案
|
运维 算法 数据可视化
【2021 高校大数据挑战赛-智能运维中的异常检测与趋势预测】2 方案设计与实现-Python
文章详细介绍了参加2021高校大数据挑战赛中智能运维异常检测与趋势预测任务的方案设计与Python实现,包括问题一的异常点和异常周期检测、问题二的异常预测多变量分类问题,以及问题三的多变量KPI指标预测问题的算法过程描述和代码实现。
230 0
|
存储 NoSQL 大数据
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
大数据-51 Redis 高可用方案CAP-AP 主从复制 一主一从 全量和增量同步 哨兵模式 docker-compose测试
179 3
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的题目——北京移动用户体验影响因素研究,提供了问题一的建模方案、代码实现以及相关性分析,并对问题二的建模方案进行了阐述。
328 0
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题一建模方案及代码实现详解
|
分布式计算 大数据 Hadoop
开源大数据方案有哪些
开源大数据方案有哪些
338 0
|
SQL 分布式计算 大数据
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(一)
193 0
|
大数据 流计算
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
大数据-108 Flink 快速应用案例 重回Hello WordCount!方案1批数据 方案2流数据(二)
143 0
|
机器学习/深度学习 数据采集 大数据
2022年第三届MathorCup高校数学建模挑战赛——大数据竞赛 赛道B 北京移动用户体验影响因素研究 问题二建模方案及代码实现详解
本文详细介绍了2022年第三届MathorCup高校数学建模挑战赛大数据竞赛赛道B的问题二的建模方案和Python代码实现,包括数据预处理、特征工程、模型训练以及预测结果的输出,旨在通过数据分析与建模方法帮助中国移动北京公司提升客户满意度。
284 2
|
机器学习/深度学习 数据采集 算法
【 2021 MathorCup杯大数据挑战赛 A题 二手车估价】初赛复赛总结、方案代码及论文
总结了2021 MathorCup杯大数据挑战赛A题“二手车估价”的初赛和复赛经验,包括题目要求、解题思路、所用方法和结果,提供了详细的数据分析、模型构建、论文撰写和工具使用技巧,并展示了初赛和复赛的论文。
339 2

热门文章

最新文章