aws S3使用总结

本文涉及的产品
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
全局流量管理 GTM,标准版 1个月
云解析 DNS,旗舰版 1个月
简介:

 最近公司要上海外项目,要用到亚马逊。可把我折腾的够呛。好多坑。不得不说亚马逊的东西挺好最起码服务器性能比阿里云强多了。但在人性化这一点做的不如阿里。反正是各有千秋

  这里说一下我的案例:要把图片cdn上的图片传到S3。这里我试了很多方法。把cdn的图片下载到本地通过挂载s3来cp,效果不是很好,官方也不建议这么做。s3cmd,s3的一个命令行工具。在文件数量很多的情况下很耗费资源。分析了下原因是什么导致的。经过网友的一番提点,觉得可能是他默认传输走的是外网。结果用traceroute解析了下还真是。这可是把我折磨够呛。

  解决方法:在数据量很大的情况下,用s3cmd. s3fs 或者是aws 自带的工具传输数据,都不如内网传输效率要快。EC2 传数据到S3存储。默认走的是外网,如果想要走内网传输需要创建VPC终端节点。这里写一下他的教程

1.打开VPC控制台

wKioL1iAXsWTkPkHAABMcd5-HBc839.png

2.选择终端节点

wKioL1iAXxuTMA7XAACV8xOOy4k663.png

VPC这里选择的是跟你EC2主机关联的vpc策略

服务这里选的是S3服务

3.配置路由表,创建终端节点

wKioL1iAX1HCfieZAACOvuzqf18720.png

4.测试

这时候我们再传输数据的时候。用iftop -i eth0查看一下他的带宽

wKioL1iAX3yiwuJtAAAf-Sg1SZo714.png

这里出现了两个地址,左边的地址是ec2的私有dns。右边的地址解析是S3的地址。通过解析你能看到

wKioL1iAX4ag8QG3AAA6fGK6uTA274.png



本文转自 shouhou2581314 51CTO博客,原文链接:http://blog.51cto.com/thedream/1893168,如需转载请自行联系原作者

相关实践学习
使用ROS创建VPC和VSwitch
本场景主要介绍如何利用阿里云资源编排服务,定义资源编排模板,实现自动化创建阿里云专有网络和交换机。
阿里云专有网络VPC使用教程
专有网络VPC可以帮助您基于阿里云构建出一个隔离的网络环境,并可以自定义IP 地址范围、网段、路由表和网关等;此外,也可以通过专线/VPN/GRE等连接方式实现云上VPC与传统IDC的互联,构建混合云业务。 产品详情:https://www.aliyun.com/product/vpc
相关文章
|
6月前
|
存储 安全 关系型数据库
AWS介绍
AWS介绍
146 0
|
6月前
|
存储 人工智能 大数据
云计算平台:AWS、Azure和Google Cloud的比较与选择
在当今数字化时代,云计算平台成为了企业和个人的首选。本文将重点比较三大主流云计算平台:AWS、Azure和Google Cloud,从性能、功能、可用性以及定价等方面进行综合评估,帮助读者更好地选择适合自己需求的云计算平台。
|
6月前
|
存储 API 云计算
AWS基础
AWS基础
98 2
|
6月前
|
存储 运维 前端开发
Amazon S3
Amazon S3
118 0
|
SQL Cloud Native Go
云服务部署:AWS、Azure和GCP比较
云服务部署:AWS、Azure和GCP比较
460 0
|
存储 数据库 开发工具
「技术选型」AWS 和 AZURE的全面比较
「技术选型」AWS 和 AZURE的全面比较
|
机器学习/深度学习 存储 人工智能
「云市场2019」IaaS&PaaS 三强:AWS,Azure,GCP
「云市场2019」IaaS&PaaS 三强:AWS,Azure,GCP
|
存储 负载均衡 监控
在AWS上部署一个网站
在AWS上部署一个网站
155 0
|
存储 JSON 关系型数据库
【AWS系列】什么是DynamoDB
1. Truncate 操作:DynamoDB不支持 Truncate操作,最简单的办法是删表重建即可;如果需要删掉一部分数据,可以写脚本用scan 查出 PK 的列表逐个进行删除;还可以设置表的过期时间,让这批数据定期失效即可。2. JavaScript 有两个类库:一种使用了 DynamoDB Json其中包括了数据的类型,需要调用相关的marshal 和 unmarshal方法来转换成标准的 Json3.批量操作:DynamoDB 中批量操作有25 的数据量。
401 0
【AWS系列】什么是DynamoDB
|
智能硬件
Amazon Exclusives 会成为下一个 Kickstarter 吗?
随着创客运动的兴起,一大帮有梦青年开始投身智能硬件等新创领域,并随之出现了一大批新鲜创意产品。然而,极客发烧友抑或普通消费者想要购买到这些创意产品的渠道依然还是比较狭窄的,他们往往只能到一些众筹平台或直接去其官网进行采购。
127 0
Amazon Exclusives 会成为下一个 Kickstarter 吗?