带你读《对象存储实战指南》第三章命名和同步3.1命名技术(三)

本文涉及的产品
对象存储 OSS,20GB 3个月
全局流量管理 GTM,标准版 1个月
公共DNS(含HTTPDNS解析),每月1000万次HTTP解析
简介: 《对象存储实战指南》第三章命名和同步3.1命名技术(三)

3.1.1对象存储命名应用

 

存储作为复杂 的服务,综合应用了 结构化命 名、坦命名、基于属性命名技术,支撑不同的场和功能需求

客户端请求 访问 image-demo.oss-cn-hangzhou.aliyuncs.com/example.jpg"对象时,将按照如下步骤执行 ,如图 3-9示。

image.png

3-9      对象存储命名技术应用

 

(1)  解析 URL机名 image-demo.oss-cn-hangzhou.aliyuncs.com,  得到对象 存储服务机的 IP地址,该过程采用结构化命名的树形解析方法。

·  解析域名时,从com顶级域名查询到 aliyuncs机构企业 。

·  业在内部解析时按照aliyuncs-oss-cn-hangzhou---->image-demo   顺序,找到该域名绑的主机的IP地址,如 118.31.219.1891Pv4地址

( 2) 客户端将请求包 发送到 IPv4地址为 118.31.219.189的机器(如服务器 X),同时包含完整的 URL名。此时服务器 X会将请求和 URL发送到对象存储的后 端服务器(如服务器B)

( 3) 服务器 B通过传入的 URL得到对象 名 example.jpg, 然后按照平坦空间 寻址方法找到数据所 在硬盘的 UUID。其中平坦空间寻址方法通常有两种:按范围分区 ( RangePartition)的字节比对查找和按哈希分区 ( HashPartition) 的计算查

( 4) 根据对象 名 example.jpg对应的硬盘的 UUID, 就可以取回数据

 

( 5) 同时,对象存储支持标签功能 。标签按照基千属性命 名技术组织,提供 Key-Value

的键值对,从而为该对象提供更多维度的信息

 

1.  . 域名解析

域名系统( DomainNameSystem, DNS ) 除定义 域名规则外,其核心是要做域名解 析,以下是典型的域名配置记录

文本框: A其中 NAME字段表示 要解析的名字 ,TTL表示记录的缓存有效时间 ,RPT表示 DNS类型VALUE示该类型的值,条记录就是将名字 www.taobao.com解析为 1Pv4地址 101.37.183.170

DNS支待常见的记录类型 ( RPT字段如下

 

•    A类型。1Pv4记录,支持将域名映射 到 1Pv4地址

•    AAAA类型。1Pv6记录,支持将域名映射到 1Pv6地址

•     CNAME类型。别名记 ,支持将域 名指向另外一个域名

•     MX类型。电子邮件交互记,支待将域 名指向邮件服务器地址

•    TXT类型。文本记录是任意可读的文本 DNS录。

•    SRV  类型。服务器资源记,用来标志某台服务器 使用了某 个服务 ,常见千微软系统的目录管理。

•    NS类型 。名称服务器 记录,支持将子域名委托给其DNS服务商解 析

•     CAA类型。证书资源记录,以限定域名颁发证书CA(证书颁发机构)之间的联系

 

域名查询的解析方法 有两种:递归查询和迭代查询,如图 3-10  所示DNS  客户端查询服务时 ,通常都采用递归查询,DNSResolver  全权处理客户端的 DNS查询请求,直到返回最终结果 ,如图 3-10中的步骤 l和步骤8。而DNS服务 端之间 ,通常采用迭代查询,如图3-10的步骤2步骤 7

image.png

1.   公网地址路由

 

通过 DNS查询到对象存储域名image-demo.oss-cn-hangzhou.aliyuncs.com互联网 IP地址也叫作公网   IP   地址为   118.31.219.189,    客户端将数据包 的目的地址填写为I18.31.219.189, 通过互联网 的路由就可以到达对象存储服务

互联网带宽通常分为普通线 路和边 界网协议 ( BorderGatewayProtocol, BGP) 线路,BGP线路质高,绑定IP地址就可以支持多个 运商的链路,并具有链路冗   余备份、消除环路特性,只是价格比普通线 路贵

2.  专有网络地址交 换

 

对象存储服务提供海 数据存储能力 ,数据中心内的大规模服务器不要使用 公网 IP对外提供服务,而且也不安,为此采用专 有网络地址来 进行通信 例如,1Pv4的专有网络地址段 10.0.0.0/8172.16.0.0/12I92.168.0.0/16, 常常作为数据中 心内服务器的地址

有网络通常采用 数据中 心交换机进 行数据交 换,通过将有网络地址转 换为 MAC址,从而在交换机内实 现 MAC地址转发端口的映射 ,最终可以将数据包 发送到和交换机连接的服务器

 

3.  MAC地址访问

 

地址解析协议 ( AddressResolutionProtocol, ARP ) IP地址转换为MAC地址,从而支撑数据包的转发例如,服务器 XIP地址为 172.16.1.1, 对应的 MAC地址为 OA-12-34-56-78-91; 服务器 YIP地址为 172.16.11.2 , MAC地址为 OA-12-34-16-38-91当服务

X要与服务器 Y通信时,ARP将服务器 YIP地址 072.16.11.2) 解析成服务器 Y

MAC地址,处理步骤如下

 

(1) 根据服务器 X的路由表,确认访问服务器 YIP地址是 172.16.11.2服务器 X本机 ARP存中检查服务器 YMAC地址

( 2) 如果服务器 XARP缓存中未 找到服务器XMAC地址,那么 ARP将查询得到它的 MAC地址,此时 ARP将请求包广播到本地专 有网络上的所有服务器,并且服务器XIP地址和 MAC地址都包含在请求中本地网络的每台 服务器 都将接收到 ARP请求,并且检是否与自己 的 IP地址匹配若服务器 Y发现 ARP请求中的 IP地址与自己 的 IP址不匹配,则丢弃 ARP请求

( 3) 若服务器 Y发现 ARP请求中的 IP地址与自己的 IP地址匹配,则将服务器 XIP

地址和 MAC地址映射添加到本地 ARP缓存

( 4) 务器 Y将包含自身 MAC地址的ARP应直接返回给服务器X

 

( 5) 服务器 X收到从服务器 Y发来的 ARP应后,用服务器 YIP地址和 MAC址信息更新 ARP缓存本机缓存具有有效期  ( TimeToLive,  TTL),   TTL结束后将再次重复上述过程

通过 ARP得知到服务器 YIP地址和 MAC地址后,服务器 X就能通过交 换机向服务器 Y发送数据包 。

1.  . 盘标志符

 

每台服务器 上的硬盘都有 UUID, 保证在服务器 重启、更换盘槽位后 都能提供固定的硬盘访问路径,如 Linux操作系 统下的/dev/sda/dev/sdb/dev/sdz盘符

基于盘 的 UUID和访问路径 ,就可以保证对象存储的数据访问请求会发送到正确的盘 ,从而得到正确的数据,并最终将它返回给客户 端

相关实践学习
借助OSS搭建在线教育视频课程分享网站
本教程介绍如何基于云服务器ECS和对象存储OSS,搭建一个在线教育视频课程分享网站。
相关文章
|
1月前
|
对象存储
一个通过 GitHub Action 将 GitHub 仓库与阿里云 OSS 完全同步的脚本
一种将 GitHub 仓库完全同步到阿里云 OSS 的方法。
|
5月前
|
DataWorks 安全 关系型数据库
DataWorks产品使用合集之同步数据到OSS时,文件的切分单位如何设置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
分布式计算 DataWorks 调度
DataWorks产品使用合集之在使用MaxCompute进行数据集成同步到OSS时,出现表名和OSS文件名不一致且多了后缀,该如何处理
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
4月前
|
DataWorks 安全 定位技术
DataWorks产品使用合集之如何同步OSS中的Parquet数据,并解析里面的数组成多个字段
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
5月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
DataWorks产品使用合集之如何将CSV文件从阿里云OSS同步到ODPS表,并且使用列作为表分区
|
5月前
|
数据采集 DataWorks 安全
DataWorks产品使用合集之将按日分区的表同步数据到OSS数据源,该如何配置
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
160 1
|
5月前
|
存储 安全 前端开发
APP管理后台OSS技术改造
旨在记录之前使用的上传文件是放在服务器的现在改成了oss更加高效管理
|
5月前
|
存储 DataWorks 关系型数据库
DataWorks产品使用合集之在使用数据集成中的同步任务从mysql同步表到oss,存储为csv时,最终生成的文件中没有表头,这个属性可以在哪里配置么
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
5月前
|
SQL 运维 DataWorks
DataWorks操作报错合集之同步任务同步到OSS,报错:Caused by: com.aliyun.oss.ClientException: The target server failed to respond,如何解决
DataWorks是阿里云提供的一站式大数据开发与治理平台,支持数据集成、数据开发、数据服务、数据质量管理、数据安全管理等全流程数据处理。在使用DataWorks过程中,可能会遇到各种操作报错。以下是一些常见的报错情况及其可能的原因和解决方法。
|
5月前
|
存储 分布式计算 关系型数据库
实时数仓 Hologres产品使用合集之是否提供相应的功能接口和指令,可以将数据从OSS存储同步到Hologres中进行分析
实时数仓Hologres的基本概念和特点:1.一站式实时数仓引擎:Hologres集成了数据仓库、在线分析处理(OLAP)和在线服务(Serving)能力于一体,适合实时数据分析和决策支持场景。2.兼容PostgreSQL协议:Hologres支持标准SQL(兼容PostgreSQL协议和语法),使得迁移和集成变得简单。3.海量数据处理能力:能够处理PB级数据的多维分析和即席查询,支持高并发低延迟查询。4.实时性:支持数据的实时写入、实时更新和实时分析,满足对数据新鲜度要求高的业务场景。5.与大数据生态集成:与MaxCompute、Flink、DataWorks等阿里云产品深度融合,提供离在线
下一篇
无影云桌面