MaxCompute跨境访问加速解决方案

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: MaxCompute联合全球加速服务,为有跨境访问需求的MaxCompute客户提供一套高效稳定的跨境访问加速方案。

MaxCompute联合全球加速服务,为有跨境访问需求的MaxCompute客户提供一套高效稳定的跨境访问加速方案。

背景信息

MaxCompute的大量出海客户,由于开发人员所在地和数据源地域不一致,经常需要进行跨境互访,在使用IDEA/ODPSCMD/SDK进行管控类作业提交、数据下载等请求时,网络抖动比较大,可能会出现被rst、重置连接等问题。

具体场景包括两类:

  • office在大陆,但是对应的MaxCompute终端节点在海外,例如需要从杭州访问孟买的终端节点,如果直接使用office的公网进行调用对应的api进行业务创建,直接使用公网链路非常不稳定。
  • office在海外,但是对应的MaxCompute终端节点在大陆,例如需要从孟买访问上海的终端节点,也存在类似调用的情况。


例:正常网络情况下,从杭州访问印度(孟买)终端节点,网络连接超时。

1.png

解决方案

方案架构

2.png

技术原理

本解决方案依赖全球加速服务。

全球加速GA(Global Accelerator)是一款覆盖全球的网络加速服务,全球加速会为每个接入加速区域的地域分配一个加速IP,客户端流量通过加速IP就近从接入点进入阿里云加速网络。进入阿里云加速网络后,全球加速可以智能选择路由并自动完成网络调度,然后把客户端的网络访问请求送达至最佳终端节点,避开公网的拥堵,达到减少时延的效果。具体请参见全球加速官方文档

实现流程

前提条件

  • 已创建MaxCompute项目。

更多创建MaxCompute项目操作,请参见创建MaxCompute项目

配置全球加速服务

用户可以根据全球加速服务官方文档进行配置。本方案的配置步骤如下:

步骤一:创建全球加速实例

  1. 登录全球加速管理控制台
  2. 实例列表页面,单击创建加速实例
  3. 在购买页面,根据以下信息配置全球加速实例,然后单击立即购买
  1. 选择购买全球加速实例的规格。本方案选择型Ⅱ
  2. 选择购买全球加速实例的时长。本方案选择1个月

具体规格类型及费用请参考全球加速产品定价

购买成功后,返回至管理控制台。实例创建好,系统会自动分配一个CNAME用于解析要加速的后端服务的域名,请记录下此CNAME用于后续域名解析时使用。

3.png

步骤二:购买并绑定基础带宽包

基础带宽包提供了覆盖全球的公网接入带宽和阿里云内网传输带宽。实现全球加速您需要购买基础带宽包并将基础带宽包绑定到全球加速实例。

  1. 实例列表页面,单击购买基础带宽包
  2. 在购买页面,配置基础带宽包,然后单击立即购买完成支付。

具体规格类型及费用请参考全球加速产品定价

⚠️注意:提升海外区域到中国内地的网络访问质量,必须先提交跨境产品使用申请,否则无法配置访问国外地域加速。

本方案选择 增强加速带宽,20Mb

4.png

  1. 返回实例列表页面,单击已创建的全球加速实例ID,单击带宽包管理页签,在基础带宽包区域,找到目标基础带宽包,单击操作列下的绑定

5.png6.png

绑定成功后,基础带宽包的状态变成 可用

步骤三:添加加速区域

在购买基础带宽包后,您便可以添加加速区域,指定访问后端服务的用户的所在地域并分配加速带宽。

完成以下操作,添加加速区域。

  1. 实例列表页面,找到已创建的全球加速实例,单击实例ID。
  2. 单击加速区域页签,添加接入地域
  3. 添加加速区域对话框,根据以下信息进行配置。
  • 地域:选择访问加速服务用户的所属地域。本方案选择中国(杭州)
  • 带宽:选择加速服务的地域带宽。本方案输入20 Mbps。
  • IP地址协议:选择用户接入全球加速服务的IP地址协议。本方案选择IPv4

 7.png

  1. 单击确定添加成功后,全球加速会在接入地域分配一个加速IP,用来加速用户访问。

步骤四:配置监听

监听负责检查连接请求。系统会根据您指定的端口和协议转发来自客户端的入站连接。

  1. 在实例详情页面,单击监听页签,然后单击添加监听
  2. 配置监听和协议配置向导页面,根据以下信息配置监听。
  1. 监听名称:输入监听的名称。
  2. 协议:选择监听的协议类型,客户可根据业务场景选择。本方案选择TCP
  3. 端口:本方案输入80
  4. 客户端亲和性:本方案选择关闭

更多信息参考监听概述

8.png

  1. 单击下一步配置终端节点组。
  2. 访问控制:可以基于白名单/黑名单的形式进行配置不同的策略,对客户端请求进行精确控制,管理请求转发。

说明 目前,保持访问控制白名单开放,如需使用请提交工单。

步骤五:设置终端节点组

每个监听都关联一个终端节点组,通过指定要分发流量的地域,将终端节点组与监听关联。关联后,全球加速会将流量分配到与监听关联的终端节点组内的最佳终端节点。

完成以下操作,设置终端节点组。

  1. 节点组名称区域输入节点组名称。
  2. 选择终端节点组所属的地域,即请求要访问的目标服务器的所属地域。本方案选择 印度
  3. 选择后端服务部署在阿里云还是非阿里云。本方案选择 非阿里云
  4. 选择开启或关闭保持客户端源IP,本方案选择开启保持客户端源IP。
  5. 配置终端节点。
  1. 后端服务类型:选择自定义域名
  2. 后端服务:输入要加速的MaxCompute地域外网Endpoint。本方案输入 service.ap-south-1.maxcompute.aliyun.com
  3. 权重:输入终端节点的权重,权重取值范围:0~255。全球加速根据您配置的权重按比例将流量路由到终端节点。
    注意 如果某个终端节点的权重设置为0,全球加速将终止向该终端节点分发流量,请您谨慎操作。
  1. 单击下一步查看监听和终端节点组配置,确认无误后,再单击下一步

9.png

本地绑定host

添加全球加速的配置后,在实例信息-加速区域tag下,找到加速IP。

10.png

之后,您必须通过本地绑定host方式,将对应域名解析到全球加速分配的CNAME,使业务流量切换至全球加速。

host添加示例:

1XX.XX.X.XX6(加速IP)  service.ap-south-1.maxcompute.aliyun.com(后端服务域名)

延时测试

  1. 在接入地域(本方案为中国杭州)的电脑中打开命令行窗口。
  2. 执行以下命令,查看数据包延迟情况。curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" "http[s]://[:<端口>]"其中:
  • time_connect:连接时间,从开始到建立TCP连接完成所用的时间。
  • time_starttransfer:开始传输时间。在客户端发出请求后,到后端服务器响应第一个字节所用的时间。
  • time_total:连接总时间。客户端发出请求后,到后端服务器响应会话所用的时间。
  1. 经测试,使用全球加速后,明显降低了中国杭州用户访问印度(孟买)endpoint的延迟。

11.png

使用MaxCompute

配置完成后,可以进入MaxCompute客户端或Web-Console按源方式连接至MaxCompute数据源。此时,MaxCompute已成功实现高效稳定地跨境访问。

12.png

安全防护相关问题

为了有效防御DDoS攻击,本方案可以通过与DDOS高防产品组合使用,利用DDOS高防产品有效防御DDOS攻击,详细信息可以参考:跨地域Web安全加速 中的DDOS配置部分内容。


更多关于大数据计算、云数仓技术交流,欢迎扫码加入 “MaxCompute开发者社区” 钉钉群

晋恒2群.jpg


相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
目录
相关文章
|
2月前
|
弹性计算 缓存 搜索推荐
大数据个性化推荐,AWS终端用户解决方案
大数据个性化推荐,AWS终端用户解决方案
|
4月前
|
SQL 存储 分布式计算
"SQLTask携手Tunnel:打造高效海量数据导出解决方案,轻松应对大数据挑战
【8月更文挑战第22天】SQLTask搭配Tunnel实现高效海量数据导出。SQLTask擅长执行复杂查询,但直接导出受限(约1万条)。Tunnel专注数据传输,无大小限制。二者结合,先用SQLTask获取数据,再通过Tunnel高效导出至目标位置(如CSV、OSS等),适用于大数据场景,需配置节点及连接,示例代码展示全过程,满足企业级数据处理需求。
81 2
|
5月前
|
分布式计算 DataWorks 数据处理
MaxCompute操作报错合集之UDF访问OSS,配置白名单后出现报错,是什么原因
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
5月前
|
分布式计算 大数据 数据挖掘
MaxCompute产品使用合集之如何解决MC通过外部表方式访问Hologres时,数据量达到3000万条左右导致查询速度慢
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
7月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
|
5月前
|
存储 弹性计算 大数据
阿里云ECS以其强大的弹性计算与存储能力,为大数据处理提供了灵活、高效、成本优化的解决方案
阿里云ECS在大数据处理中发挥关键作用,提供多样化实例规格适应不同需求,如大数据型实例适合离线计算。ECS与OSS集成实现大规模存储,通过Auto Scaling动态调整资源,确保高效运算。案例显示,使用ECS处理TB级数据,速度提升3倍,成本降低40%,展现其在弹性、效率和成本优化方面的优势。结合阿里云生态系统,ECS助力企业数据驱动创新。
102 1
|
5月前
|
数据采集 存储 数据可视化
数加产品家族图解:一站式大数据处理与分析解决方案
数加产品家族作为阿里云一站式大数据处理与分析解决方案的重要组成部分,以其全面的功能和强大的性能,为企业提供了从数据采集、存储、处理到分析的全链路解决方案。通过图解的形式,我们深入解析了数加产品家族的各个组成部分和优势特点,展现了其在大数据处理与分析领域的独特魅力。未来,随着大数据技术的不断发展和应用场景的不断拓展,数加产品家族将继续发挥其重要作用,为企业
|
6月前
|
分布式计算 DataWorks MaxCompute
MaxCompute操作报错合集之在Spark访问OSS时出现证书错误的问题,该如何解决
MaxCompute是阿里云提供的大规模离线数据处理服务,用于大数据分析、挖掘和报表生成等场景。在使用MaxCompute进行数据处理时,可能会遇到各种操作报错。以下是一些常见的MaxCompute操作报错及其可能的原因与解决措施的合集。
|
6月前
|
机器学习/深度学习 分布式计算 DataWorks
MaxCompute产品使用问题之如何在UDF函数中访问外网
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
|
6月前
|
分布式计算 大数据 关系型数据库
MaxCompute产品使用问题之同步任务为什么默认访问的是生产环境
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

相关产品

  • 云原生大数据计算服务 MaxCompute