大拿在跨国机房数据同步等方面的最佳技术实践

本文涉及的产品
云服务器 ECS,每月免费额度200元 3个月
云服务器ECS,u1 2核4GB 1个月
云服务器 ECS,u1 4核16GB 1个月
简介: 4月20日,云栖大会深圳峰会在大中华深圳喜来登酒店隆重召开。王彬文在海外分会场的演讲中深入分享了大拿所面临的技术挑战,以及如何成功实现跨国机房数据同步、高并发、大数据分析等方面的技术实践经验。

420日,云栖大会深圳峰会在大中华深圳喜来登酒店隆重召开。本文根据深圳市大拿科技有限公司副总王彬文在海外分会场中题为《扬帆出海,阿里护航》演讲整理而成。王彬文在演讲中深入分享了大拿所面临的技术挑战,以及如何成功实现跨国机房数据同步、高并发、大数据分析等方面的技术实践经验。

 

以下是演讲内容整理:

 

首先非常感谢阿里给予此次机会同大家一起交流分享下大拿在做国际业务时的经验。今天的分享主要分为两个部分:第一是大拿是做什么的?第二个部分是大拿在开拓海外市场的过程中遇到什么问题,阿里云帮助我们解决了哪些问题?

 

大拿要做开放的物联网云平台 

大拿科技创建于2007年,是全球领先的基于物联网和云计算的解决方案提供商,业务涵盖动态域名寻址、网络视频监控、企业互联网应用管理等领域。

凭借创新的物联网概念,大拿科技为全球用户打造卓越的物联网运营方案,将各种具备网络能力的设备变成消费者可以随时链接和享用的资源,并通过自主研发和运营管理的大拿物联云服务平台,为广大用户提供可管可控的服务,让人人享有随时随地、可控可管、安全稳定的互联生活。

简单的来说,大拿做的就是一个物联云平台。

5f882b0ca183a22da9b15b7a18f36d42ca6d8c3d

图一 大拿物联云平台构成

大拿物联云平台由云端、客户端和设备端三部分组成。在云端,大拿提供了一些标准API,供第三方使用;在客户端,大拿会提供一些标准的APPs,像iOS、安卓等;设备端,大拿提供了相对应的标准的SDK,使第三方设备非常方便地接入大拿物联云平台。

目前是一个物联网的时代,设备种类繁多,市场上不存在任一家公司的业务涵盖全部的硬件设备。大拿作为一个开放的物联云平台,并不是去做硬件,而是平台和用户,让做硬件的厂家与大拿合作,共同给用户提供一种全新的生活的体验。

 

c8e05b4b700a6e9c0c4962a71503e6edcb96d1b4

图二 独特的平台安全机制

在做物联过程中,安全是最重要的。大拿实现了在云端与客户端、设备端之间进行数据传输加密,音视频数据做到一帧一密,每一个命令是一个密钥,采用动态变化的密钥,即使客户端和设备端在同一局域网下,它们之间的通信也是需要进行加密的。大拿通过使用私有的协议,自生成密钥的算法,保障用户的安全。 

为了服务全球的用户,大拿建立了全球云服务支持体系。其物联网云服务器遍布全球,实现全球化运维;同时在美国、欧洲、香港设立分支机构;在东欧、中东等局部地区也提供本地化云服务。

大拿物联云平台支持多种物联连接方式,如RFwifi、蓝牙等;同时该平台全操作系统支持,既包括LinuxWindows,也包括OPERTOS等实时操作系统;大拿的APPs也做到H5、安卓、苹果、Windows全平台覆盖,便于用户快捷使用。

 

面临的四大挑战和技术实践经验分享 

在大拿扩展海外市场的过程中面临着很多挑战,主要有:

  • 因国内IDC机房和自建海外机房的链路不稳定、延时高和丢包严重,导致数据同步链路不稳定;
  • 视频类设备带来的高带宽消耗和海量音视频数据存储,例如摄像头消耗的带宽和存储资源相当可观;
  • 大量智能设备接入云端对平台带来的高并发挑战;
  • 对智能设备产生的海量数据和用户日志的处理与分析。

为了应对上述挑战,大拿寻求到了阿里云的技术支持,采取了以下几种应对措施:


一、高速通道:应对跨机房数据同步 

大拿借助阿里云在深圳、香港、新加坡、美国数据中心和高速通道服务解决跨机房通信链路不稳定的问题。例如采用阿里的中美高速通道后,从美国到中国的访问时间由原来的220-300ms减少到150ms,同时网络丢包率也由原来的5%-10%减少到现在的0%

其次数据同步由全量同步调整为只同步核心数据,设备产生的数据进行本地化存储,实现节点内自治。

 

ECS+OSS:应对高带宽和海量存储

视频设备的云存储服务和用户观看视频设备对机房带宽带来严峻挑战,目前200多万设备7*24小时的云存储服务,产生近80PB的数据,近1T的带宽消耗。为了降低成本,大拿利用阿里云优质的带宽资源和OSS解决云存储问题。首先视频数据直接存储在OSS上,无需先存储在ECS上,减少了ECS的支出;鉴权方面,通过阿里云的STS,保障数据访问权限问题,不会出现A写入B数据的现象。

 

三、高防IP+SLB+弹性伸缩:应对高并发

c1645248886a89324a143b8f240736db63f360da

图三 应对高并发的措施 

在直播场景里面,会产生很多高并发量的问题,比如在某一个时间点内会突然有较大的访问量峰值。针对这类场景,可采用上图所示的高防IP+SLB+弹性伸缩服务的架构。随着访问量增加,动态的增加存储、计算、带宽等资源,在访问高峰退去之后再释放掉这些资源,按量付费。


四、E-MapReduce:大数据分析

ad8b0739f7c285e4caf9b1be4dccc8f206c74893

图四 利用E-MapReduce进行大数据分析 

因为视频信息可以提供相当多的感知元素,所以对摄像头进行视频分析很有意义,比如可以通过摄像头对家庭成员进行识别,定制化的改变周围的温度、湿度等环境,满足其喜好。要实现这样的功能,需要使用多种阿里云产品。首先需要在ECS上通过分析将视频信息,将其转化成半结构化数据;半结构化数据进入到E-MapReduce或者是ODPS中,完成数据分析和数据挖掘,进行用户行为的建模;建模完成后,反作用于用户的使用习惯,给用户一个更好的智能联动的体验,形成一个完整的闭环。

 

阿里云助力大拿扩展业务

大拿通过与阿里云的技术合作,有效提升了本区域、跨区域访问的用户服务体验;同时通过海外高速通道等措施保障了大拿的海外业务的快速扩展,从项目规划到海外部署快速上线,阿里云技术服务全线参与其中;通过按需使用等手段,有效控制了成本,相比较于大拿在海外选择租借IDC资源方式,采用阿里云完全屏蔽国内和海外的差异,为大拿提供无差别的云计算服务。

大拿只做平台,不做硬件。这里再次强调大拿是一个开放的物联网云平台,通过与阿里云的合作,大拿实现了轻资产级公司的目标,更加专注于业务和服务对象。

相关实践学习
ECS云服务器新手上路
本实验会自动创建一台ECS实例。首先,远程登陆ECS实例,并部署应用。然后,登陆管理控制台,并对这台ECS实例进行管理操作。
7天玩转云服务器
云服务器ECS(Elastic Compute Service)是一种弹性可伸缩的计算服务,可降低 IT 成本,提升运维效率。本课程手把手带你了解ECS、掌握基本操作、动手实操快照管理、镜像管理等。了解产品详情: https://www.aliyun.com/product/ecs
相关文章
|
21天前
|
消息中间件 关系型数据库 Kafka
深入理解数仓开发(二)数据技术篇之数据同步
深入理解数仓开发(二)数据技术篇之数据同步
|
2月前
|
canal 消息中间件 关系型数据库
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
【分布式技术专题】「分布式技术架构」MySQL数据同步到Elasticsearch之N种方案解析,实现高效数据同步
164 0
|
2月前
|
安全 关系型数据库 MySQL
讲解移动应用中的数据同步技术。
【4月更文挑战第1天】移动应用数据同步确保跨设备一致性,常见方法包括:数据库主从复制(如MySQL)维护多副本一致性;使用Firebase等框架简化同步并支持离线功能;选择HTTP、轮询、Socket或Push服务等同步协议,权衡实时性与实现复杂度;蚂蚁集团的SYNC提供安全大规模数据同步。开发者须依据实时性、安全性、性能需求及网络条件选择合适技术。
45 0
|
11月前
|
存储 关系型数据库 MySQL
MySQL到SelectDB的实时数据同步技术解读
NineData 采用先进的数据同步技术,确保数据实时同步到 SelectDB,极大地降低了数据延迟,让您的决策基于最新数据。
172 0
|
11月前
|
关系型数据库 MySQL Linux
Docker容器数据卷技术(实现数据同步)
一、什么是数据卷 数据卷是一个可供容器使用的特殊目录,它将主机操作系统目录直接映射进容器,类似于Linux中的mount操作。 数据卷可以提供很多有用的特性,如下所示:
|
消息中间件 分布式计算 Kafka
《MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute》电子版地址
MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute
84 0
《MaxCompute技术公开课第四季 之 如何将Kafka数据同步至MaxCompute》电子版地址
|
弹性计算 网络安全 数据库
3.数据同步网络连通实践 | 学习笔记
快速学习3.数据同步网络连通实践
114 0
|
canal SQL 消息中间件
阿里Canal框架(数据同步中间件)初步实践
阿里Canal框架(数据同步中间件)初步实践
809 3
阿里Canal框架(数据同步中间件)初步实践
|
存储 监控 安全

热门文章

最新文章