将大量数据从SQL Server传输和转换为Azure SQL Server的最佳方法。Azure数据工厂,HDInsight等-问答-阿里云开发者社区-阿里云

开发者社区> 社区小助手> 正文

将大量数据从SQL Server传输和转换为Azure SQL Server的最佳方法。Azure数据工厂,HDInsight等

2018-12-19 17:20:18 1954 2

我想将客户现场服务器Client上安装的SQL Server数据库中的20 GB SQL数据传输到我们的Azure SQL Server Source,在具有200 DTU性能的S4上,每月320美元。在进行初始设置时,我们设置了一个Azure数据工厂,它通过多个表副本复制20 GB,例如,客户端表A的内容到源表A,客户端表B的内容到源表B等。然后我们运行很多提取器存储过程,通过将这些源表连接在一起,将源表中的数据插入到Stage表中,例如,源A连接到源B.之后是增量副本,但初始设置确实需要永久。

目前S4上的复制时间约为12小时,提取时间为4小时。以每小时2400美元的价格将性能等级提高到1600瑞士法郎的S9将减少时间为6小时,提取时间为2小时,但这带来了更高的成本。

我想知道是否有其他Azure方法。与将Azure SQL数据库扩展到S9及更高版本相比,使用Hadoop或Spark设置HDInsight群集是否更有效?31天每月2400美元的S9是每小时3.28美元。D14 v2实例的记忆优化节点的Azure HDInsight群集每小时1.496美元,因此它比S9便宜。但是,它在性能方面有何比较。复制过程会更快还是提取过程会更快?

取消 提交回答
全部回答(2)
  • 这个写的不错,学习知识了。

    0 0
  • 社区小助手
    2019-07-17 23:23:05

    Azure数据工厂复制活动提供了一流的安全,可靠和高性能的数据加载解决方案。它使您能够在各种云和本地数据存储中每天复制数十TB的数据。复制活动提供了高度优化的数据加载体验,易于配置和设置。
    如果您希望使用Azure数据工厂复制活动更快地传输数据,Azure提供了三种方法来实现更高的吞吐量:

    数据集成单元。数据集成单元(DIU)(以前称为云数据移动单元或DMU)是表示数据工厂中单个单元的功率(CPU,内存和网络资源分配的组合)的度量。您可以使用更多数据集成单元(DIU)来实现更高的吞吐量。您需要根据复制操作的总时间收费。您为数据移动计费的总持续时间是DIU的持续时间总和。

    并行复制。我们可以使用parallelCopies属性来指示您希望Copy Activity使用的并行性。对于每个Copy Activity运行,Data Factory确定用于将数据从源数据存储复制到目标数据存储的并行副本数。

    分阶段的副本。将数据从源数据存储复制到接收器数据存储时,可以选择将Blob存储用作临时存储存储。

    您可以采用这些方法使用“复制活动”调整数据工厂服务的性能。

    0 0
添加回答
相关问答

17

回答

【大咖问答】对话PostgreSQL 中国社区发起人之一,阿里云数据库高级专家 德哥

阿里ACE 彭飞 2019-07-10 09:36:10 962163浏览量 回答数 17

145

回答

【新手入门】云服务器linux使用手册

fanyue88888 2012-11-26 17:14:18 157037浏览量 回答数 145

8

回答

OceanBase 使用动画(持续更新)

mq4096 2019-02-20 17:16:36 333782浏览量 回答数 8

38

回答

[@饭娱咖啡][¥20]对于慢sql有没有什么比较实用的诊断和处理方法?

江小白太白 2018-10-30 18:47:38 141631浏览量 回答数 38

110

回答

OSS存储服务-客户端工具

newegg11 2012-05-17 15:37:18 292222浏览量 回答数 110

22

回答

爬虫数据管理【问答合集】

我是管理员 2018-08-10 16:37:41 146740浏览量 回答数 22

38

回答

安全组详解,新手必看教程

我的中国 2017-11-30 15:23:46 256825浏览量 回答数 38

21

回答

请教一下数据量有100万条左右要什么配置?

易网网络 2013-03-27 15:18:02 192310浏览量 回答数 21

22

回答

【精品问答合集】Redis热门问答

李博 bluemind 2019-05-29 16:36:15 126242浏览量 回答数 22

2

回答

区域选择帮助

fanyue88888 2012-12-07 15:54:30 203977浏览量 回答数 2
+关注
社区小助手
社区小助手是spark中国社区的管理员,我会定期更新直播回顾等资料和文章干货,还整合了大家在钉群提出的有关spark的问题及回答。
12
文章
824
问答
问答排行榜
最热
最新
推荐问答
相关电子书
更多
文娱运维技术
立即下载
《SaaS模式云原生数据仓库应用场景实践》
立即下载
《看见新力量:二》电子书
立即下载