大数据技术:内包还是外包

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

对于零售商来说,大数据是一把双刃剑。这些公司正在努力探索全方位的市场竞争,因为他们试图抵御像亚马逊公司这样的行业巨头,一些公司正在将大量资源部署到开发自己的大数据解决方案中,以试图与零售巨头进行竞争。

零售商面临的一个问题是他们需要内部构建还是应该将其外包给供应商。

随着软件即服务(SaaS)模式的普及,在企业环境中部署新的解决方案变得越来越简单和快速。这自然会导致行业不断增长的创新,因为传统的解决方案在短短几个星期内就容易被更新颖,更有效的解决方案所替代。

同时,大型零售商希望在公司内部开发解决方案的愿望,就像亚马逊在内部技术上投入大量资金,自己开发很多产品。然而,重要的是要意识到,并不是所有的产品和解决方案都可以或应该在内部建设。零售商应将基础设施视为数据平台,供应商以同样的方式进行创新,MAC和Android平台允许个别开发人员通过应用程序进行创新。

人们相信,云计算算法将在未来几年成为最常见的SaaS应用程序。把算法作为“核心竞争力”并将其发展局限于内部团队的零售商,只会扼杀技术创新,从长远来后将会落后。在这里列出其原因。

成本

伟大的算法解决方案需要核心人才。这些人才的竞争是十分激烈的,特别是数据科学。数据科学家通常具有计算机科学,统计学或数学方面的博士学位,其薪资超过15万美元。

由于市场上优秀的工程师和数据科学家的供应有限,这些工程师更多的是应聘初创公司或亚马逊,Google和Facebook等技术巨头的职位。不幸的是,大多数实体和在线零售商并不会成为顶尖工程师的目的地。因此,零售商必须通过支付更高薪金来弥补。

通过简单的数学计算表明,一个由20位数据科学家和工程师的团队可以将会让零售商每年花费400万美元的费用。而这只是招聘人才的费用,并没有包括来支持解决方案开发的任何基础设施的投资。相比之下,典型的SaaS解决方案每年的价格将低于100万美元(这可能是绝对的上限,传统的费用将低于50万美元)。通过与供应商合作,零售商可以节省大量的成本。

快速上市和灵活性

对于任何技术初创企业来说,快速推出市场是确定整体成功的关键。这包括内部技术的发展。从项目开始到启动,成功创建一个大数据解决方案可能需要2-3年的时间。虽然需要立即获得解决方案是一个亟待解决的问题,但技术的生命周期并不能绕过。两年的等待时间可能会造成一两个问题:公司新开发的解决方案在启动时几乎已经过时,或者试图领先于快速发展的技术环境,陷入无休止的重新设计周期中。

同时,随着基于云计算的SaaS模式的广泛应用,第三方解决方案的集成和部署速度从未如此快速。有些可以在短短的20天内集成和部署,这意味着尖端技术不断改进(算法在世界上最大的零售商不断优化和调整),快速满足即时需求。更重要的是,第三方供应商还提供了内部构建系统不具备的灵活性。删除和替换第三方SaaS解决方案非常简单,而不用担心昂贵的成本和内部斗争。

创新

技术和算法的进步非常快。纵观历史,竞争在创新中起着至关重要的作用。SaaS模型使其既易于部署又易于更换解决方案。因此,供应商正在不断创新,并面临改进的压力。当拥有内部团队,这个选择已经做出,因此没有竞争。一旦构建和部署解决方案,团队的目标就是维护和改进解决方案。但人们绝对不会知道内部团队的解决方案是否具有市场竞争力。

通过与第三方SaaS供应商合作,零售商能够在短时间内评估和部署许多尖端解决方案,同时投资更少。许多其他零售商都在使用这些解决方案,供应商经过不断的审查,得到客户的创新和改进。试图在内部构建这些解决方案不仅成本高昂而且进度缓慢,而且最重要的是限制创新,从而使企业的业务从长远来看并不那么灵活。

这并不意味着零售商应该将所有技术完全外包给供应商。当人们在大数据的背景下谈论技术时,它们指的是存储和处理数据的基础设施,以及解释数据和做出预测的算法。基础架构包括以安全,隐私保护的方式存储全方位的客户数据,如购买的优惠券,并使支持应用程序可访问该数据。

算法是基础设施之上的有效应用,利用数据来进行需求预测,流失预测,动态定价或产品个性化和定位。它们建立在数据基础之上,与操作系统之上的应用程序相同。因此,零售商必须投入内部资源和大量时间来建立安全,高效和可扩展的基础架构。

具有外部API和安全性(敏感数据加密)的正确基础设施将使企业能够利用供应商的尖端技术,不断创新。这将使企业将注意力和专业知识集中在核心业务功能上,而不是试图成为无关领域的专家。对于任何企业来说,资金,时间和研发能力都是有限的。成功的企业知道如何将这些资源放在正确的地方来获得成功。  


本文作者:Harris

来源:51CTO

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
145 2
|
2月前
|
存储 分布式计算 NoSQL
【赵渝强老师】大数据技术的理论基础
本文介绍了大数据平台的核心思想,包括Google的三篇重要论文:Google文件系统(GFS)、MapReduce分布式计算模型和BigTable大表。这些论文奠定了大数据生态圈的技术基础,进而发展出了Hadoop、Spark和Flink等生态系统。文章详细解释了GFS的架构、MapReduce的计算过程以及BigTable的思想和HBase的实现。
111 0
|
17天前
|
分布式计算 大数据 数据处理
技术评测:MaxCompute MaxFrame——阿里云自研分布式计算框架的Python编程接口
随着大数据和人工智能技术的发展,数据处理的需求日益增长。阿里云推出的MaxCompute MaxFrame(简称“MaxFrame”)是一个专为Python开发者设计的分布式计算框架,它不仅支持Python编程接口,还能直接利用MaxCompute的云原生大数据计算资源和服务。本文将通过一系列最佳实践测评,探讨MaxFrame在分布式Pandas处理以及大语言模型数据处理场景中的表现,并分析其在实际工作中的应用潜力。
55 2
|
1月前
|
SQL 运维 大数据
轻量级的大数据处理技术
现代大数据应用架构中,数据中心作为核心,连接数据源与应用,承担着数据处理与服务的重要角色。然而,随着数据量的激增,数据中心面临运维复杂、体系封闭及应用间耦合性高等挑战。为缓解这些问题,一种轻量级的解决方案——esProc SPL应运而生。esProc SPL通过集成性、开放性、高性能、数据路由和敏捷性等特性,有效解决了现有架构的不足,实现了灵活高效的数据处理,特别适用于应用端的前置计算,降低了整体成本和复杂度。
|
2月前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
95 4
|
2月前
|
机器学习/深度学习 存储 大数据
云计算与大数据技术的融合应用
云计算与大数据技术的融合应用
|
2月前
|
SQL 存储 大数据
单机顶集群的大数据技术来了
大数据时代,分布式数仓如MPP成为热门技术,但其高昂的成本让人望而却步。对于多数任务,数据量并未达到PB级,单体数据库即可胜任。然而,由于SQL语法的局限性和计算任务的复杂性,分布式解决方案显得更为必要。esProc SPL作为一种开源轻量级计算引擎,通过高效的算法和存储机制,实现了单机性能超越集群的效果,为低成本、高效能的数据处理提供了新选择。
|
2月前
|
SQL 存储 算法
比 SQL 快出数量级的大数据计算技术
SQL 是大数据计算中最常用的工具,但在实际应用中,SQL 经常跑得很慢,浪费大量硬件资源。例如,某银行的反洗钱计算在 11 节点的 Vertica 集群上跑了 1.5 小时,而用 SPL 重写后,单机只需 26 秒。类似地,电商漏斗运算和时空碰撞任务在使用 SPL 后,性能也大幅提升。这是因为 SQL 无法写出低复杂度的算法,而 SPL 提供了更强大的数据类型和基础运算,能够实现高效计算。
|
2月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
66 3
|
2月前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
85 2