大数据技术:内包还是外包

简介:

对于零售商来说,大数据是一把双刃剑。这些公司正在努力探索全方位的市场竞争,因为他们试图抵御像亚马逊公司这样的行业巨头,一些公司正在将大量资源部署到开发自己的大数据解决方案中,以试图与零售巨头进行竞争。

零售商面临的一个问题是他们需要内部构建还是应该将其外包给供应商。

随着软件即服务(SaaS)模式的普及,在企业环境中部署新的解决方案变得越来越简单和快速。这自然会导致行业不断增长的创新,因为传统的解决方案在短短几个星期内就容易被更新颖,更有效的解决方案所替代。

同时,大型零售商希望在公司内部开发解决方案的愿望,就像亚马逊在内部技术上投入大量资金,自己开发很多产品。然而,重要的是要意识到,并不是所有的产品和解决方案都可以或应该在内部建设。零售商应将基础设施视为数据平台,供应商以同样的方式进行创新,MAC和Android平台允许个别开发人员通过应用程序进行创新。

人们相信,云计算算法将在未来几年成为最常见的SaaS应用程序。把算法作为“核心竞争力”并将其发展局限于内部团队的零售商,只会扼杀技术创新,从长远来后将会落后。在这里列出其原因。

成本

伟大的算法解决方案需要核心人才。这些人才的竞争是十分激烈的,特别是数据科学。数据科学家通常具有计算机科学,统计学或数学方面的博士学位,其薪资超过15万美元。

由于市场上优秀的工程师和数据科学家的供应有限,这些工程师更多的是应聘初创公司或亚马逊,Google和Facebook等技术巨头的职位。不幸的是,大多数实体和在线零售商并不会成为顶尖工程师的目的地。因此,零售商必须通过支付更高薪金来弥补。

通过简单的数学计算表明,一个由20位数据科学家和工程师的团队可以将会让零售商每年花费400万美元的费用。而这只是招聘人才的费用,并没有包括来支持解决方案开发的任何基础设施的投资。相比之下,典型的SaaS解决方案每年的价格将低于100万美元(这可能是绝对的上限,传统的费用将低于50万美元)。通过与供应商合作,零售商可以节省大量的成本。

快速上市和灵活性

对于任何技术初创企业来说,快速推出市场是确定整体成功的关键。这包括内部技术的发展。从项目开始到启动,成功创建一个大数据解决方案可能需要2-3年的时间。虽然需要立即获得解决方案是一个亟待解决的问题,但技术的生命周期并不能绕过。两年的等待时间可能会造成一两个问题:公司新开发的解决方案在启动时几乎已经过时,或者试图领先于快速发展的技术环境,陷入无休止的重新设计周期中。

同时,随着基于云计算的SaaS模式的广泛应用,第三方解决方案的集成和部署速度从未如此快速。有些可以在短短的20天内集成和部署,这意味着尖端技术不断改进(算法在世界上最大的零售商不断优化和调整),快速满足即时需求。更重要的是,第三方供应商还提供了内部构建系统不具备的灵活性。删除和替换第三方SaaS解决方案非常简单,而不用担心昂贵的成本和内部斗争。

创新

技术和算法的进步非常快。纵观历史,竞争在创新中起着至关重要的作用。SaaS模型使其既易于部署又易于更换解决方案。因此,供应商正在不断创新,并面临改进的压力。当拥有内部团队,这个选择已经做出,因此没有竞争。一旦构建和部署解决方案,团队的目标就是维护和改进解决方案。但人们绝对不会知道内部团队的解决方案是否具有市场竞争力。

通过与第三方SaaS供应商合作,零售商能够在短时间内评估和部署许多尖端解决方案,同时投资更少。许多其他零售商都在使用这些解决方案,供应商经过不断的审查,得到客户的创新和改进。试图在内部构建这些解决方案不仅成本高昂而且进度缓慢,而且最重要的是限制创新,从而使企业的业务从长远来看并不那么灵活。

这并不意味着零售商应该将所有技术完全外包给供应商。当人们在大数据的背景下谈论技术时,它们指的是存储和处理数据的基础设施,以及解释数据和做出预测的算法。基础架构包括以安全,隐私保护的方式存储全方位的客户数据,如购买的优惠券,并使支持应用程序可访问该数据。

算法是基础设施之上的有效应用,利用数据来进行需求预测,流失预测,动态定价或产品个性化和定位。它们建立在数据基础之上,与操作系统之上的应用程序相同。因此,零售商必须投入内部资源和大量时间来建立安全,高效和可扩展的基础架构。

具有外部API和安全性(敏感数据加密)的正确基础设施将使企业能够利用供应商的尖端技术,不断创新。这将使企业将注意力和专业知识集中在核心业务功能上,而不是试图成为无关领域的专家。对于任何企业来说,资金,时间和研发能力都是有限的。成功的企业知道如何将这些资源放在正确的地方来获得成功。  


本文作者:Harris

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
27天前
|
分布式计算 Hadoop 大数据
大数据技术与Python:结合Spark和Hadoop进行分布式计算
【4月更文挑战第12天】本文介绍了大数据技术及其4V特性,阐述了Hadoop和Spark在大数据处理中的作用。Hadoop提供分布式文件系统和MapReduce,Spark则为内存计算提供快速处理能力。通过Python结合Spark和Hadoop,可在分布式环境中进行数据处理和分析。文章详细讲解了如何配置Python环境、安装Spark和Hadoop,以及使用Python编写和提交代码到集群进行计算。掌握这些技能有助于应对大数据挑战。
|
27天前
|
存储 数据采集 数据可视化
大数据处理技术
【4月更文挑战第10天】大数据处理涵盖采集、预处理、存储、分析挖掘、展现和应用等关键步骤。采集涉及多种类型数据,预处理确保数据质量,存储管理关注规模、速度和安全,分析挖掘利用机器学习发现价值,展现和应用则通过可视化和检索实现数据价值。云计算和AI强化了大数据处理能力,整体目标是提取数据中的价值,驱动企业和社会进步。
32 4
大数据处理技术
|
2天前
|
机器学习/深度学习 运维 算法
大数据基础工程技术团队4篇论文入选ICLR,ICDE,WWW
近日,由阿里云计算平台大数据基础工程技术团队主导的四篇时间序列相关论文分别被国际顶会ICLR2024、ICDE2024和WWW2024接收。
|
7天前
|
存储 机器学习/深度学习 数据采集
大数据处理与分析实战:技术深度剖析与案例分享
【5月更文挑战第2天】本文探讨了大数据处理与分析的关键环节,包括数据采集、预处理、存储、分析和可视化,并介绍了Hadoop、Spark和机器学习等核心技术。通过电商推荐系统和智慧城市交通管理的实战案例,展示了大数据在提高用户体验和解决实际问题上的效能。随着技术进步,大数据处理与分析将在更多领域发挥作用,推动社会进步。
|
19天前
|
存储 数据可视化 大数据
大数据技术框架
【4月更文挑战第20天】大数据一般需要经过6个主要环节,包括数据收集、数据存储、资源管理与服务协调、计算引擎、数据分析和数据可视化。
|
1月前
|
存储 大数据 数据管理
大数据技术是如何发展的?
大数据虽已发展多年,但仍面临将恰当信息在正确时间传递给合适人员的挑战。尽管技术进步,大部分企业员工仍难以获取所需信息。数据仓库、数据湖和数据结构等存储系统涌现,但集中数据并不实际,数据去中心化趋势明显。数据结构允许异构数据并促进治理,同时,云计算影响大数据战略,提供灵活实验空间。数据治理和隐私规则的遵守至关重要,流程成熟度聚焦于数据质量和共享。目前大数据正处于“幻灭低谷”,成功的关键在于数据治理和处理流程的改进。
|
1月前
|
NoSQL 大数据 数据挖掘
现代数据库技术与大数据应用
随着信息时代的到来,数据量呈指数级增长,对数据库技术提出了前所未有的挑战。本文将介绍现代数据库技术在处理大数据应用中的重要性,并探讨了一些流行的数据库解决方案及其在实际应用中的优势。
|
2月前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
2月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。

热门文章

最新文章