数据科学挑战重重 get新技能成当务之急

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

随着更多新兴工具和技术的出现,许多企业正在努力应对当今大数据和数据科学生态系统的复杂性。

根据TDWI(数据仓库研究所)的最新研究,专业数据科学家的短缺仍然是企业面临的数据科学的挑战之一。

TDWI公司副总裁兼研究总监Fern Halper说:“我们经常听到很多组织表示,在数据科学环境中面临的最大挑战是找到合适的技术和工具。”

该研究收集了超过300家企业的大数据和数据科学经验。大数据分析和数据科学经验这两个主题越来越融合,因为组织需要了解过去几年中收集大量数据的工作者。

此次调查的受访者列举的其他常见挑战还有:缺乏对大数据工具的了解,缺乏利用大数据所需的企业架构,安全和隐私问题以及治理协议不足等问题。

尤其是技术方面的问题特别棘手。Halper表示,在过去几年中出现了许多新工具,包括Hadoop,Spark,Python等等,企业很难确保跟上这些新工具、新技术快速发展的步伐。

有些受访者认为很多技术让人眼花缭乱,其中不乏炒作的因素,他们有时不知道该怎样面对技术的迭代更新。另外一些人认为技术和工具变更速度很快,如果缺乏敏捷性,他们不一定能保持最好的架构。

现在,企业都在使用自己熟悉的工具和技术应对数据科学的挑战。约80%的受访者表示他们目前使用数据仓库工具作为主要数据源。对于分析而言,简单的查询和数据可视化工具是最常用的。在接下来的两年中,数据仓库工具将依然广受欢迎,与此同时,Hadoop和开源R也受到更多企业的青睐。

Halper说,调查结果显示出非结构化数据查询和预测分析(包括机器学习)的强劲势头。这些新兴工具和技术似乎将在未来将彻底取代更多的工具。

“数据仓库不会消失,但它正被其他类型的平台取代,并创建一个生态系统,” Halper说, “预测分析是一项热门技术,再加上机器学习的驱动,未来的发展势头不可小觑。”

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
8月前
|
存储 运维 数据可视化
驾驭数据的能力,如同使用ChatGPT一样,是现代职场人的必修课
现代职场所比拼的除了聪明才智、过往经验之外,很多软性技能也尤为重要。现在已经不是像网络游戏开局拿着一根小木棍打天下的时代了,这将是一场武装到牙齿的较量,对于各类“装备”的驾驭能力有时候甚至可以决定胜负。
驾驭数据的能力,如同使用ChatGPT一样,是现代职场人的必修课
|
4月前
|
供应链 物联网 区块链
未来已来:新技术趋势与应用的探索之旅
【9月更文挑战第29天】在科技日新月异的时代,新兴技术如同潮水般涌现,不断重塑着我们的生活方式和工作模式。本文将深入探讨区块链、物联网、虚拟现实等技术的发展趋势和应用场景,带您领略这些技术如何引领我们进入一个全新的世界。通过分析这些技术的基本原理、实际应用案例以及面临的挑战与机遇,我们将一同思考如何利用这些新技术创造更加美好的未来。
|
5月前
|
供应链 物联网 区块链
未来触手可及:新技术趋势与应用的探索之旅
随着科技的迅猛发展,新兴技术如区块链、物联网和虚拟现实等正逐渐渗透到我们的生活中。本文将探讨这些技术的发展趋势和应用场景,并分析它们如何改变我们的世界。让我们一起踏上这场探索之旅,感受科技的力量和魅力!
|
6月前
|
机器学习/深度学习 自动驾驶 算法
探索机器学习的伦理困境与解决之道
在人工智能技术飞速发展的今天,机器学习作为其核心驱动力,正不断塑造着我们的工作和生活方式。然而,随着机器学习应用的广泛渗透,一系列伦理问题也随之浮现。本文将深入探讨机器学习领域中的伦理挑战,包括数据偏见、隐私保护、自动化失业等问题,并提出相应的解决方案和未来展望,旨在为机器学习的健康发展提供指导性建议。
91 1
|
机器学习/深度学习 人工智能 算法框架/工具
机器学习应用行业浮躁、产品差?身为工程师的你是否想转行
十几个小时前,一位机器学习工程师在 reddit 上发帖求助:ML 领域浮躁、门槛低、产品差,无法专心做东西,该不该换个领域?帖子一经发布,立刻引起了大量讨论。
144 0
机器学习应用行业浮躁、产品差?身为工程师的你是否想转行
|
Web App开发 编解码 算法
许耀武:有趣有挑战的二十年
去年12月,在Alta风景如画的谷歌园区见到了许耀武。第一次造访谷歌,与Codec领军人物会面让人充满期待和压力,直到看到耀武脸上的笑容,压力才散去。在他身上,散发着坚定、自信。在一家公司专注Codec研发二十年激起了我的好奇心,也许通过采访可以找到这背后的原因。
656 0
许耀武:有趣有挑战的二十年
|
机器学习/深度学习 人工智能 算法
银行业AI:炒作背后的现实——“尽管对新技术感到兴奋,但银行业态度非常谨慎”
在人工智能火热的今天,银行业是如何看待人工智能对其的影响呢?答案可能出人意料。
3140 0
|
人工智能 数据挖掘 大数据