数据科学挑战重重 get新技能成当务之急

本文涉及的产品
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
简介:

随着更多新兴工具和技术的出现,许多企业正在努力应对当今大数据和数据科学生态系统的复杂性。

根据TDWI(数据仓库研究所)的最新研究,专业数据科学家的短缺仍然是企业面临的数据科学的挑战之一。

TDWI公司副总裁兼研究总监Fern Halper说:“我们经常听到很多组织表示,在数据科学环境中面临的最大挑战是找到合适的技术和工具。”

该研究收集了超过300家企业的大数据和数据科学经验。大数据分析和数据科学经验这两个主题越来越融合,因为组织需要了解过去几年中收集大量数据的工作者。

此次调查的受访者列举的其他常见挑战还有:缺乏对大数据工具的了解,缺乏利用大数据所需的企业架构,安全和隐私问题以及治理协议不足等问题。

尤其是技术方面的问题特别棘手。Halper表示,在过去几年中出现了许多新工具,包括Hadoop,Spark,Python等等,企业很难确保跟上这些新工具、新技术快速发展的步伐。

有些受访者认为很多技术让人眼花缭乱,其中不乏炒作的因素,他们有时不知道该怎样面对技术的迭代更新。另外一些人认为技术和工具变更速度很快,如果缺乏敏捷性,他们不一定能保持最好的架构。

现在,企业都在使用自己熟悉的工具和技术应对数据科学的挑战。约80%的受访者表示他们目前使用数据仓库工具作为主要数据源。对于分析而言,简单的查询和数据可视化工具是最常用的。在接下来的两年中,数据仓库工具将依然广受欢迎,与此同时,Hadoop和开源R也受到更多企业的青睐。

Halper说,调查结果显示出非结构化数据查询和预测分析(包括机器学习)的强劲势头。这些新兴工具和技术似乎将在未来将彻底取代更多的工具。

“数据仓库不会消失,但它正被其他类型的平台取代,并创建一个生态系统,” Halper说, “预测分析是一项热门技术,再加上机器学习的驱动,未来的发展势头不可小觑。”

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
2月前
|
机器学习/深度学习 人工智能 供应链
数据素养如何帮助GenAI提高陶氏化学公司的生产力
数据素养如何帮助GenAI提高陶氏化学公司的生产力
数据素养如何帮助GenAI提高陶氏化学公司的生产力
|
3月前
|
机器学习/深度学习 数据采集 供应链
探索数据科学在现实世界中的应用与挑战
本文深入探讨数据科学的实际应用,揭示其在商业、医疗和社会科学等领域的显著影响。文章首先概述了数据科学的基本概念及其重要性,然后通过具体案例分析展示了数据科学如何推动创新和决策过程。接着,讨论了在实施数据科学项目时遇到的技术、伦理和管理挑战,最后提出了未来数据科学的发展方向和潜在机遇。
|
3月前
|
机器学习/深度学习 自动驾驶 算法
探索机器学习的伦理困境与解决之道
在人工智能技术飞速发展的今天,机器学习作为其核心驱动力,正不断塑造着我们的工作和生活方式。然而,随着机器学习应用的广泛渗透,一系列伦理问题也随之浮现。本文将深入探讨机器学习领域中的伦理挑战,包括数据偏见、隐私保护、自动化失业等问题,并提出相应的解决方案和未来展望,旨在为机器学习的健康发展提供指导性建议。
61 1
|
机器学习/深度学习 人工智能 搜索推荐
在线学习的“后浪”:现代学习系统中的人工智能
在线学习的“后浪”:现代学习系统中的人工智能
177 0
在线学习的“后浪”:现代学习系统中的人工智能
|
机器学习/深度学习 数据可视化
提高数据科学家讲故事能力的5个小技巧
提高数据科学家讲故事能力的5个小技巧
109 0
|
开发者
开发者如何保持心理健康以应对职业 "倦怠危机" 呢?
开发者如何保持心理健康以应对职业 "倦怠危机" 呢?
开发者如何保持心理健康以应对职业 "倦怠危机" 呢?
|
机器学习/深度学习 人工智能 算法框架/工具
机器学习应用行业浮躁、产品差?身为工程师的你是否想转行
十几个小时前,一位机器学习工程师在 reddit 上发帖求助:ML 领域浮躁、门槛低、产品差,无法专心做东西,该不该换个领域?帖子一经发布,立刻引起了大量讨论。
133 0
机器学习应用行业浮躁、产品差?身为工程师的你是否想转行
|
机器学习/深度学习 安全 数据可视化
安全数据科学家的日常:需要做什么?将面对哪些挑战?
目前网络安全领域的工作岗位远远多于合格的人选,所以好消息是网络安全还是一个适合涉足的领域。坏消息是要保持最新状态所需的技能在快速变化。通常情况下,需求是发明的动力。