2017年大数据发展的十大趋势以及在各行业的应用潜力

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
数据安全中心,免费版
简介:

2016年,大数据已从前两年的预期膨胀阶段、炒作阶段转入理性发展阶段、落地应用阶段。2017年,大数据依然处于理性发展期,依然存在诸多挑战,但前景依然非常乐观。2017年大数据的发展呈现十大趋势:

趋势1:越来越多的企业实现数据孤岛的打通,驱动大数据发挥更强的威力

企业启动大数据最重要的挑战是数据的碎片化。在很多企业中尤其是大型的企业,数据常常散落在不同部门,而且这些数据存在不同的数据仓库中,不同部门的数据技术也有可能不通,导致企业内部数据无法打通。若不打通,大数据的价值则难以挖掘。大数据需要不同数据的关联和整合才能更好的发挥理解客户和理解业务的优势。将不同部门的数据打通,并且实现技术和工具共享,才能更好的发挥企业大数据的价值。

刚刚过去的2016年,无论是企业还是政府机构,都在不同程度的展开了大数据的工作,并意识到了内部数据打通,解决内部数据孤岛是启动大数据战略的重要基础。但是,大部分企业和机构内部数据打通的工作做的并不到位。2017年,我们有理由相信,更多企业会有更大的决心去推动内部数据打通,并在此基础上,构建与外部数据打通的基础,实现内外部数据打通,更好的发挥大数据关联和整合的业务价值。

趋势2:大数据在企业管理中落地,大数据和企业精细化经营结合更为紧密

很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求。由于业务部门需求不清晰,大数据部门又为非盈利部门,导致很多企业在搭建大数据部门时犹豫不决,或者处于观望尝试的态度,从根本上影响了企业在大数据方向的发展,也阻碍了企业积累和挖掘数据资产。

甚至由于数据没有应用场景,企业删除了很多有价值的历史数据,导致企业数据资产流失。因此,这方面需要大数据从业者和专家一起,推动和分享大数据应用场景,让更多的业务人员了解大数据的价值。

一种新的技术往往在少数行业应用取得了好的效果,对其他行业就有强烈的示范效应。2016年,大数据在互联网、电信、金融、零售等行业取得了较好的效果。在2017年的经济大环境下,更多的企业和机构会更注重精细化经营,大数据作为一种从数据中创造新价值的工具,将会在许多行业的企业得到应用,驱动业绩增长。大数据将在帮助企业更好的理解和满足客户需求和潜在需求,更好的应用在业务运营智能监控、精细化企业运营、客户生命周期管理、精细化营销、经营分析和战略分析等方面。

趋势3:大数据已经成为企业或机构的无形资产,将成为企业参与市场竞争的新武器

在移动互联网和大数据时代,每一个企业日常运营中所产生的大数据都将成为企业最为重要的无形资产。随着2017年大数据应用的发展,大数据价值得以充分的体现,大数据在企业和社会层面成为重要的战略资源,数据成为新的战略制高点,是大家抢夺的新焦点。如何有效的管理企业每日所产生的数据,从海量的数据中挖掘并沉淀有价值的数据,并把这些有价值的数据作为驱动业务增长的重要引擎,均为数据作为无形资产管理的重要任务。

Google、亚马逊、腾讯、百度、阿里巴巴和360、今日头条等互联网企业通过不断的挖掘和沉淀大数据,利用大数据驱动业务的增长;金融和电信企业也在运用大数据来提升自己的竞争力。这些企业均有一个共同的特点,即成立了大数据部门对企业大数据做重点管理和应用,真正的把大数据作为无形资产管理和应用起来。

我们有理由相信,在2017年越来越多的企业和机构将大数据定位为企业的无形资产,并对大数据无形资产做系统化的管理和应用。大数据作为无形资产将成为提升机构和企业竞争力的有力武器。

趋势4:大数据能力产品化,驱动越来越多自助服务出现

大数据能力在企业应用时,需要以非常简单易用的方式来呈现,才能让更多的数据用户使用。企业数据用户(往往是业务、产品、营销负责人等非大数据专业人士)在实际运用大数据的时候,更关注的是大数据的产品在哪些方面可以直接帮助提升绩效,不需要关注大数据产品背后的分析模型等“黑洞”。因此大数据在业务具体的场景运用时,关键是把大数据分析能力产品化,构建简单易用的数据产品。

另外,随着大数据专家的成本上升,越来越多的企业也会寻求简单易用成本相对较低的第三方数据产品。国际知名咨询机构IDC预测,可视化数据发现工具的增长速度将比商业智能(BI)市场的其余工具快2.5倍。到2018年,投入于支持最终用户自助服务的这种工具将成为所有企业的要求。诸多大数据厂商已经发布了拥有“自助服务”功能的大数据分析工具。

趋势5:大数据算法越来越智能化,深度学习将更为普及

知名IT研究与顾问咨询公司Gartner认为,机器学习是2017年的十大战略技术趋势之一。在2017年,随着大数据分析能力不断增强,越来越多的企业开始投入于机器学习,并从中获益。企业可以通过机器学习算法识别潜在客户,或识别即将流失的客户,或识别营销推广中作弊的渠道,或及时发现关键KPI下跌的原因等。总之,机器学习可以驱动企业运营更加智能化。

我们认为,随着机器学习的大规模应用和发展,越来越多的企业将使用深度学习算法,使用深度学习算法将会使得预测更为准确。深度学习是机器学习领域中一系列试图使用多重非线性变换对数据进行多层抽象的算法,互相关联的多层级为深度学习提供了“深度”,相较于传统的机器学习算法来说,是一个巨大的进步,尤其是卷积神经网络等深度学习算法,将会越来越受欢迎。

趋势6:大数据和人工智能深度融合,成为人工智能发展的重要驱动力

AlphaGo是2016年最令人深刻的人工智能研究成果,AlphaGo引起了大家对人工智能的高度关注。但是,人工智能的发展还停留在弱人工智能阶段,目前很难超越人类认知能力,甚至也达不到与人类匹配的认知能力。但我们不可否认人工智能在实践中的进步,比如语音识别和图像理解方面的进步。企业可以在合适的场景中运用这些逐渐成熟的语音和图像识别的技术。

未来人工智能的发展,取决于两个方面:一方面是深度学习算法技术的成熟和计算效率的提升;另一方面取决于海量数据或大数据的发展。这是因为,深度学习算法要发挥作用必须先接受训练。比如,机器要学会识别图片中的狗,必须先被输入一个包含数量上万或者数十万的标记为狗的 “训练集”,这个训练集数量越大,狗的种类越全,机器学习的效果越好。

人工智能专家吴恩达曾把人工智能比作火箭,其中深度学习是火箭的发动机,大数据是火箭的燃料,这两部分必须同时做好,才能顺利发射到太空中。因此,对于深度学习和人工智能,需要越来越多的数据。国际上互联网巨头除了自身业务可以采集到海量的数据以外,正在用更开放的策略吸引第三方的数据输入,以充实其大数据,更好的促进人工智能的所依赖的大数据基础。

趋势7:大数据促进智慧生活和智慧城市的发展

随着大数据与智能硬件的结合发展,大数据将进一步改善我们的生活。

在健康方面,我们可以利用智能手环监测,对我们的睡眠模式来进行追踪,了解睡眠质量;我们可以利用智能血压计、智能心率仪远程的监控身在异地的家里老人的健康情况,让远在他方的外出工作者更加放心;

在出行方面,我们可以利用智能导航出行GPS数据了解交通状况,并根据拥堵情况进行路线实时调优;

在居家生活方面,大数据将成为智能家居的核心,智能家电实现了拟人智能,产品通过传感器和控制芯片来捕捉和处理信息,可以根据住宅空间环境和用户需求自动设置控制,甚至提出优化生活质量的建议,如可以根据室内温度自动调整空调的温度、根据空气质量来决定是否要打开空气净化器等。

同时,随着大数据和智慧城市的融合,大数据在智慧城市将发挥着越来越重要的作用。由于人口聚集给城市带来了交通、医疗、建筑等各方面的压力,需要城市能够更合理地进行资源布局和调配,而智慧城市正是城市治理转型的最优解决方案。智慧城市是通过物与物、物与人、人与人的互联互通能力、全面感知能力和信息利用能力,通过物联网、移动互联网、云计算等新一代信息技术,实现城市高效的政府管理、便捷的民生服务、可持续的产业发展。

智慧城市相对于之前数字城市概念,最大的区别在于对感知层获取的信息进行了智慧的处理。由城市数字化到城市智慧化,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术。大数据是智慧城市的核心智慧引擎。智慧安防、智慧交通、智慧医疗、智慧城管等,都是以大数据为基础的的智慧城市应用领域。

趋势8:工业大数据成为工业互联网发展的重要引擎

工业大数据是指在工业领域信息化应用中所产生的大数据。随着工业信息化的进一步发展,工业企业也进入了互联网工业新的发展阶段。信息技术和大数据分析技术渗透到了工业企业产业链的各个环节,条形码、二维码、RFID、工业传感器等技术在工业企业得到广泛应用,工业企业所拥有的数据也日益丰富,从而进一步形成了工业大数据。工业设备所产生、采集和处理的数据量非常大,而且非结构化数据也非常多。因此,工业大数据的处理和有效挖掘也成为重要的课题。工业大数据应用将成为工业企业创新和发展的重要引擎。

工业大数据在工业企业有诸多方面的应用:

(1)在产品创新方面,企业可以对客户使用产品过程中的行为进行数据上报及分析,以了解客户需求和行为,从而启发创新;

(2)在产品故障诊断与预测方面,企业可以对产品运行过程中的各种关键运行参数实时分析,以实现故障诊断和预测,如GE在航空发动机实现物联网连接,通过传感器把发动机运行时的各种关键参数实施回传到云端进行实时分析;

(3)在工业生产流程优化方面,利用大数据可以掌握某个流程是否偏离标准,快速发出报警及时调优;或监控生产过程中的能耗异常环节,从而进行能耗的优化;

(4)在工业生产故障分析及预测方面,通过智能传感器等数据传输设备,把工业生产流程中关键设备的实时参数状态回传到云端并进行实时分析,实时掌握异常情况,并作出预警和预测,提前进行检测;

(5)在供应链优化方面,对市场数据、客户数据、企业内部数据、供应商数据等相关供应链数据进行集成和关联分析,以实现仓储和配送的优化,提升生产和销售的效率。

趋势9:随着大数据的全方位发展,大数据安全机遇和挑战并存

随着大数据的发展和落地,大数据的安全稳定也将会逐渐被重视。对于拥有大数据厂商来说,最大的挑战就是数据安全;对于安全厂商来说,最大的机遇也是数据安全。网络和数字化生活也使得犯罪的分子更容易获取关于他人的信息,也有更多的骗术和犯罪手段出现,所以,在大数据时代,无论对于数据本身的保护,还是对于由数据而演变的一些信息的安全,对大数据分析有较高要求的企业将至关重要。

大数据安全是跟大数据业务相对应的,与传统安全相比,大数据安全的最大区别是安全厂商在思考安全问题的时候首先要进行业务分析,并且找出针对大数据的业务的威胁 ,然后提出有针对性的解决方案。比如,对于数据存储这个场景,目前很多企业采用开源软件如Hadoop技术来解决大数据问题,由于其开源性,但是其安全问题也是突出的。因此,市场需要更多专业的安全厂商针对不同的大数据安全问题来提供专业的服务。

另外,在大数据应用日益重要的今天,数据资源的开放共享已经成为在数据大战中保持优势的关键。商业数据、政府机构数据和个人数据的共享应用,不仅能促进相关产业的发展,也能给我们的生活带来巨大的便利。但是,制约我国数据资源开放和共享的一个重要因素是政策法规有待进一步完善,开放与隐私保护如何平衡。如何在推动数据全面开放、应用和共享的同时有效地保护公民、企业隐私,逐步加强隐私立法,将是大数据时代的一个重大挑战。

趋势10:大数据人才需求增多,越来越多的机构参与到大数据人才培育中

一个新行业的出现,必将在工作职位方面有新的需求,大数据的出现也将推出一批新的就业岗位,例如,大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等等。具有丰富经验的数据分析人才将成为稀缺的资源,数据驱动型工作将呈现爆炸式的增长。

而由于有强烈的市场需求,高校也将逐步开设大数据相关的专业,以培养相应的专业人才。企业也将和高校紧密合作,协助高校联合培养大数据人才。如IBM 全面推进与高校在大数据领域的合作,引入强大的研发团队和业务伙伴,推动“大数据平台”和“大数据分析”的面向行业产学研创新合作以及系统化知识体系建设和高价值人才培养。

大数据建设的每个环节都需要依靠专业人员完成,因此,必须培养和造就一支掌握大数据技术、懂管理、有大数据应用经验的大数据建设专业队伍。目前大数据相关人才的欠缺将阻碍大数据市场发展。大数据的相关职位需要的是复合型人才,能够对数学、统计学、数据分析、机器学习和自然语言处理等多方面知识综合掌控。

未来,大数据将会出现约超过百万的人才缺口,在各个行业大数据中高端人才都会成为最炙手可热的人才,涵盖了大数据的数据开发工程师、大数据分析师、数据架构师、大数据后台开发工程师、算法工程师等多个方向,因此需要高校和企业共同努力去培养和挖掘。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
21天前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
66 1
|
25天前
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
48 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
ly~
|
25天前
|
供应链 搜索推荐 安全
大数据模型的应用
大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。
ly~
58 2
ly~
|
1月前
|
供应链 搜索推荐 大数据
大数据在零售业中的应用
在零售业中,大数据通过分析顾客的购买记录、在线浏览习惯等数据,帮助零售商理解顾客行为并提供个性化服务。例如,分析网站点击路径以了解顾客兴趣,并利用历史购买数据开发智能推荐系统,提升销售和顾客满意度。此外,大数据还能优化库存管理,通过分析销售数据和市场需求,更准确地预测需求,减少库存积压和缺货现象,提高资金流动性。
ly~
183 2
ly~
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据在智慧金融中的应用
在智能算法交易中,深度学习揭示价格波动的复杂动力学,强化学习依据市场反馈优化策略,助力投资者获取阿尔法收益。智能监管合规利用自然语言处理精准解读法规,实时追踪监管变化,确保机构紧跟政策。大数据分析监控交易,预警潜在违规行为,变被动防御为主动预防。数智化营销通过多维度数据分析,构建细致客户画像,提供个性化产品推荐。智慧客服借助 AI 技术提升服务质量,增强客户满意度。
ly~
71 2
ly~
|
1月前
|
供应链 监控 搜索推荐
大数据的应用场景
大数据在众多行业中的应用场景广泛,涵盖金融、零售、医疗保健、交通物流、制造、能源、政府公共服务及教育等领域。在金融行业,大数据用于风险评估、精准营销、反欺诈以及决策支持;零售业则应用于商品推荐、供应链管理和门店运营优化等;医疗保健领域利用大数据进行疾病预测、辅助诊断和医疗质量评估;交通物流业通过大数据优化物流配送、交通管理和运输安全;制造业则在生产过程优化、设备维护和供应链协同方面受益;能源行业运用大数据提升智能电网管理和能源勘探效率;政府和公共服务部门借助大数据改善城市管理、政务服务及公共安全;教育行业通过大数据实现个性化学习和资源优化配置;体育娱乐业则利用大数据提升赛事分析和娱乐制作水平。
ly~
248 2
|
2月前
|
存储 数据可视化 大数据
大数据管理与应用
大数据管理与应用是一门融合数学、统计学和计算机科学的新兴专业,涵盖数据采集、存储、处理、分析及应用,旨在帮助企业高效决策和提升竞争力。核心课程包括数据库原理、数据挖掘、大数据分析技术等,覆盖数据处理全流程。毕业生可从事数据分析、大数据开发、数据管理等岗位,广泛应用于企业、金融及互联网领域。随着数字化转型加速,该专业需求旺盛,前景广阔。
105 5
|
2月前
|
存储 搜索推荐 大数据
大数据在医疗领域的应用
大数据在医疗领域有广泛应用,包括电子病历的数字化管理和共享,提升医疗服务效率与协同性;通过数据分析支持医疗决策,制定个性化治疗方案;预测疾病风险并提供预防措施;在精准医疗中深度分析患者基因组信息,实现高效治疗;在药物研发中,加速疗效和副作用发现,提高临床试验效率。此外,在金融领域,大数据的“4V”特性助力业务决策前瞻性,被广泛应用于银行、证券和保险的风险评估、市场分析及个性化服务中,提升运营效率和客户满意度。
67 6
|
2月前
|
机器学习/深度学习 数据可视化 大数据
阿里云大数据的应用示例
阿里云大数据应用平台为企业提供高效数据处理与业务洞察工具,涵盖Quick BI、DataV及PAI等核心产品。DT203课程通过实践教学,帮助学员掌握数据可视化、报表设计及机器学习分析技能,提升数据驱动决策能力。Quick BI简化复杂数据分析,DataV打造震撼可视化大屏,PAI支持全面的数据挖掘与算法应用。课程面向CSP、ISV及数据工程师等专业人士,为期两天,结合面授与实验,助力企业加速数字化转型。完成课程后,学员将熟练使用阿里云工具进行数据处理与分析。[了解更多](https://edu.aliyun.com/training/DT203)
|
2月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能与大数据的融合应用##
随着科技的快速发展,人工智能(AI)和大数据技术已经深刻地改变了我们的生活。本文将探讨人工智能与大数据的基本概念、发展历程及其在多个领域的融合应用。同时,还将讨论这些技术所带来的优势与挑战,并展望未来的发展趋势。希望通过这篇文章,读者能够对人工智能与大数据有更深入的理解,并思考其对未来社会的影响。 ##