企业大数据的发展与应用

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

一.我国企业大数据产业发展现状

飞速发展的大数据产业除了改变人们生活的方方面面、促进社会快速进步之外,也为企业这个社会主体带来了更为直观和有效的影响。

近年,企业级大数据应用逐渐普及,消费者行为分析、精准营销、新业务新产品推广、广告推送、代言人选择、社交媒体、可视化、溢价收益、库存管理、信贷保险等相关应用不断丰富。伴随着一批致力于商业和企业应用服务的大数据初创企业迅速成长,大数据更广泛地应用到各领域企业中。

业务转型是目前大多数企业的普遍需求,大数据分析不仅可以优化访问、加快决策、最大程度提高可用性,还可以辅助业务转型。

当前,我国企业中已经有越来越多的高管开始关注IT,不仅限于CIO。在信息爆炸的时代,企业需要更多的数据科学家来进行数据分析,甚至一些企业还设立了CDO(首席数据官)的职位,对大数据和分析进行单独的管控。这相对于没有数据提供参考,往往依靠直觉和过往的经验作出决策的企业,他们很容易误入不可挽回的误区,而利用大数据和分析则可以更好、更快速的对业务和市场把脉。

虽然大数据应用在新兴企业中受到高度重视,但未来企业大数据交易最大的应用前景会在传统行业。这不仅是由于几乎所有传统产业中的企业都在快速互联网化,更是因为传统产业仍然占据了国内生产总值的绝大部分份额。大数据交易会帮助这些传统企业更快地完成转型升级。

目前在传统行业中,金融、电信、制造、交通、医疗类企业已经成为大数据分析使用的主力。以制造企业为例,传统制造企业可以通过大数据交易获得市场终端销售情况,了解自身以及竞争对手的市场表现以及消费者的喜好类型;通过用户购买习惯及购买评价的数据获得,可以针对不同类型、不同区域消费群体实现定制化生产的精准营销;通过交易获得的产业链数据,可以降低生产成本,提升企业整体竞争力。

而以新兴的互联网金融为例,通过用户信息的获得,可以从财富、安全、守约、消费、社交等几个纬度来综合评判,为用户建立信用报告,形成以大数据为基础的海量数据库,以此帮助企业降低信贷风险。

此外,还有更多的企业正在使用着大数据分析帮助企业决策,提升用户体验,并以客户为中心造就着越来越多的新型商业模式。

(1)什么是企业大数据

企业大数据最核心的价值就是企业在对于海量数据进行收集、存储和分析之后,通过对这些数据的挖掘与分析,为提高企业运营效率、业务价值和开拓企业新业务提供参考与导向,并为企业未来发展战略提供支持,实现企业整体竞争力的提升。相比起现有的其他技术而言,大数据的“廉价、迅速和优化”使其综合成本是最优的。

(2)中国企业大数据产业发展轨迹

我国企业对大数据的应用主要可分成三个阶段:在2010年到2012年之间的第一阶段,大数据应用关注数据和机器的关系,由于局限于传统的IT思维,只不过在很多小数据应用上贴上了大数据标签;从2013年开始的第二阶段关注数据与人的关系,可视化和预测应用成为了市场的宠儿;2014年之后,大数据应用的重点已经转向分析数据和数据之间的关系,这要求对企业大数据应用进行开放式的创新:从数据的开放、共享和交易,到基础处理和分析平台的开放,再到价值提取能力的开放。

而随着企业业务外延从企业内部不断向外部、向企业所处的产业链和生态圈扩展,企业的数据视野也越来越宽,从主要关注企业内部数据,已经延伸到关注社会数据,包括交易的数据、人工合成的数据、机器的数据、社会网络的数据等在内的企业数据在不断被重新认识。

企业大数据发展轨迹

(3)企业大数据发展的意义

对于企业而言,应用大数据解决方案主要有三方面的价值。第一,能够处理以前无法处理,或者无法实时与快速处理的海量数据,包括结构化和非结构化数据。第二,企业可以利用大数据解决方案,对分布于社交网络、视频网络等各种互联网中的海量数据进行提取、整理、分析,并进而从这些新的数据中获取新的洞察力,将它与已知业务的各个细节相融合,促进企业产品和服务的营销。第三,还可以利用自己积累的或存在于互联网中的大数据,推出各种新产品和新服务。

企业大数据的意义除了重塑客户行为,利用客户交互数据重塑客户行为,这类数据使企业可以预测和引导市场尚未出现的需求,进而创造新的利润外,更多的是增强了数据生态系统的视野,因为企业可以从生态系统中的其他企业处获得补充数据,这种生态系统以适当的合作战略为基础。

(4)企业大数据发展存在的问题

①仍待落地

随着大数据的概念不断宣传推广,现在的企业如果不谈大数据,就会让人感觉落伍,让人感觉企业的管理水平已经落后于时代了。这个现象,固然有理论先行于实践导致的过分概念化的问题,虽然企业确实已经感觉到对数据进行深入使用来帮助企业增强核心竞争力的迫切需要,但如何应用好这些数据仍还处于摸索阶段。

②数据孤岛

数据孤岛是企业大数据行业发展面临的最大问题。一方面,各行业、企业和政府都在竭尽所能地采集数据、占有数据和利用数据。另一方面,大部分数据被各个行业、企业、机构和政府封锁起来,形成一个个“数据孤岛”,无法自由流通,数据之间缺少连接。

③技术鸿沟

在当下数据为王的时代,企业若要利用现有资源争取更大的市场,必须自主掌握消费者的大数据。然而,大数据的有限接入产生新的垄断和技术双重鸿沟,大数据的应用同样存在着接入和技能的双重鸿沟,这不仅浪费了数据资源,也给企业精准营销带来了难题。

④中小企业之殇

对于中小型企业来说,大数据很可能是他们不愿被揭起的“伤疤”:大数据技术是目前对企业发展起着至关重要的技能,但是对他们来说,资金的缺乏和数据联系的不成熟却使他们无法很好地使用大数据。

大数据不只是大企业的专利,更是小企业的机遇,在很多情况下,大数据都非常适合小企业使用。但是如果企业无法灵活地采取行动,即使再高明的见解也变得毫无价值。小企业通常有灵活的优势,这令其可迅速高效地完美适应数据驱动的趋势。以智能化、结构化的方式执行数据战略,是区分大数据驱动企业与基于临时想法简单利用数据的企业的最大分别。对于小型、灵活和处于发展状态的企业来说,这些基础与那些已经利用大数据多年的行业巨头来说并无明显差异。

⑤企业应如何利用大数据

在大数据时代,企业面对众多新的数据源和海量数据,能否基于对这些数据的分析进行决策,进而将其变成一项企业竞争优势的来源,这是对企业高层的挑战。面对大数据给企业带来的诸多好处,企业当前面临的问题是要如何获取与分析数据,以使企业立于不败之地。互联网是大数据的一个主要来源,然而对一些线下的传统企业来说很难获得,对于企业而言可以采取以下策略获得数据化支持。

首先、企业必须作出文化层面的调整,建立数据驱动决策的文化。大数据首先是个理念问题,即通过客观的,理性的数据来提供决策的依据。在传统的企业,尤其是取得过成功的企业,往往形成了固定的企业文化和奉为经典的管理经验,流程和制度。建立数据驱动决策的文化,就必须打破原先的以经验,流程和制度为核心的决策机制,将决策的过程数据化,客观化和扁平化。历史经验在新的竞争市场和规则下,往往已经滞后了,特别是进入互联网时代后,互联网以客户为中心,以生态链为运行模式的理念,已经对传统企业造成了颠覆性的影响。因此,只有通过建立以客观数据为驱动的扁平化的决策机制,才能更好地应对快速变化的市场和客户要求。

第二、企业要建立对应的数据管理中心的组织架构。没有一个相对完整和专业的数据管理团队,是难以发挥出大数据分析的功效。数据本身只是信息,如果不能将这些有用的信息转化为对企业有价值的决策依据,数据就只是一堆存放在仓库的废纸。要想把数据和信息转化成对企业有用的决策信息,就必须建立专业的数据管理团队,这个团队包括数据采集和处理人员,数据分析人员和数据沟通和展示人员。

第三、企业要建立顶层的数据架构设计并加以实施。在规划信息化系统建设时,需要有顶层的信息化战略规划,其中核心一环是数据架构设计和实施线路图。数据构架设计的主要目的,是确保企业的所有数据环节有统一的标准,有唯一的数据设计字典,有核心的主数据管理系统,从而保证企业数据的完整性,一致性和有效性。在有了顶层的数据架构设计后,建立合适的实施线路图,可以帮助企业在清晰的数据架构框架下,逐步建设各个信息化系统,

确保同一对象对应唯一的数据源,消除信息孤岛,提升数据的一致性和有效性。

第四、企业要建立完善的数据治理体系。如果没有完善的数据治理体系,即使有良好的顶层数据架构设计和严格的系统实施,如果缺乏数据治理的体系,数据的质量很快就会大失所望,也就难以完成驱动决策的使命,即出现“Rubbishin,RubbishOut”的糟糕状况。良好的数据治理体系,覆盖数据完整的生命周期管理,包括数据所有者的职责和权利、数据格式和标准、数据建立和变更流程、数据使用制度、数据安全制度和数据销毁流程等。

第五,企业要建立合适的数据分析的技术平台和团队。这一部分,属于传统信息部门熟悉的领域,一般是难度最小的部分。其中的困难点,是如何设计兼容传统内部数据分析和目前在不断出现的海量外部数据分析的需求,最有效地低成本建立技术平台,并且能满足未来扩展性的要求。

最后是与大数据分析和挖掘公司合作。目前,许多传统企业没有分析海量数据的能力,但是可以与目前市场上已经有的如用友、IBM等一批提供大数据分析和挖掘服务的公司合作,这是传统企业进行大数据分析可以借助的力量。

总而言之,企业应该做好数据管理,要不然只是一家囤积数据的公司。把大数据转化为落地的可以为企业发展提供建议的“小数字”。企业如果能够站在大数据这个风口上顺势而为,也许就真的可以腾飞起来。

二.企业大数据产业相关政策

由于大数据产业的飞速发展,中国在此领域的相关立法和政策显得相对滞后,而针对企业大数据产业的政策立法就更加缺失。虽然国内目前缺失对于大数据产业的相关立法,但是相关工作已经在紧张的筹备中,在国家层面的大数据产业立法具体政策没有出台之前,各地方政府已经先行一步,纷纷推出鼓励发展大数据产业的政策细则。

以贵州为例,2014年下半年,贵州省已经将发展大数据产业上升为贵州全省战略,出台了《关于加快大数据产业发展应用若干政策的意见》和《贵州省大数据产业发展应用规划纲要(2014~2020年)》,并成立以省长为组长的贵州省大数据产业发展领导小组,各项工作已经有序展开。

鉴于中国在大数据相关法律法规方面的基础较为薄弱,诸如个人隐私的界定、数据安全使用规范、数据开放标准等缺项严重。短期内很难完成立法。预计2015年,在已有的法规基础上增加条文的可能性较大。此外,大数据标准制定工作有望取得突破进展,数据交换和

数据交易标准征求意见稿有望在2015年出台,但被业界接受、认可和执行还需要时间。因为参与标准制定的多是第三方和中小企业,大企业的参与积极性不高。

针对企业大数据产业发展现状,为了使得未来相关立法切实落地,在制定政策、规章制度时应更多的运用PPP模式,保障以企业为建设和运营主体,将政府、社会的数据汇聚和管理,建立城市级开放数据的统一管理平台。

(1)市场需求及市场规模

①中国企业大数据规模分析

企业是国民经济的细胞,它的生产和经营决定着中国社会经济活动的生机和活力,企业是社会生产和流通的直接承担者,企业经济效益的增长与国家经济实力的增长、人民物质生活水平的提高息息相关。

根据国家工商管理总局数据,截止2013年底,中国企业总数达到1527.84万家,国有企业、中型企业、小微企业占比分别为1%、22.4%和76.6%。而从2014年3月份,中国实行

商事制度改革以来,新登记注册企业户数也呈现快速发展的态势,这期间,每月新注册企业维持在30万户以上,平均每天有超过1万家企业诞生,随着中国整体经济环境的趋稳,预计这一态势仍将维持。

国有企业1.01%中型企业22.40%小微企业76.59%截止2013年我国企业类型占比国有企业1.01%中型企业22.40%小微企业76.59%

虽然国有企业特别是中央管理企业,在关系国家安全和国民经济命脉的主要行业和关键领域占据支配地位,是国民经济的重要支柱,但是超过全国企业总数99%的中小企业却是国民经济和社会发展的主力军,是创新和活力的源泉,是推动经济转型升级的重要力量。

相对于中小企业,国企显然具有更多的数据沉淀,但是多年来对于数据深度、有效的使用却仍处初级阶段;资源较少的中小企业在数据的应用方面则显得更加紧迫,因为这事关企

业的定位、产品的销售、运营的好坏……对于企业的存亡至关重要。相信随着国内企业在大数据方面意识和技术的不断进步,大数据在企业的运用将更加广泛,企业除了关注于自身数据的收集和储存外,更多服务于各行企业的大数据公司也将大量涌现。企业大数据产业也将迎来快速发展的黄金时期。

随着中国企业对于大数据应用的不断加深,中国企业级大数据产业将迎来快速发展阶段。据预计,到2020年,中国企业级大数据市场应用规模将突破200亿元。

②企业大数据需求分析

2014年,大数据进入快速发展的第一阶段。需求方面,企业对于大数据的需求持续增强,各类大数据应用逐渐落地,并成为产业链的核心,企业着力培育自身的数据资产。供给方面,新兴技术推动大数据技术环境趋向成熟,行业大数据应用渐渐丰富,大数据生态系统多元化程度加强。

就企业自身而言,内部数据是其向信息化、智能化企业转型的基础。如今,企业日数据产生量动辄多少TB,而我国企业级数据中心数据储存量正在快速增长,其中,非结构化数据量更是呈指数倍增长,但是如果能有效的对于此类数据处理和分析,非结构化数据将对我国1000多万家企业提供非常有价值的信息。

(2)竞争格局

①竞争格局现状

企业大数据在中国的发展仍处初级阶段,虽然企业对于数据的运用由来已久,但是对于数据的深度挖掘,以及对海量数据相联系所形成的更加科学的结果利用仍有待提高。2014年中国大数据市场的供给结构初步形成,并与全球市场相似,呈现三角形结构,即以百度、阿里、腾讯为代表的互联网企业,以华为、联想、浪潮、曙光、用友等为代表的传统IT厂商,以九次方、亿赞普、拓尔思、海量数据等为代表的大数据企业。

2014年,大多数涉足大数据领域的企业总体发展态势良好,企业大数据业务收入稳步提升。提供大数据服务的企业并不集中,除了谷歌、IBM、亚马逊、微软等大型企业外,众多初创企业参与其中,为大数据发展带来了新的活力。大数据相关产品和服务不断成熟,企业越来越多的基于云计算面向大规模分析和应用开发大数据服务,传统IT巨头不再限于在原有解决方案基础上拓展大数据业务,而是通过一系列并购投资来提升大数据解决方案服务能力。

2014年,跨国发展的大数据企业数量明显增多。以中国市场为例,2014年除了IBM、微软、谷歌、甲骨文、亚马逊等已经在中国市场站稳脚跟的传统企业外,Teradata、Splunk、Cloudera、Tableau、Hortonworks、10Gen等大数据企业也纷纷入驻。这些企业凭借成功经验和成熟的应用模式,迅速地敲开中国市场大门,迎合用户需求。

②竞争格局展望

·数据采集和跨界竞争越发白热化

如今,在数据采集领域,互联网企业根据自身的优势展开激烈的竞争。数据源主要包括互联网数据、政府数据和企业数据,由于后两类数据的采集主体一般不变,市场相对稳定,而对于互联网数据,各大互联网企业已经认识到数据的价值所在,将在数据获取入口等方面展开激烈的竞争,小型企业在该领域很难有所作为。百度、腾讯、阿里等龙头在搜索、社交和电商方面的数据优势依然稳固,跨界整合获取数据资源将成为这些企业的战略方向。

·数据存储和交易呈现平台化竞争趋势

在数据存储和交易领域,大型企业将占据一定的优势。2015年,随着云端数据中心的不断推进和企业存储能力的开放,数据存储将会更趋于集中,大型数据平台将应运而生。传统大型IT企业和互联网企业将依靠其技术能力和数据资源,占据绝大多数的市场份额。

·数据分析和可视化呈现多样化、定制化竞争趋势

在数据分析和可视化等领域,各类企业特别是中小企业将成为市场的主力。一方面,大数据技术的开源特征和企业级计算能力的开放使得大数据分析的技术门槛逐步降低;另一方面,应用需求的多样化使得定制化服务成为主流,小型企业能够获得更多的市场发展空间。如今,越来越多的大数据初创企业将聚焦在该领域,提供各类多样化定制化的服务方案。

本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
1月前
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
90 1
|
1月前
|
存储 分布式计算 druid
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
57 1
大数据-149 Apache Druid 基本介绍 技术特点 应用场景
ly~
|
1月前
|
供应链 搜索推荐 安全
大数据模型的应用
大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。
ly~
84 2
ly~
|
1月前
|
供应链 搜索推荐 大数据
大数据在零售业中的应用
在零售业中,大数据通过分析顾客的购买记录、在线浏览习惯等数据,帮助零售商理解顾客行为并提供个性化服务。例如,分析网站点击路径以了解顾客兴趣,并利用历史购买数据开发智能推荐系统,提升销售和顾客满意度。此外,大数据还能优化库存管理,通过分析销售数据和市场需求,更准确地预测需求,减少库存积压和缺货现象,提高资金流动性。
ly~
279 2
ly~
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据在智慧金融中的应用
在智能算法交易中,深度学习揭示价格波动的复杂动力学,强化学习依据市场反馈优化策略,助力投资者获取阿尔法收益。智能监管合规利用自然语言处理精准解读法规,实时追踪监管变化,确保机构紧跟政策。大数据分析监控交易,预警潜在违规行为,变被动防御为主动预防。数智化营销通过多维度数据分析,构建细致客户画像,提供个性化产品推荐。智慧客服借助 AI 技术提升服务质量,增强客户满意度。
ly~
109 2
ly~
|
1月前
|
供应链 监控 搜索推荐
大数据的应用场景
大数据在众多行业中的应用场景广泛,涵盖金融、零售、医疗保健、交通物流、制造、能源、政府公共服务及教育等领域。在金融行业,大数据用于风险评估、精准营销、反欺诈以及决策支持;零售业则应用于商品推荐、供应链管理和门店运营优化等;医疗保健领域利用大数据进行疾病预测、辅助诊断和医疗质量评估;交通物流业通过大数据优化物流配送、交通管理和运输安全;制造业则在生产过程优化、设备维护和供应链协同方面受益;能源行业运用大数据提升智能电网管理和能源勘探效率;政府和公共服务部门借助大数据改善城市管理、政务服务及公共安全;教育行业通过大数据实现个性化学习和资源优化配置;体育娱乐业则利用大数据提升赛事分析和娱乐制作水平。
ly~
363 2
|
2月前
|
存储 数据可视化 大数据
大数据管理与应用
大数据管理与应用是一门融合数学、统计学和计算机科学的新兴专业,涵盖数据采集、存储、处理、分析及应用,旨在帮助企业高效决策和提升竞争力。核心课程包括数据库原理、数据挖掘、大数据分析技术等,覆盖数据处理全流程。毕业生可从事数据分析、大数据开发、数据管理等岗位,广泛应用于企业、金融及互联网领域。随着数字化转型加速,该专业需求旺盛,前景广阔。
130 5
|
2月前
|
存储 搜索推荐 大数据
大数据在医疗领域的应用
大数据在医疗领域有广泛应用,包括电子病历的数字化管理和共享,提升医疗服务效率与协同性;通过数据分析支持医疗决策,制定个性化治疗方案;预测疾病风险并提供预防措施;在精准医疗中深度分析患者基因组信息,实现高效治疗;在药物研发中,加速疗效和副作用发现,提高临床试验效率。此外,在金融领域,大数据的“4V”特性助力业务决策前瞻性,被广泛应用于银行、证券和保险的风险评估、市场分析及个性化服务中,提升运营效率和客户满意度。
100 6
|
2月前
|
机器学习/深度学习 数据可视化 大数据
阿里云大数据的应用示例
阿里云大数据应用平台为企业提供高效数据处理与业务洞察工具,涵盖Quick BI、DataV及PAI等核心产品。DT203课程通过实践教学,帮助学员掌握数据可视化、报表设计及机器学习分析技能,提升数据驱动决策能力。Quick BI简化复杂数据分析,DataV打造震撼可视化大屏,PAI支持全面的数据挖掘与算法应用。课程面向CSP、ISV及数据工程师等专业人士,为期两天,结合面授与实验,助力企业加速数字化转型。完成课程后,学员将熟练使用阿里云工具进行数据处理与分析。[了解更多](https://edu.aliyun.com/training/DT203)
|
2月前
|
机器学习/深度学习 人工智能 分布式计算
人工智能与大数据的融合应用##
随着科技的快速发展,人工智能(AI)和大数据技术已经深刻地改变了我们的生活。本文将探讨人工智能与大数据的基本概念、发展历程及其在多个领域的融合应用。同时,还将讨论这些技术所带来的优势与挑战,并展望未来的发展趋势。希望通过这篇文章,读者能够对人工智能与大数据有更深入的理解,并思考其对未来社会的影响。 ##