大数据与分析是企业创新的核心

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

ZD至顶网软件频道消息: 当今时期,以互联网、物联网、云计算等信息技术结合而成的“大数据时代”信息浪潮已经来临。

大数据与分析是企业创新的核心

IBM在大数据领域的优势

“在全球的IT发展上,大数据这个领域是最活跃的领域。IBM正在加速向大数据方向转型。“IBM大中华区大数据与分析事业部总经理钟泽敏在最近的媒体沟通会上谈及年初成立了大数据分析事业部的初衷。他表示,IBM此次全球性的调整是根据市场大数据分析做的,把不同的部门重新放在同一个地方。这样对客户的需求反应更快,更合理。另外,他介绍,数据分析部门,主要分三块,一是数据分析的平台。二是解决方案。大数据分析未来发展的方向是以行业为主导的。三是包括行业专家和云服务,包括软件功能、云服务战略、服务团队和市场推广。

在谈及IBM在大数据领域的优势时,钟泽敏认为,IBM比其他公司比较有利的地方,是在于我们对未来市场需求的看法在转变。比如,IBM最近宣布与美国的的Weather company达成合作,通过天气的分析为各行业的商家提供预测的商业数据。

“多年来,IBM在市场上其实最多的积累就是客户的积累,对于各行各业的了解非常深刻,从产品部门到服务部门,对国内的银行、电信、政府、制造、医疗等等各个行业都做过大量的项目,了解客户的业务流程。真正要做到企业级,还是要对企业的业务进行了解,这是IBM的优势。”

认识大数据的两大误区

当我们谈论大数据时往往会形成很多的误区,IBM大中华区大数据与分析事业部数据平台方案总经理刘胜利认为,Hadoop系统的确是大数据有代表性的平台,但是大数据并不等于Hadoop。近2年Spark很热门,是大数据非常火的平台,但是也不意味着大数据就是Spark。

IBM非常强调大数据的分析和挖掘能力,数据多并不是价值,只有把数据里面的商业流程挖掘出来才是大数据的价值。

“一两个抽样数据拿出来,,这不叫大数据。” 刘胜利表示,抽样数据是典型的在计算机产生之前就存在的抽样调查,美国总统选举前做抽样调查,数百年前就已经存在了。

企业级挖掘大数据的价值

毋庸置疑,大数据是当前的潮流,在互联网的应用层出不穷,企业管理决策也越来越受预测性分析和大数据分析的影响,依靠直觉做决定的情况将会被彻底改变。那么,企业级的客户会关心如何应用技术来实现创新?会关心用应用大数据分析系统以后,如何实现高可用性、稳定性、可靠性?

开源可以解决一些问题吗?“开源里面没有一个正式的支持体系,刘胜利认为,太开放了,里面很新,匹配性做得不一定好,这需要做开源的人要有非常高的水平。” “国内能够用开源的这些代码去开发,做二次开发和支撑的企业级用户,不超过10家。刘胜利认为,因为企业的核心竞争力不在IT上,企业的精力应该在核心应用,而不是花大量的时间研究开源。他表示,开源是一件好事,但是对于企业级来讲要打一个问号,要慎重的考虑是不是要用开源,要养最少10个人的团队去做。

刘胜利表示,“IBM在大数据的领域的策略是把大数据应用于企业级。IBM在全球100多年的历史,一直把自己的策略定位为服务于企业级的客户,帮助他们提高竞争力,帮助他们去挣钱。”

企业使用大数据和互联网的企业使用大数据显然有非常明显的不一样,企业级的客户非常关注流程。刘胜利解释,“就是说大数据来了,企业原有的业务流程需要整合。会关注数据的挖掘,而不是堆积数据。更重要的是如何用大数据,不是说技术如何先进,而是技术对于行业创新有什么样的帮助,这是客户最关注的核心。”

“IBM非常强调大数据的分析和挖掘能力,数据多并不是价值,只有把数据里面的商业流程挖掘出来才是大数据的价值。” 刘胜利这样认为。IBM在美国,跟Facebook、Twitter开展战略合作,针对大量的社交数据,帮助企业用户勾勒一个客户360度的视图,做更好、更精准的营销。

流,大数据的热门技术

流是当前大数据当中的一个热门的技术。在9•11之后IBM最早做出来,就是把当前摄像信息、录像信息、监控信息抓出来,能够快速分析、及时预警。目前已经进行了商业化,变成了所谓的流技术。

流可以做什么?刘胜利举三个例子。天气预报的瞬间变换数据采集量非常大,IBM在国内某一个大的河流流域帮助做天气预报的预测,以便于做水力发电和流域自然环境的控制。在航空领域实施流的解决方案。大家一上飞机,空姐就拿上来一张报纸说你是我们的什么客户,送你一张报纸,或者你想吃什么餐。这觉得挺平常的服务,其实背后是采用流计算技术,针对进行毫秒级处理,实时拿到VIP客户的名单。更关键的不光是对于旅客的服务,飞机本身实时数据的监控处理数据量非常大,飞机在飞行过程当中,飞机本身以及飞机相关的各种子系统,和外界交流的这种控制系统产生了大量的信息,这些信息被送到流处理的系统,非常实时的处理,另外,在公共场所、重大节日,一些公园,通过流技术实时采集人流的手机移动信息进行人流监控方面。

“IBM做出来这样的产品,能够迅速把大数据平台搭建起来,聚焦在做行业的应用,做大数据的业务流程改造以及业务的创新,而不是很细节的这些某个产品的技术。”刘胜利表示,“这就是IBM希望做到的,而且已经帮助企业做到的技术。”

IBM的大数据分析产品SPSS

IBM很关注大数据分析,刘胜利认为“IBM关注的是大数据之下的分析,强调的重点是在分析、挖掘、预测。”

他介绍,大数据分析和挖掘用SPSS产品是非常有效的,包括对于客户的保留,同时针对本身的一些运营计划、门类、销售种类、销售预测等等,做到很细节的分析。

对于机器和设备的挖掘也是在广泛使用。在一些产品的制造过程中都会产生次品,这些分析挖掘,及早发现问题,也有利于这些次品早下线,让企业降低生产成本。这是一个制造业的例子,也会广泛的应用到新一代的智能制造当中。保险行业当中,包括客户投诉等等也是广泛应用的。

大数据分析应用于物联网

互联网+是传统行业和互联网的渗透,互相提升。“谈到互联网+概念,其实在所有的概念里面,在所有的战略、方针和趋势当中讨论的是一个核心的技术基础。” IBM大中华区大数据分析事业部行业解决方案总经理刘咏梅认为,是物联网。她介绍,物联网发展重要的趋势就是两化融合就是信息化和工业化的融合。就是因为从信息化的角度和工业化的角度不融合,达不到提高层次,达不到去创新。随着工业4.0 和中国制造2025的发展,会真正加快两化融合的脚步,或者说真正能够从一定程度上实现两化融合。

IBM的物联网是万物互联,强调一个新的生态系统,IBM大中华区大数据与分析事业部市场总监孙丽军认为,“没有任何一个人能够在外部互联中独自完成任务,只有在生态链才能共同完成IoT。”

中国制造2025比较着重于在工业领域、制造领域、消费电子领域等的拓展。刘咏梅认为,中国制造2025或是智能制造,应该是以物联网为基础在某些行业的实践。这么去定位它们之间相互的关系。

IBM在全球是跟其他非常多的相关领域的领导者或者公司在物联网的研究、创新和实践联盟组织中占了非常重要的位置。刘咏梅介绍,在业界有一个工业4.0平台组织,IBM是非常关键的一个组织成员,拥有智慧工厂研究平台,智慧的数据创新实验室和工业互联网联盟。在这个平台贡献想法,交流创新,把自己的想法通过不同的方式去落地和实践,这就是一个组织要去做的事情。

刘咏梅通过某品牌汽车研究汽缸的零件的具体案例,来介绍IBM大数据分析在物联网应用。有两个生产线,其中一条的次品率比别的次品率高。大家都在一个地方,怎么它的次品率就比别的高呢?于是IBM抓取了非常多的历史基础数据,包含环境的数据。最后发现,这个生产线在下午两点的次品率比较高。这是什么原因呢?是因为阳光照射进来温度会高,零件生产之后是液体的应在30秒内固化,因为受温度的影响,这个零件会发脆,严重影响生产。刘咏梅表示,在生产过程当中IBM提供相应的大数据解决方案,在工业4.0和物联网充分释放价值。

大数据分析给生产制造行业带来的价值。在中国怎么往前走?刘咏梅认为,“其实在过程中是不断演进的,要边学习、边研究、边探讨。”她介绍目前普遍认知的过程是,第一阶段,把智能工厂做起来,接下来,把智能工厂和相应的供应链集成在一起,最后,把多个供应链集成在一起。

“在整个打通合作链的过程当中,IBM都有相应的解决方案帮助客户去做。” 刘咏梅认为,在这个场景中进行协同合作,从而进行创新,提升竞争力。

原文发布时间为:2015年9月11日
本文作者:邓晓蕾
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2天前
|
存储 大数据 测试技术
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
在大数据环境中,数据存储格式直接影响查询性能和成本。本文探讨了 Parquet、Avro 和 ORC 三种格式在 Google Cloud Platform (GCP) 上的表现。Parquet 和 ORC 作为列式存储格式,在压缩和读取效率方面表现优异,尤其适合分析工作负载;Avro 则适用于需要快速写入和架构演化的场景。通过对不同查询类型(如 SELECT、过滤、聚合和联接)的基准测试,本文提供了在各种使用案例中选择最优存储格式的建议。研究结果显示,Parquet 和 ORC 在读取密集型任务中更高效,而 Avro 更适合写入密集型任务。正确选择存储格式有助于显著降低成本并提升查询性能。
22 1
用于大数据分析的数据存储格式:Parquet、Avro 和 ORC 的性能和成本影响
|
16天前
|
分布式计算 Hadoop 大数据
Jupyter 在大数据分析中的角色
【8月更文第29天】Jupyter Notebook 提供了一个交互式的开发环境,它不仅适用于 Python 编程语言,还能够支持其他语言,包括 Scala 和 R 等。这种多语言的支持使得 Jupyter 成为大数据分析领域中非常有价值的工具,特别是在与 Apache Spark 和 Hadoop 等大数据框架集成方面。本文将探讨 Jupyter 如何支持这些大数据框架进行高效的数据处理和分析,并提供具体的代码示例。
25 0
|
9天前
|
存储 大数据 数据挖掘
【数据新纪元】Apache Doris:重塑实时分析性能,解锁大数据处理新速度,引爆数据价值潜能!
【9月更文挑战第5天】Apache Doris以其卓越的性能、灵活的架构和高效的数据处理能力,正在重塑实时分析的性能极限,解锁大数据处理的新速度,引爆数据价值的无限潜能。在未来的发展中,我们有理由相信Apache Doris将继续引领数据处理的潮流,为企业提供更快速、更准确、更智能的数据洞察和决策支持。让我们携手并进,共同探索数据新纪元的无限可能!
53 11
|
17天前
|
分布式计算 数据可视化 大数据
Vaex :突破pandas,快速分析100GB大数据集
Vaex :突破pandas,快速分析100GB大数据集
|
16天前
|
大数据 机器人 数据挖掘
这个云ETL工具配合Python轻松实现大数据集分析,附案例
这个云ETL工具配合Python轻松实现大数据集分析,附案例
|
16天前
|
数据采集 人工智能 安全
AI大数据处理与分析实战--体育问卷分析
本文是关于使用AI进行大数据处理与分析的实战案例,详细记录了对深圳市义务教育阶段学校“每天一节体育课”网络问卷的分析过程,包括数据概览、交互Prompt、代码处理、年级和学校维度的深入分析,以及通过AI工具辅助得出的分析结果和结论。
|
18天前
|
消息中间件 前端开发 安全
第三方数据平台技术选型分析
这篇文章分析了第三方数据平台的技术选型,涵盖了移动统计平台、自助分析平台和BI平台的不同代表厂商,讨论了它们的数据源、使用要求和适用场景。
31 2
|
19天前
|
存储 JSON 关系型数据库
MySQL与JSON的邂逅:开启大数据分析新纪元
MySQL与JSON的邂逅:开启大数据分析新纪元
|
20天前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
14天前
|
存储 分布式计算 数据处理
MaxCompute 的成本效益分析与优化策略
【8月更文第31天】随着云计算技术的发展,越来越多的企业选择将数据处理和分析任务迁移到云端。阿里云的 MaxCompute 是一款专为海量数据设计的大规模数据仓库平台,它不仅提供了强大的数据处理能力,还简化了数据管理的工作流程。然而,在享受这些便利的同时,企业也需要考虑如何有效地控制成本,确保资源得到最优利用。本文将探讨如何评估 MaxCompute 的使用成本,并提出一些优化策略以降低费用,提高资源利用率。
14 0