大数据让商业智能和预测分析如虎添翼

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

本文讲的是大数据让商业智能和预测分析如虎添翼,我们都知道,预测分析一直是“象牙塔里”统计学家和数据科学家的“特权”,他们远离日常业务决策者。大数据将改变这种状况。

  随着越来越多的数据流被放到网上,并整合到现有的BI、CRM、ERP和其他关键业务系统,预测分析最终将成为关注的焦点。虽然大多数客户服务代表和现场销售代表还没有感受到这种影响,IBM和MicroStrategy等公司已经开始行动。

  大数据:预测分析不再是统计学家的特权

  想象一下这样的世界,客户服务代表可以独立决定一个问题客户是否值得保留或者升级,又或者,销售人员可以基于人们对零售商在Facebook或Twitter上的评价来调整零售商的产品量。

  大数据将组群分析和回归分析等较常用的工具交到日常管理人员手中,然后他们可以使用非交易数据来做出战略性的长期的业务决定。

  然后,大数据并不是要取代传统BI工具,Gartner研究公司的BI分析师Rita Sallam表示,大数据将让BI更有价值和更有利于业务发展,“我们总是会需要看看过去的数据,当你拥有大数据时,你更应该这样做。BI并不会消失,它通过大数据被加强了。”

  你如何知道在发现初始阶段看到的预测会随着时间的推移而得到证明呢,例如,在中西部地区,红色钱包真的卖得比蓝色钱包好吗?初步数据分析可能会这样建议,因为上一季度(甚至更早期)红色钱包卖得更多,所以红色钱包卖得更好。

  但是这具有相关性,并不存在因果关系。如果你更加仔细地查看---使用从BI工具收集到的历史交易数据,你会发现,实际上是因为最新商家定位活动造成了这样的结果,因为商家将目光都放在红色钱包上。

  这也是为什么IBM公司的新兴技术主管David Barnes更倾向于参考来自大数据技术(例如Hadoop、map/reduce等)的结果。例如,你不会想基于对Twitter流的情感分析来作出关键业务决策。

  分析社交媒体中的非结构数据能够获得直接回报

  社交媒体存在很大的商机。例如,作为零售商,你发现Justin Bieber的分析非常喜欢他在昨晚演唱会穿的外套,并且有人在Twitter上表示他从你的商店买到了一件,然后你可以快速决定增加那件外套的存货量,因为你知道这件衣服将非常热门,但只是在非常有限的时间内。

  如果没有预测分析(PA),你很可能错过这个机会。

  “在过去,我们会根据历史数据来做决定,但现在时代不同了,”Barnes表示,“现在我们需要预测分析。”

  我们需要结合开源技术(大多数大数据平台都源自开源)、摩尔定律、商品硬件、云计算以及捕捉和存储大量非交易数据的能力来实现预测目的。

  通常被认为是大数据背后的驱动力的非结构化数据(例如视频和电子邮件)几乎没有参与这一过程。你可以刷博客和用户论坛,然后将这些信息与地理数据相关联,并结合现有结构化客户数据,和来自Micro Strategy Wisdom引擎(追踪1400万Facebook用户对你的品牌的评价)等新来源的信息,这样你就获得了强大的预测能力。

  BI供应商MicroStrategy公司的行业营销主管P.K.Paleru表示,大数据已经发生了两件事情,“你可能给结合不同来源的各种类型的数据,你还可以对所有这些数据进行微优化。”

  缩短大数据分析时间

  信息管理和分析咨询公司New Vantage Partners公司的创始人兼管理合伙人Paul Barth表示,这种分析的一个很大优势在于缩短“回答时间”(TTA),数据科学家曾经需要花几个月时间来建立查询或者模型以回答关于供应链或生产计划的前瞻性业务问题,现在只需要几个小时就可以完成。

  这是因为大数据技术允许信息在被优化或者关系化之前进行分析。再加上高级分析技术,让业务经理在非常短的时间内询问和回答问题,不过,现在仍然需要IT员工和数据建模人员伸出援助之手。

  “这些人正在使用大数据来自动化机器学习等过程,”Barth表示,这样做可以为每个产品线、每个市场产生20000个数据模型,让用户可以预测未来18个月。“这是一个很大的变化,他们之所以能这样做是因为大数据技术可以自动化很多建模步骤,并可以在无人职守的情况下执行。”

  在不久前,这几乎是不可能的,统计分析师需要数周甚至数月来建立单个模型。如果你销售100个产品,你的整个产品线不可能超过1000个模型,这意味着这些模型返回的信息并不是很准确。

  大数据分析的黄金时期还未到来

  虽然这一切让业务用户感到激动,但是大范围普及大数据分析技术并不会那么快发生。Hadoop虽然很强大,仍然只是用于处理海量数据集的“原始”工具。

  仔细考虑一下这些预测分析结果的实用性,1亿个人的意见真正超过10万人的意见吗?

  “存在大量的重复的数据,”Barth表示,如果你想要正确地进行分析,“你仍然需要聪明的分析师”,幸运的是,大数据为他们提供了非常强大的工具。

作者: 邹铮

来源: IT168

原文标题:大数据让商业智能和预测分析如虎添翼

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
17天前
|
存储 机器学习/深度学习 SQL
大数据处理与分析技术
大数据处理与分析技术
63 2
|
2月前
|
SQL 消息中间件 分布式计算
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
大数据-124 - Flink State 01篇 状态原理和原理剖析:状态类型 执行分析
69 5
|
6天前
|
机器学习/深度学习 存储 大数据
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系
在大数据时代,高维数据处理成为难题,主成分分析(PCA)作为一种有效的数据降维技术,通过线性变换将数据投影到新的坐标系,保留最大方差信息,实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现,探讨其在图像压缩、特征提取等领域的应用,并指出使用时的注意事项,旨在帮助读者掌握这一强大工具。
24 4
|
8天前
|
机器学习/深度学习 分布式计算 算法
【大数据分析&机器学习】分布式机器学习
本文主要介绍分布式机器学习基础知识,并介绍主流的分布式机器学习框架,结合实例介绍一些机器学习算法。
59 5
|
20天前
|
存储 监控 数据挖掘
【Clikhouse 探秘】ClickHouse 物化视图:加速大数据分析的新利器
ClickHouse 的物化视图是一种特殊表,通过预先计算并存储查询结果,显著提高查询性能,减少资源消耗,适用于实时报表、日志分析、用户行为分析、金融数据分析和物联网数据分析等场景。物化视图的创建、数据插入、更新和一致性保证通过事务机制实现。
81 14
|
25天前
|
消息中间件 分布式计算 大数据
数据为王:大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代,大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用,包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术,企业能够从海量数据中提取有价值的信息,预测市场趋势,优化业务流程,从而在竞争中占据优势。
73 2
|
26天前
|
数据采集 机器学习/深度学习 搜索推荐
大数据与社交媒体:用户行为分析
【10月更文挑战第31天】在数字化时代,社交媒体成为人们生活的重要部分,大数据技术的发展使其用户行为分析成为企业理解用户需求、优化产品设计和提升用户体验的关键手段。本文探讨了大数据在社交媒体用户行为分析中的应用,包括用户画像构建、情感分析、行为路径分析和社交网络分析,以及面临的挑战与机遇。
|
26天前
|
机器学习/深度学习 搜索推荐 大数据
大数据与教育:学生表现分析的工具
【10月更文挑战第31天】在数字化时代,大数据成为改善教育质量的重要工具。本文探讨了大数据在学生表现分析中的应用,介绍学习管理系统、智能评估系统、情感分析技术和学习路径优化等工具,帮助教育者更好地理解学生需求,制定个性化教学策略,提升教学效果。尽管面临数据隐私等挑战,大数据仍为教育创新带来巨大机遇。
|
27天前
|
分布式计算 大数据 BI
ClickHouse与大数据生态整合:从ETL到BI报表
【10月更文挑战第27天】在这个数据驱动的时代,企业越来越依赖于数据来做出关键决策。而高效的数据处理和分析能力则是支撑这一需求的基础。作为一位数据工程师,我有幸参与到一个项目中,该项目旨在利用ClickHouse与Hadoop、Spark、Flink等大数据处理框架的整合,构建一个从数据提取(Extract)、转换(Transform)、加载(Load)到最终生成商业智能(BI)报表的全流程解决方案。以下是我在这个项目中的经验和思考。
47 1
|
29天前
|
人工智能 供应链 搜索推荐
大数据分析:解锁商业智能的秘密武器
【10月更文挑战第31天】在信息爆炸时代,大数据分析成为企业解锁商业智能的关键工具。本文探讨了大数据分析在客户洞察、风险管理、供应链优化、产品开发和决策支持等方面的应用,强调了明确分析目标、选择合适工具、培养专业人才和持续优化的重要性,并展望了未来的发展趋势。