大数据分析模型成功关键因素之我见

简介:

大数据

无论在报纸、杂志、机场媒体,还是在酒吧的闲谈中,大数据都成了一个热门话题。每个人都在谈论这个时尚的话题,但迄今为止只有极少数企业真正成功的运用这一技术!导致这一情况的重要原因就是企业对建立可操作的大数据分析模型成功关键因素缺乏深刻的认识。结合多年来与多家全球性公司合作经验,我们认为:为了取得成功,大数据分析模型需要满足如下几种要求:

(1)业务相关性。业务相关性是对分析模型的第一个关键要求。分析模型必须能够解决特定的商业问题。那些性能优越,却不能解决商业问题的模型是毫无意义的。显然,在模型开发前,对商业背景和业务问题有全面的理解必不可少。例如,在保险欺诈检测问题中,必须在一开始对如何定义、衡量和管理欺诈有清晰的界定。

(2)统计性能。影响模型成功的另一个重要关键因素是模型性能表现。换句话说,从统计意义的角度,分析模型应该显著提高预测或描述的性能。根据分析问题的类型不同,常常采用不同类型的性能评价指标。在客户细分,统计评价指标主要评价对比簇内的相似性与簇间的差异性;在客户流失预测中,主要评价模型是否赋予了潜在流失客户的较高得分。

(3)解释性和合理性。解释性是指分析模型容易为决策者所理解,合理性是指模型与专家的预期和业务知识相一致。解释能力和合理性都是主观判断,取决于决策者的知识和经验。这两个因素与统计性能分析之间常常是矛盾的,譬如:复杂神经网络和随机森林模型预测性能较好,但是解释性较差。所以,决策者需要在两者之间寻找平衡点。在信用风险分析等应用场景中,解释性和合理性是非常重要的因素,而在欺诈检测和营销响应建模中,这一因素就不是那么重要了。

(4)运行效率。运行效率涉及模型评估、监测、检验及重建过程中所需投入的时间。从这个因素来看,很明显的神经网络或随机森林效率较低,而回归模型和决策树等更有效率。在信用卡欺诈检测等业务场景中,运行效率是非常重要的,因为所有的决策必须在信用卡交易开始后几秒钟内完成。

(5)经济成本。经济成本是收集模型所需数据、运行模型以及分析模型结果的过程中所投入的成本,此外还包括引入外部数据和模型的成本。在分析模型的经济回报时,所有的这些成本都必须考虑在内,通常不是能简单直接计算出来的。

(6)合规性。在很多行业中,合规性变得越来越重要。合规性是指模型对现有制度和法律的遵从程度。在信用风险领域,分析模型符合巴塞尔协议II和III的规定尤其重要。而在保险行业中,模型则必须遵从欧盟偿付能力协议(Solvency II) 。

总结以上,在本博客文章中,我们简要论述了成功构建数据分析模型的关键因素。如我们所指出的那样,每个因素的重要性取决于模型应用场景。


本文作者:Cooker

来源:51CTO

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
7月前
|
机器学习/深度学习 自然语言处理 算法
大型机器学习模型:技术深度与广度的探讨
大型机器学习模型的技术深度和广度令人惊叹。这些模型, 如Google的Transformer模型,BERT模型,以及OpenAI的GPT-4模型,已经改变了我们理解和处理自然语言的方式,同时也在图像识别,语音识别等领域取得了显著的成果。本文将深入探讨大型机器学习模型的关键技术。
|
3月前
|
存储 数据采集 分布式计算
大规模数据处理:探究现代技术与商业的无限潜能
大规模数据处理已经成为了当今信息时代中的重要议题,其对现代社会带来的深远影响不可忽视。本文将探究大规模数据处理的意义和应用领域,并详细阐述其中所涉及的挑战和解决方案。
25 1
|
5月前
|
人工智能 供应链 Cloud Native
智库观察|大模型时代,AIGA将大规模解放生产力
“小模型+AI+智能化底座”的模式,让AI应用适配不同数字化阶段的企业,这将成为企业级应用的不可逆趋势。
103 0
|
8月前
|
机器学习/深度学习 人工智能 自然语言处理
大模型时代下,算法工程师发展趋势及技术拓展
大模型时代下,算法工程师发展趋势及技术拓展
大模型时代下,算法工程师发展趋势及技术拓展
|
8月前
|
机器学习/深度学习 算法 数据挖掘
R语言自动化学习:乳腺癌诊断颠覆式进化的最新潮流!
本文将探讨自动化学习在乳腺癌诊断中的应用潜力。通过分析大规模的乳腺癌数据集,自动化学习可以提供准确、一致和可靠的诊断结果,为早期筛查、风险评估和治疗方案建议提供支持。然而,仍需解决数据隐私保护和模型解释性等挑战,以推动自动化学习技术在乳腺癌领域的实际应用。
127 0
|
机器学习/深度学习 人工智能 供应链
从机器学习中受益最大的四个行业
在这个方向上,欧盟正迈着坚定的步伐向前迈进。2020年2月,欧盟委员会发布了《人工智能白皮书》。正如欧盟主席所说,所有欧盟国家的联合战略旨在未来十年每年吸引超过200亿欧元投资人工智能。这一数字预计将通过私营部门的贡献和国家的共同融资来实现。
从机器学习中受益最大的四个行业
|
存储 运维 数据可视化
突破数据分析瓶颈,寻因生物单细胞测序数据分析迈入云时代
i4p持久内存实例+Memory Machine大内存虚拟化软件,发挥持久内存的全部性能。
突破数据分析瓶颈,寻因生物单细胞测序数据分析迈入云时代
|
机器学习/深度学习 存储 数据采集
3个因素看透 AI 技术架构方案的可行性
人工智能这几年发展的如火如荼,不仅在计算机视觉和自然语言处理领域发生了翻天覆地的变革,在其他领域也掀起了技术革新的浪潮。无论是在新业务上的尝试,还是对旧有业务对改造升级,AI 这个奔涌了 60 多年的“后浪”,正潜移默化的影响着我们传统的技术架构观念。
768 0
3个因素看透 AI 技术架构方案的可行性
|
机器学习/深度学习 存储 数据采集
干货!3 个重要因素,带你看透 AI 技术架构方案的可行性
人工智能这几年发展的如火如荼,不仅在计算机视觉和自然语言处理领域发生了翻天覆地的变革,在其他领域也掀起了技术革新的浪潮。
|
存储 机器学习/深度学习 分布式计算
如何解决大规模机器学习的三大痛点?
阿里巴巴电商平台有上亿的用户和产品,每天产生百亿规模的用户反馈数据。比如淘宝首页的猜你喜欢场景,每天就有100亿规模的用户行为数据。如此超大规模的训练数据,给分布式机器学习带来了巨大的挑战,也引入了有趣的研究问题。
4614 0