福特数据总监:汽车业的大数据框架如何构建?

简介:

要实施一个大数据技术框架需要一个战略,在最近举办的Big Data Innovation Summit上, Gahl Berkooz在他题为“In Search of Actionable Insights,”的演讲中就此进行了说明。

Berkooz是迪尔伯恩的福特汽车公司的数据和治理的总监,和与会者简单分享了数据供应链的大数据技术框架,其中包括七大类别,从分析实施到基础设施管理。

但是,关键在于,福特公司并没有同等实施这七大战略。 当一位与会者提问优先战略时, Berkooz没有犹豫。“我们会考虑那些会让福特更加独特,让我们在行业内更加突出,拥有创新的技术,”他说。

这 也是IT领导人,经常听到的建议:将各部门的注意力都集中到如何让业务与众不同,然后和供应商合作。Mark Shaver,是位于密尔沃基的采矿设备和服务公司Joy Global Inc.的副总裁兼首席信息官, 在去年春天举办的Fusion 2015 CEO-CIO Symposium上也提出了类似的观点。企业的工业物联网解决方案并没有使用“现成的”技术,而是与Verizon这样的公司之间良好合作的结果。他们 提供了Joy Global公司没有的,并且不想过多投资的专业技能。

“我不是标准化的CIO,” Shaver说。“我没有数据中心。Outlook是外包的。安全也是外包的。我并不在那些领域投入精力。”

在福特,数据标准和数据质量被认为是构建的基本模块,投入了大量的时间和精力。当然也有充分的理由:“数据是我们分析的资本,可以带来方案,”Berkooz说。“如果不控制数据的质量,那方案的价值将是非常有限的。”

对于无法使福特公司业务差异化的功能,如基础设施管理,身份和安全管理,或数据获取,Berkooz和他的团队则在市场中寻求方案。

消防中的数据分析

Timothy Persons,美国政府问责局的首席科学家,在Big Data summit上的演讲中,讲述了数据分析的案例: 纽约市的分析团队是如何使用数据来整治“非法改建”或私自划分的房屋。

这 个案例之前也分析过,但是它仍然是一个证明数据分析之强大的出色案例。非法改建的房屋容易引起害虫,犯罪和火灾隐患,给消防队员带来不可预见的危险。在去 年春天举行的CDO Summit上, Amen Ra Mashariki,纽约市的现任首席分析官向与会者解释说,在一次火灾中,几位消防队员失去了他们的生命,因为他们无法获取房屋的布局结构的正确信息。 他提出了一个简单的问题:“你应该如何确保消防队员的安全?”

答案就是数据。Persons说,分析团队开始过滤来自不同部门的数据——从911电话到房产税的支付——从而发现非法改建的指向性模式,而不是依靠直觉。

研究团队发现市政府部门也记录类似的位置数据,但使用不同的方式:警察局使用传统的地图坐标,消防队员通过消防栓标注社区地图,而税务部门则根据税号,Persons说。所以团队通过整合来自不同部门的数据,用统一的方式来记录城市内的90万户房屋。

这一方案卓有成效。使用分析而不是直觉,城市检查员在他们检查的房屋中,对其中的70%发布了撤离警告,而之前的数据为12%,Persons说。

规范分析并不是终极领域

Erik Andrejko,是总部位于旧金山的与农业社团合作的数据科学公司Climate Corp.的数据科学副总裁,在峰会上做出了一个大胆声明:分析功能的最新领域并不是规范分析,而是解释分析。

“当你告诉一个决策者——在这种情况下,是一位农民——今天,他们应该在这块土地上施加这些量的肥料,你应该回答的是为什么要这样做,”他说。

解释分析的关键可能是模型。他认为有两种技术可以为此提供帮助:结构建模,他说这是“用于说明环境和作物收成之间的统计关系,”以及机械建模,他说这是“用于捕捉和解释物理机制的物理现象。”

Andrejko认为这两种技术都是相似的,作为“black box”数据挖掘技术之外的补充。“我们需要多种技术,因为通常一项技术不可能适用于每一种情况,”他事后在电子邮件中写道。

原文发布时间为:2015年9月23日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
目录
相关文章
|
5月前
|
机器学习/深度学习 算法 大数据
构建数据中台,为什么“湖仓一体”成了大厂标配?
在大数据时代,数据湖与数据仓库各具优势,但单一架构难以应对复杂业务需求。湖仓一体通过融合数据湖的灵活性与数据仓的规范性,实现数据分层治理、统一调度,既能承载海量多源数据,又能支撑高效分析决策,成为企业构建数据中台、推动智能化转型的关键路径。
|
8月前
|
SQL 分布式计算 大数据
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
本文深入介绍 Hive 与大数据融合构建强大数据仓库的实战指南。涵盖 Hive 简介、优势、安装配置、数据处理、性能优化及安全管理等内容,并通过互联网广告和物流行业案例分析,展示其实际应用。具有专业性、可操作性和参考价值。
大数据新视界 --大数据大厂之Hive与大数据融合:构建强大数据仓库实战指南
|
6月前
|
存储 SQL 分布式计算
MaxCompute x 聚水潭:基于近实时数仓解决方案构建统一增全量一体化数据链路
聚水潭作为中国领先的电商SaaS ERP服务商,致力于为88,400+客户提供全链路数字化解决方案。其核心ERP产品助力企业实现数据驱动的智能决策。为应对业务扩展带来的数据处理挑战,聚水潭采用MaxCompute近实时数仓Delta Table方案,有效提升数据新鲜度和计算效率,提效比例超200%,资源消耗显著降低。未来,聚水潭将进一步优化数据链路,结合MaxQA实现实时分析,赋能商家快速响应市场变化。
313 0
|
消息中间件 分布式计算 大数据
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
大数据-166 Apache Kylin Cube 流式构建 整体流程详细记录
260 5
|
存储 SQL 分布式计算
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
大数据-162 Apache Kylin 全量增量Cube的构建 Segment 超详细记录 多图
235 3
|
传感器 人工智能 大数据
高科技生命体征探测器、情绪感受器以及传感器背后的大数据平台在健康监测、生命体征检测领域的设想与系统构建
本系统由健康传感器、大数据云平台和脑机接口设备组成。传感器内置生命体征感应器、全球无线定位、人脸识别摄像头等,搜集超出现有科学认知的生命体征信息。云平台整合大数据、云计算与AI,处理并传输数据至接收者大脑芯片,实现实时健康监测。脑机接口设备通过先进通讯技术,实现对健康信息的实时感知与反馈,确保身份验证与数据安全。
|
11月前
|
存储 分布式计算 物联网
美的楼宇科技基于阿里云 EMR Serverless Spark 构建 LakeHouse 湖仓数据平台
美的楼宇科技基于阿里云 EMR Serverless Spark 建设 IoT 数据平台,实现了数据与 AI 技术的有效融合,解决了美的楼宇科技设备数据量庞大且持续增长、数据半结构化、数据价值缺乏深度挖掘的痛点问题。并结合 EMR Serverless StarRocks 搭建了 Lakehouse 平台,最终实现不同场景下整体性能提升50%以上,同时综合成本下降30%。
864 58
|
分布式计算 Shell MaxCompute
odps测试表及大量数据构建测试
odps测试表及大量数据构建测试
|
11月前
|
SQL 存储 HIVE
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目
本文整理自鹰角网络大数据开发工程师朱正军在Flink Forward Asia 2024上的分享,主要涵盖四个方面:鹰角数据平台架构、数据湖选型、湖仓一体建设及未来展望。文章详细介绍了鹰角如何构建基于Paimon的数据湖,解决了Hudi入湖的痛点,并通过Trino引擎和Ranger权限管理实现高效的数据查询与管控。此外,还探讨了湖仓一体平台的落地效果及未来技术发展方向,包括Trino与Paimon的集成增强、StarRocks的应用以及Paimon全面替换Hive的计划。
1393 1
鹰角基于 Flink + Paimon + Trino 构建湖仓一体化平台实践项目