大数据的体系架构

简介:

ZDNet至顶网软件频道消息:有些数据架构师早已开始应对物联网 (IoT)与智能设备私人网络合作产生的巨量数据。 集成专家 Brian Anderson 是软件和过程开发公司 Notionovus 的总经理。 他在职业生涯早期担任 Caterpillar 公司的嵌入式系统编程员。在当时,他主要负责为车间的机器人车辆网络构建应用系统。

在 Caterpillar 公司任职的 25 年里,Anderson 还担任过工程部主管、制造工程师和 6 西格玛黑带。 换句话说,在 IoT 还未普及以前,他便已开始处理数据问题。

Potential at Work 就有关架构师如何准备现有环境,才能进行 IoT 固有的海量扩充和大量集成的问题,对 Anderson 进行了咨询。

对于那些正在试图为 IoT 数据集成奠定结构化方法基础的架构师,您有何建议? 
Anderson: 集成专业人员需着眼于四项关键过程指标 (KPI):速度、可靠性、成本和安全性。 在人们谈及良好或糟糕的集成体验时,上述四项面向客户的指标总会重复出现。 但在讨论 IoT 时,其关键的指标主要集中在安全性上。 设备归属于所有者,而所有者必定会有隐私方面的担忧。

IoT 竞争舞台的胜出者将会是那些可以提供最佳用户友好数据控件,而且能够严密锁定访问者查看内容的企业。 而失败者将会是那些暗中使用其设备所生成的数据窥探用户隐私的企业。 此外,还要寻求可以重复使用和利用现有代码库的工具。 这将减少对高度专业化人员的需求。

架构师的工作要更多地涉及全局思考以及对未来集成需求的预期,以便能够将灵活性置入其规划模型当中。 例如,如果数据架构师和数据集成专业人员忙于处理特定界面上的某个问题,则表明您是在浪费金钱,而不是在规划未来。

您如何将精益方法应用于非结构化的 IoT? 
Anderson: 坚持使用有助于构建透明集成的工具。 以端对端可见的方式深入了解信息的价值链对于测量 KPI 至关重要。 如果致力于持续改进,便不能使用黑箱系统。 避免开发多余的应用系统以及重新创造已建立的连接点。

补丁、更新和错误修复程序为非客户选项,而且带有附加价值,所以要专注于最大程度地降低发行代码的复杂性。 由于坏数据造成的成本非常高昂,因此在软件中置入数据验证可以提高价值。 在系统及其用户生成无错误数据时,验证是唯一的非增值选项。

数据架构师如何才能使企业数据管理策略适应 IoT? 
Anderson: 企业数据管理策略需要重新访问未来和现有数据流的存档、安全性和用例。 IoT 上所有增加的数据流都将对当前的操作产生巨大的影响。 您需要在适当的位置采用存档和数据保留策略,以最大化地利用海量增加的数据流,同时最大程度地减少数据管理系统占用空间。

原文发布时间为:2014年10月20日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
1月前
|
存储 分布式计算 Hadoop
大数据处理架构Hadoop
【4月更文挑战第10天】Hadoop是开源的分布式计算框架,核心包括MapReduce和HDFS,用于海量数据的存储和计算。具备高可靠性、高扩展性、高效率和低成本优势,但存在低延迟访问、小文件存储和多用户写入等问题。运行模式有单机、伪分布式和分布式。NameNode管理文件系统,DataNode存储数据并处理请求。Hadoop为大数据处理提供高效可靠的解决方案。
80 2
|
3月前
|
存储 数据可视化 数据管理
基于阿里云服务的数据平台架构实践
本文主要介绍基于阿里云大数据组件服务,对企业进行大数据平台建设的架构实践。
748 2
|
13天前
|
存储 运维 监控
|
1月前
|
消息中间件 大数据 Kafka
Kafka与大数据:消息队列在大数据架构中的关键角色
【4月更文挑战第7天】Apache Kafka是高性能的分布式消息队列,常用于大数据架构,作为实时数据管道汇聚各类数据,并确保数据有序传递。它同时也是数据分发枢纽,支持多消费者订阅,简化系统集成。Kafka作为流处理平台的一部分,允许实时数据处理,满足实时业务需求。在数据湖建设中,它是数据入湖的关键,负责数据汇集与整理。此外,Kafka提供弹性伸缩和容错保障,适用于微服务间的通信,并在数据治理与审计中发挥作用。总之,Kafka是现代大数据体系中的重要基础设施,助力企业高效利用数据。
57 1
|
2月前
|
存储 SQL 机器学习/深度学习
通用数据湖仓一体架构正当时
通用数据湖仓一体架构正当时
74 2
|
5月前
|
监控 物联网 大数据
助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
助力工业物联网,工业大数据之服务域:AirFlow的架构组件【三十二】
49 0
|
5月前
|
存储 分布式计算 大数据
首批!阿里云MaxCompute完成中国信通院基于无服务器架构大数据平台测试
近日,阿里云计算有限公司MaxCompute产品顺利完成中国信通院首批无服务器架构(Serverless)大数据平台测试。
229 0
|
5月前
|
存储 数据采集 大数据
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
大数据必知必会系列——数仓分层架构及三层架构流程[新星计划]
159 0
|
5月前
|
分布式计算 算法 搜索推荐
阿里巴巴内部:全技术栈PPT分享(架构篇+算法篇+大数据)
我只截图不说话,PPT大全,氛围研发篇、算法篇、大数据、Java后端架构!除了大家熟悉的交易、支付场景外,支撑起阿里双十一交易1682亿元的“超级工程”其实包括以下但不限于客服、搜索、推荐、广告、库存、物流、云计算等。 Java核心技术栈:覆盖了JVM、锁、并发、Java反射、Spring原理、微服务、Zookeeper、数据库、数据结构等大量知识点。 大数据:Spark、Hadoop
|
13天前
|
分布式计算 大数据 BI
MaxCompute产品使用合集之MaxCompute项目的数据是否可以被接入到阿里云的Quick BI中
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

热门文章

最新文章