Informatica建业界首个大数据管理框架

本文涉及的产品
数据管理 DMS,安全协同 3个实例 3个月
推荐场景:
学生管理系统数据库
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
数据安全中心,免费版
简介:
文章讲的是 Informatica建业界首个大数据管理框架2015年10月19日——领先的独立软件提供商Informatica专注于提供一切有关数据的变革创新。Informatica于近日发布了Informatica大数据管理框架,作为一套完善的混合数据管理框架,该产品能够管理所有类型的大数据。

  根据2015年7月29日发布Gartner数据整合工具魔力象限报告的作者Eric Thoo和Lakshmi Randall的意见,“商业智能数据获取、分析及数据存储,这意味着将数据从运营系统中提取出来,进行转化和融合,并且传递到整合过的数据架构中以进行分析。数据的多样性及背景在融合的环境中正在快速扩张,例如非SQL数据库、Hadoop、内存DBMS、逻辑数据仓库架构以及终端用户进行数据整合的能力(数据准备的一部分),已经逐渐成为信息架构的一部分。”

  Informatica大数据管理框架是一套整体化管理大数据的模式,完整的视角包含大数据管理方案所需的三大支柱。

  数据集成

  大数据集成必须能够提供高吞吐率的数据获取及大规模的数据处理能力,以帮助业务分析师使用下一代分析做出更佳决策。大数据集成帮助企业从大数据中获得更多业务发现:

  提升开发速度,配合现有IT知识,通过简便的图形界面及易于使用的模板简化维护工作。通过优化数据处理及提供更具灵活性的跨平台混合部署模式,提升性能及资源利用率。通过上百个预载连接器来连通不同的数据源,同时使用基于代理的数据获取模式来统一数据流。

  数据管理及数据质量

  端到端的大数据治理及质量管理意味着业务及IT用户可以对所使用的数据抱有充分信心。完善的数据治理包括:

  正式的数据质量评估以更快地发现非正常数据。预载的数据质量规则确保数据满足各类需求。通过元数据目录简化搜索过程并自动化数据处理流程。实体配对及连接,以丰富主数据,例如客户数据。适用于数据治理的端到端数据连接,保证数据的可追踪性以及法规遵循。

  数据安全

  以风险管控为中心的大数据安全机制,能够分析所有数据以快速发现并处理暴露的风险及弱点。得益于风险分析及基于策略的数据保护机制,现在我们对于敏感数据拥有了全方位视角。此外,数据准备也是必要的步骤之一,以确保大数据的连续性及高质量。大数据安全需要按照企业规章制度及行业规范对于数据进行脱敏。以风险管控为中心的大数据安全机制及数据准备必须能够:

  以简单直观的方式追踪敏感数据的存储地点,以提高敏感数据存储位置的透明度。发现敏感数据及归类,为敏感数据提供全方位视角。精确了解数据风险,然后利用并全面分析。将不同的应用进行集成以简化流程及数据分析,从而帮助企业做出更佳决策。评估风险,并帮助安全项目进行优先级投入划分。拥有非侵入式的持续动态数据脱敏功能,以保护开发及正式环境中的敏感数据,从而将数据泄露的风险降到最低。

  此外,Informatica还于近日启动了价值高达百万美元的软件及服务大数据准备竞赛,以帮助企业将大数据项目从实验阶段转入正式启用阶段。通过此次竞赛,Informatica将提供总价不少于一百万美元的软件及服务产品,帮助北美符合条件的企业从大数据项目中获取实实在在的商业价值。在今后一年内,每季度将有六家厂商入围,而其中两家厂商将获得季度冠军,最终年度冠军将于2016年12月举行的大数据准备度秋季峰会上选出。

  Informatica执行副总裁及首席产品官Amit Walia说:“通过我与全球各企业的对话发现,企业对于自己所面临的大数据挑战非常重视,并且认为其中最大的挑战是从企业的大数据项目中切实获益。希望Informatica是帮助他们实现愿望的关键,我们倾听客户所面临的大数据管理挑战,一起携手解决这些问题,从而使世界变得更美好。”


作者:小新 

来源:IT168

原文链接:Informatica建业界首个大数据管理框架

相关实践学习
MySQL基础-学生管理系统数据库设计
本场景介绍如何使用DMS工具连接RDS,并使用DMS图形化工具创建数据库表。
相关文章
|
消息中间件 大数据 关系型数据库
大数据框架NiFi
NiFi 是一个易于使用,功能强大,可靠的处理和分发数据框架。主要用于数据的同步传输,支持灵活的数据格式转换,同时可以设置定时调度任务,他是一个数据同步框架,类似于 kettle。
240 0
|
SQL 分布式计算 大数据
大数据Spark框架概述
大数据Spark框架概述
208 0
|
2月前
|
存储 分布式计算 API
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
大数据-107 Flink 基本概述 适用场景 框架特点 核心组成 生态发展 处理模型 组件架构
85 0
|
6月前
|
分布式计算 大数据 数据处理
经典大数据处理框架与通用架构对比
【6月更文挑战第15天】本文介绍Apache Beam是谷歌开源的统一数据处理框架,提供可移植API,支持批处理和流处理。与其他架构相比,Lambda和Kappa分别专注于实时和流处理,而Beam在两者之间提供平衡,具备高实时性和数据一致性,但复杂性较高。选择架构应基于业务需求和场景。
416 3
经典大数据处理框架与通用架构对比
|
6月前
|
分布式计算 大数据 数据处理
浅谈几个经典大数据处理框架
【6月更文挑战第15天】本文介绍企业如何在数据洪流中保持竞争力需借助可扩展平台和数据策略。数据管道整合多元数据源,便于分析和流转。Kappa架构专注于实时处理(如通过Kafka、Spark Streaming),适合实时响应场景;Lambda架构结合批处理与实时处理(如Spark、Hadoop与Flink),平衡实时性和批处理,易于开发和维护。Apache Beam提供统一模型,适用于流处理和批处理,提升代码复用和效率。这两种架构满足现代应用对数据一致、性能和灵活性的需求。
439 3
浅谈几个经典大数据处理框架
|
3月前
|
数据采集 分布式计算 MaxCompute
MaxCompute 分布式计算框架 MaxFrame 服务正式商业化公告
MaxCompute 分布式计算框架 MaxFrame 服务于北京时间2024年09月27日正式商业化!
93 3
|
5月前
|
分布式计算 安全 大数据
HAS插件式Kerberos认证框架:构建安全可靠的大数据生态系统
在教育和科研领域,研究人员需要共享大量数据以促进合作。HAS框架可以提供一个安全的数据共享平台,确保数据的安全性和合规性。
|
5月前
|
存储 分布式计算 MaxCompute
构建NLP 开发问题之如何支持其他存储介质(如 HDFS、ODPS Volumn)在 transformers 框架中
构建NLP 开发问题之如何支持其他存储介质(如 HDFS、ODPS Volumn)在 transformers 框架中
|
4月前
|
分布式计算 Hadoop 大数据
大数据处理框架在零售业的应用:Apache Hadoop与Apache Spark
【8月更文挑战第20天】Apache Hadoop和Apache Spark为处理海量零售户数据提供了强大的支持
66 0
|
6月前
|
SQL 分布式计算 大数据
MaxCompute产品使用问题之odps sql 底层计算框架是MR吗
MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。
下一篇
无影云桌面