东方金信专注大数据平台开发 构建智慧城市大脑

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

从2015年的“大数据行动纲要”到2016年的“十三五规划”,大数据都被作为重点被提及。尤其是2016年,政府提出各个省市三年之内必须上大数据业务,导致各省市政府全部都在部署与大数据相关的业务。这快速地推动了政府行业在大数据方面业务地发展。

“大数据平台其实是智慧城市大脑,政府更需要大数据,比如数据打通后,进京证可以通过手机来办理。此外,还有医挂号等事务的办理。这些都需要我们的大数据平台。”东方金信CEO王伟哲介绍道。

深挖政务领域需求

王伟哲表示:“政府部门对于政务大数据平台的需求非常强烈。我们在政府里面做的第一件事情就是建立人口库。输入姓名,你能看到该公民家族图谱,一生从出生到上学,再到结婚买房等等变化曲线。并且,你可以了解这些人有什么样不动产和动产,甚至个人、企业之间是否的关联和担保关系,都可以通过一张相似的图谱来显示。此外,在医院数据导入进来以后,医务人员可以通过此类图谱了解到病患的家族遗传病史,对病患进行相应地救治。”

据了解,从2013年成立至今,东方金信业务覆盖的行业越来越广泛。在行业比例上,金融行业客户大概占东方金信的40%左右,政府占40%左右,其他的行业大概加起来占20%左右。

王伟哲表示:“如果从一个城市对整个的大数据的投入上来说,我们的这些软件和这些数据业务占政府应用系统的比例仍然比较低,大概十分之一左右。一个城市如果充分应用大数据,一个城市的投入大概应该是在三亿元到五亿元之间。我们的软件,就是帮政府管理者整合数据,并且将报告进行前端展示。这些需要的资金大概占政府总体大数据投放的比例的10%左右,其余基本上都是硬件建设。”

建立标准打通孤岛

当下,很多数据的格式标准都不尽相同。此外,各部门之间也会由于业务不同、利益不同等诸多原因导致很多数据被束之高阁,无法有效利用。比如,在一个银行里,可能会存在几十甚至上百个不同的业务。那么如何将这些数据进行定义,形成统一的标准,使数据更方便地导入导出,进而进行分析、挖掘。

王伟哲认为:“在一些业务比较多的单位里,可能会存在几百套系统单元,数据要对接到这么多的数据平台里,非常费力。东方金信曾经为一些客户,设定了两千九百多个数据标准。”而这些标准是需要和客户进行长期沟通,共同建立的。王伟哲补充道:“我们要和业务部门去确认业务场景,以及业务数据是什么。其实数据标准其实有很多种,一种是按数据存储长度,比如身份证是十八位。而有些身份证里边有字母,这也是一种标准。身份证代表一个人的个性属性,是我的唯一标识,就是业务属性,它就是一种标准。所以,这种标准非常多。”

为此,东方金信建立了专门系统来完善制定数据标准的流程。这个系统就是按照方法论来运作的,东方金信有一套标准的流程来定义这些数据标准,数据标准的审批流程和通过流程都通过该系统来顺利完成。

“师”从谷歌专修技术

作为一家专注于大数据平台和大数据解决方案的企业,东方金信从事的就是把数据业务放在自主研发的分布式架构平台上。

分布式架构其实是由谷歌提出,谷歌有上百万台服务器。这些服务器没有采用IBM、Oracle、EMC这些知名厂商的数据库和存储设备来解决问题,而是采用了的分布式架构来解决数据问题。东方金信的核心产品脱胎于Google分布式大数据平台,专注于企业级高性能分布式大数据解决方案和云解决方案。

东方金信是一家纯技术类的公司,王伟哲介绍说,从人员比例看,公司总人数里,销售、市场、财务和人力人员总共不超过10%,其他全部从事技术研发和产品客户化研究。东方金信核心团队来自Google、美国银行、Teradata、IBM、阿里、腾讯等全球著名企业的核心数据开发人员,具有丰富的分布式研发能力和数据分析挖掘能力。

目前,东方金信的研发团队可以独立编译底层代码,优化大数据平台,并和中国科学院大学合作成立大数据研发中心,和北京交通大学合作成立铁路大数据研究中心。

王伟哲表示,公司在未来最大的愿景是“希望我们的产品能做得更好,SeaBox大数据平台整体解决方案能为更多的行业用户提供帮助,为客户带来更多的价值,将来会有更多的客户使用SeaBox大数据平台。”






原文发布时间为:2017年2月21日
本文来自云栖社区合作伙伴至顶网,了解相关信息可以关注至顶网。
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
2月前
|
SQL 分布式计算 DataWorks
DataWorks产品使用合集之如何开发ODPS Spark任务
DataWorks作为一站式的数据开发与治理平台,提供了从数据采集、清洗、开发、调度、服务化、质量监控到安全管理的全套解决方案,帮助企业构建高效、规范、安全的大数据处理体系。以下是对DataWorks产品使用合集的概述,涵盖数据处理的各个环节。
|
22天前
|
存储 分布式计算 分布式数据库
深入理解Apache HBase:构建大数据时代的基石
在大数据时代,数据的存储和管理成为了企业面临的一大挑战。随着数据量的急剧增长和数据结构的多样化,传统的关系型数据库(如RDBMS)逐渐显现出局限性。
123 12
|
21天前
|
存储 大数据 索引
解锁Python隐藏技能:构建高效后缀树Suffix Tree,处理大数据游刃有余!
通过构建高效的后缀树,Python程序在处理大规模字符串数据时能够游刃有余,显著提升性能和效率。无论是学术研究还是工业应用,Suffix Tree都是不可或缺的强大工具。
32 6
|
1月前
|
传感器 自动驾驶 物联网
5G+物联网:构建智慧城市的新基石
【9月更文挑战第4天】5G+物联网作为构建智慧城市的新基石,正引领着城市管理的智能化变革。随着技术的不断成熟和应用场景的不断拓展,智慧城市将变得更加智能、高效和可持续。然而,我们也应看到,智慧城市的建设还面临着数据安全、隐私保护等挑战。未来,我们需要加强技术创新和法规建设,确保智慧城市在快速发展的同时,也能够保障人民的安全和权益。
|
2月前
|
存储 SQL 分布式计算
Hadoop生态系统概述:构建大数据处理与分析的基石
【8月更文挑战第25天】Hadoop生态系统为大数据处理和分析提供了强大的基础设施和工具集。通过不断扩展和优化其组件和功能,Hadoop将继续在大数据时代发挥重要作用。
|
2月前
|
人工智能 分布式计算 架构师
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
大数据及AI典型场景实践问题之基于MaxCompute构建Noxmobi全球化精准营销系统如何解决
|
2月前
|
存储 监控 安全
大数据架构设计原则:构建高效、可扩展与安全的数据生态系统
【8月更文挑战第23天】大数据架构设计是一个复杂而系统的工程,需要综合考虑业务需求、技术选型、安全合规等多个方面。遵循上述设计原则,可以帮助企业构建出既高效又安全的大数据生态系统,为业务创新和决策支持提供强有力的支撑。随着技术的不断发展和业务需求的不断变化,持续优化和调整大数据架构也将成为一项持续的工作。
|
1月前
|
SQL 分布式计算 大数据
代码编码原则和规范大数据开发
此文档详细规定了SQL代码的编写规范,包括代码的清晰度,执行效率,以及注释的必要性。它强调所有SQL关键字需统一使用大写或小写,并禁止使用select *操作。此外,还规定了代码头部的信息模板,字段排列方式,INSERT, SELECT子句的格式,运算符的使用,CASE语句编写规则,查询嵌套规范,表别名定义,以及SQL注释的添加方法。这些规则有助于提升代码的可读性和可维护性。
18 0
|
1月前
|
SQL 分布式计算 大数据
大数据开发SQL代码编码原则和规范
这段SQL编码原则强调代码的功能完整性、清晰度、执行效率及可读性,通过统一关键词大小写、缩进量以及禁止使用模糊操作如select *等手段提升代码质量。此外,SQL编码规范还详细规定了代码头部信息、字段与子句排列、运算符前后间隔、CASE语句编写、查询嵌套、表别名定义以及SQL注释的具体要求,确保代码的一致性和维护性。
42 0
|
2月前
|
SQL 监控 大数据
"解锁实时大数据处理新境界:Google Dataflow——构建高效、可扩展的实时数据管道实践"
【8月更文挑战第10天】随着大数据时代的发展,企业急需高效处理数据以实现即时响应。Google Dataflow作为Google Cloud Platform的强大服务,提供了一个完全托管的流处理与批处理方案。它采用Apache Beam编程模型,支持自动扩展、高可用性,并能与GCP服务无缝集成。例如,电商平台可通过Dataflow实时分析用户行为日志:首先利用Pub/Sub收集数据;接着构建管道处理并分析这些日志;最后将结果输出至BigQuery。Dataflow因此成为构建实时数据处理系统的理想选择,助力企业快速响应业务需求。
137 6

热门文章

最新文章