澳大利亚:开放数据平台和公共服务大数据战略

简介:  “政府希望通过大数据分析系统提升公共服务质量,增加服务种类,并为公共服务提供更好的政策指导。澳大利亚政府希望,在大数据分析的运用、提高效率、与其他政策和技术协同以及为公共服务领域带来变革等方面,澳大利亚能领先全球其他国家。


 “政府希望通过大数据分析系统提升公共服务质量,增加服务种类,并为公共服务提供更好的政策指导。澳大利亚政府希望,在大数据分析的运用、提高效率、与其他政策和技术协同以及为公共服务领域带来变革等方面,澳大利亚能领先全球其他国家。”——澳大利亚联邦政府首席信息官Glenn Arche

 

【大数据国家档案】

姓名:澳大利亚

数据开放计划:开放地理空间数据

大数据国家战略:澳大利亚公共服务大数据战略

发布时间:2013年8月

主导机构:澳大利亚联邦政府

核心内容:通过发布公共服务大数据战略,旨在推动公共行业利用大数据分析进行服务改革,制定更好的公共政策,保护公民隐私,使澳大利亚在该领域跻身全球领先水平

涉及部门:政府ICT监管委员会、澳大利亚信息管理办公室、澳大利亚税务局、澳大利亚财政部、澳大利亚研究理事会、澳大利亚财政与解除管制部门

 

国家战略

2013年8月,澳大利亚政府信息管理办公室(AGIMO)发布了公共服务大数据战略。该战略将以“数据属于国有资产,从设计着手保护隐私,数据完整性与程序透明度,技巧、资源共享,与业界和学界合作,强化开放数据”等六条大数据原则为支撑,旨在推动公共行业利用大数据分析进行服务改革,制定更好的公共政策,保护公民隐私,使澳大利亚在该领域跻身全球领先水平。预计这六条原则将极大地提高生产力及创新收益,并协助政府解决各种难题。

为将六大原则落实到实处,该战略将还制定了一个具体的行动安排:2014年3月推出大数据实践指南,2014年7月前出台一份关于大数据分析中所遇难题的报告;然后推动ICT行业和教育行业提供大数据分析中的必要技巧,制定一份数据分析指南和两份在建项目指南;开发一个信息资产登记系统;记录大数据分析中的技术演进。

澳大利亚公共服务大数据战略最早由政府ICT监管委员会于2013年6月提出方案,澳大利亚信息管理办公室(AGIMO)8月发布的正式版本又咨询了相关机构和业内人士意见

澳大利亚联邦政府首席信息官Glenn Arche表示,“政府希望通过大数据分析系统提升公共服务质量,增加服务种类,并为公共服务提供更好的政策指导。澳大利亚政府希望,在大数据分析的运用、提高效率、与其他政策和技术协同以及为公共服务领域带来变革等方面,澳大利亚能领先全球其他国家。”

数据开放

自2009年开始,澳大利亚政府还积极应用开放数据的理念和行动践行开放政府的愿景和目标。Data.gov.au是政府信息目录的开放数据平台,用户可以在该网站上简便地搜索、浏览和利用澳政府国家、地区政府的公共数据,政府鼓励所有用户通过更新工具和应用从信息中得到实惠。该网站包括114个部门的1103个数据库和18个应用软件,分为首页、数据、目录、应用软件、资源、更好的实践、建议和关于网站八项主题。网站上的数据来自澳政府多个部门,提供数据下载,并提供其他数据目录或资源的链接。澳大利亚政府数据开放通过5个阶段将数据开放流程化,这5个阶段依次是:发现数据(Discover)——过程处理(Process)——授权许可(License)——数据发布(Publish)——数据完善(Refine)。

2013年1月7日,澳大利亚研究理事会发布新的开放获取政策,要求受其资助的研究项目产出的所有出版物都必须在出版日期后的12个月内存储到开放获取机构知识库中。该政策规定,出版物元数据(即期刊名、标题、作者列表、卷、期、页和类似的数据)必须在论文被出版物接收后尽快提交给机构知识库,不管论文本身何时(或者是否)能公开获取;专著/期刊论文应该在发表后尽可能提交到机构知识库;知识库管理者确保专著/期刊论文在遵守期刊版权转让协议的日期中可用;如果版权转让或许可协议不允许论文(或专著)在出版后的12个月内可用,就需要在这个时间之后尽快可用。如果期刊不允许论文可用,必须在提交的终期报告中说明;机构可能希望使用公开可用的“holding note”解释版权或许可协议阻止在具体时间前将特定论文纳入知识库的限制。

这种将研究成果开放获取的方法利用了澳大利亚各机构的大量机构知识库网络,同时避免了强制开放获取政策要求通过支付文章处理费在开放获取期刊上发表论文而产生的潜在的高成本。该政策得到澳大利亚开放获取支持小组的称赞。

基础设施建设

2010年,澳大利亚联邦政府通过了超级国家宽带网工程,该工程的目标是将光纤电缆通向各家各户,让每个家庭享受每秒钟1G的速度,这比当前的铜线固话网速度快40倍。    部分海外测试显示,全国宽带网络将覆盖全澳93%的用户,剩余的7%可使用速度相对较慢的无线和卫星网络。据了解,到2013年年底,澳洲人就能享受到每秒1G的互联网下载速度,而且安装宽带所需要的费用全部由政府免单,完全免费

在数据中心建设方面,2013年8月,隶属于澳大利亚财政与解除管制部门的ICT采购部发布了《数据中心结构最佳实践指南》草案,供公众审议。该《指南》旨在为澳大利亚政府机构提供优化数据中心结构相关运营活动的建议,是澳大利亚政府数据中心战略2010-2025的一部分,目的是在将来为数据中心节省10亿美元的成本。该《指南》指出,由办公楼改造而来的数据中心的运营使用寿命通常要低于专门建造的数据中心,部分原因是因为适用于办公的建筑物和适用于ICT的建筑物的要求是不一样的;另外一个导致其他建筑物改造过来的数据中心使用寿命较短的常见原因是,这些数据中心获得的资金支持通常微乎其微,这会带来更多的故障问题,以及更多的管理问题;对于政府机构而言,需要让数据中心建筑物满足澳大利亚建筑标准,包括《国家建造准则》。

据分析公司Gartner的数据显示,2012年,澳大利亚数据中心的总数达到49577家,达到巅峰阶段,随后会缓慢下降,到2015年将降至45545家。为了满足业务需求,许多大型机构或企业包括提供计算机图书馆服务的非营利性会员制研究机构OCLC、微软、甲骨文、Rackspace等都在澳大利亚投资建设了数据中心。

应用情况

据Forrester的一项研究发现,澳大利亚和新西兰的很多企业仍然只是考虑实施大数据战略。2012年第二季度的一项调查显示,31%的IT管理人员指出他们对大数据感兴趣,但是“现在并无采用计划”。此外,17%的管理人员说他们计划今年或2013年实施大数据,17%的管理人员说他们正在扩大大数据的使用。

但澳大利亚财政部长久以来一直面临着大量数据处理的困扰。财政部CIO Peter Alexander说,一直以来财政部都采取“大数据微处理”的方式解决,但是在今年年初,政府部门开始推出其定制的数据分析平台Odysseus,来回应持久的数据问题。财政部收集的数据通常是结构化数据,但数据量却在急剧增加。目前,该部门在Odysseus平台上有一批微软数据提取和分析工具来处理大数据,并需要不断地寻找更多的技术方案来解决大数据。澳大利亚财政部也在考虑通过社交媒体收集数据,以此丰富其经济预测。但是,在处理非结构化数据的方面,这将带来更大的挑战。

在科研领域,澳大利亚默多克儿童研究所(MCRI)将利用大数据解密DNA。MCRI是全球致力于研究DNA测序技术的医学研究中心之一,这种技术可以为整个人类基因组进行测序,同时也让MCRI有了分析这些大数据集的能力。新一代测序技术给MCRI的数据存储带来了压力,因此该中心打算安装一个数据存储系统以保存和管理大数据,包括下一代测序技术产生的数据。目前,MCRI已经对该中心现有的117TB存储进行了扩展,然后构建一个预置的存储基础设施平台去支持DNA技术的横向扩展。


原文发布时间为:2014-02-11


本文来自云栖社区合作伙伴“大数据文摘”,了解相关信息可以关注“BigDataDigest”微信公众号

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
6月前
|
SQL 人工智能 分布式计算
ODPS十五周年实录|构建 AI 时代的大数据基础设施
本文根据 ODPS 十五周年·年度升级发布实录整理而成,演讲信息如下: 张治国:阿里云智能集团技术研究员、阿里云智能计算平台事业部 ODPS-MaxCompute 负责人 活动:【数据进化·AI 启航】ODPS 年度升级发布
298 9
|
7月前
|
存储 数据采集 搜索推荐
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
本篇文章探讨了 Java 大数据在智慧文旅景区中的创新应用,重点分析了如何通过数据采集、情感分析与可视化等技术,挖掘游客情感需求,进而优化景区服务。文章结合实际案例,展示了 Java 在数据处理与智能推荐等方面的强大能力,为文旅行业的智慧化升级提供了可行路径。
Java 大视界 -- Java 大数据在智慧文旅旅游景区游客情感分析与服务改进中的应用实践(226)
|
8月前
|
存储 分布式计算 大数据
【赵渝强老师】阿里云大数据存储计算服务:MaxCompute
阿里云MaxCompute是快速、全托管的TB/PB级数据仓库解决方案,提供海量数据存储与计算服务。支持多种计算模型,适用于大规模离线数据分析,具备高安全性、低成本、易用性强等特点,助力企业高效处理大数据。
407 0
|
6月前
|
SQL 存储 分布式计算
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
本文旨在帮助非专业数据研发但是有高频ODPS使用需求的同学们(如数分、算法、产品等)能够快速上手ODPS查询优化,实现高性能查数看数,避免日常工作中因SQL任务卡壳、失败等情况造成的工作产出delay甚至集群资源稳定性问题。
1371 36
【万字长文,建议收藏】《高性能ODPS SQL章法》——用古人智慧驾驭大数据战场
|
6月前
|
存储 分布式计算 资源调度
【赵渝强老师】阿里云大数据MaxCompute的体系架构
阿里云MaxCompute是快速、全托管的EB级数据仓库解决方案,适用于离线计算场景。它由计算与存储层、逻辑层、接入层和客户端四部分组成,支持多种计算任务的统一调度与管理。
560 1
|
9月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
253 2
|
8月前
|
分布式计算 搜索推荐 算法
Java 大视界 -- Java 大数据在智慧养老服务需求分析与个性化服务匹配中的应用(186)
本篇文章探讨了Java大数据技术在智慧养老服务需求分析与个性化服务匹配中的应用。通过整合老年人健康数据与行为数据,结合机器学习与推荐算法,实现对老年人健康风险的预测及个性化服务推荐,提升养老服务的智能化与精准化水平,助力智慧养老高质量发展。
|
自然语言处理 大数据 应用服务中间件
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
大数据-172 Elasticsearch 索引操作 与 IK 分词器 自定义停用词 Nginx 服务
345 5
|
8月前
|
SQL 缓存 监控
大数据之路:阿里巴巴大数据实践——实时技术与数据服务
实时技术通过流式架构实现数据的实时采集、处理与存储,支持高并发、低延迟的数据服务。架构涵盖数据分层、多流关联,结合Flink、Kafka等技术实现高效流计算。数据服务提供统一接口,支持SQL查询、数据推送与定时任务,保障数据实时性与可靠性。
888 0
|
SQL 存储 分布式计算
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
1886 1