
Postgres中国用户会2016年主席
IOPS (Input/Output Operations Per Second),即每秒进行读写(I/O)操作的次数,以衡量存储每秒可接受多少次主机发出的访问。数据库,特别是关系型数据库由于需要处理实时业务,因此几乎所有变化的数据都必须完成落盘写入,以实现ACID的各项要求,特别针对持久性。因此更高的IOPS对于数据库整体性能提升有着至关重要的意义。 ESSD云盘是阿里云全新推出的超高性能云盘,基于新一代分布式块存储架构,结合25GE网络和RDMA技术,为您提供单盘高达100万的随机读写能力和相较SSD云盘更低的单路时延能力,产品正在阿里云火热公测中。 得益于ESSD对于IOPS性能的提升及针对链路延迟的降低,数据库将可以获得更高的性能,这对于企业级数据库应用系统在云上的运行能力将产生从量变到质变的提升。从实际的数据库压测效果看,ESSD云盘在性能升上对比SSD云盘有了大幅度的提升。 云数据库RDS即将于2019年第2季度发布ESSD云盘的支持,为企业用户提供全新百万级IOPS存储性能。 如果您想了解更多新特性的功能细节,想听取更多不同的应用案例,欢迎关注并参加 2019年4月3日 下午 举行的 云数据库RDS ESSD云盘新品在线发布会。阿里云数据库及存储产品大咖将带来最新技术的深度解读及案例分享。 报名入口:https://yq.aliyun.com/live/928 发布会议主题: - 云数据库RDS新品发布 - 高性能ESSD云盘:阿里云智能 高级产品专家 萧少聪(铁庵) - ESSD高性能云盘在RDS for SQL Server上的应用:阿里云智能 产品专家 陈招尚(胜通) - RDS性能提升,ERP促销更好玩:崔什江 富润科技研发总监 - ESSD 100万IOPS分布式存储技术深度解读:阿里云智能 高级产品专家 彭亚雄(崆闻) 申请RDS ESSD云盘:https://page.aliyun.com/form/act464253584/index.htm
全面支持高可用版云计算已经进入普及期,不少企业开始从自建数据中心转向云计算。在云计算资源的使用上,从最开始只是使用IaaS层基础资源,转向使用包括云数据库在内的各类PaaS资源。数据库是企业IT架构的核心部分,RDS关系型数据库服务已经成为企业重度依赖的云服务。 过去7年的持续发展,2018年阿里云首次进入Gartner的数据库魔力象限,能够入选Gartner,这是中国数据库厂商的一次突破。阿里云入围Gartner充分说明,在新一波技术浪潮之上进行创新,才可能做出突破。云数据库已经不仅仅是简单地完成数据库在云资源中的搭建,数据库曾经是IT系统中最昂贵的投入之一,对企业CXO们(CEO、CFO、CTO、CIO等)而言,更加灵活的生命周期管理,可以实现成本的合理投入及灵活管理。对DBA技术人员而言,更高的安全性、更全面的监控能力、更便捷的运维方式,将改变DBA在企业的工作模式及地位。 从企业管理者及DBA的角度,我们将针对企业对数据库的各方面需求,基于:开发者支持、全生命周期、全方位运维、全链路安全、全链路监控、多引擎覆盖 5个方面进行横向对比,给广大读者呈现一张《2018阿里云云数据库RDS核心能力演进》大图,并准备为云数据库RDS 2019扬帆启航。 云开发者福音 2019年3月31日前,使用Alibaba Cloud Toolkit且绑定阿里云账号的用户,可免费购买1台阿里云数据库MySQL基础版指定规格实例(1核1G+20GB SSD云盘,时长1个月,限1次)。 有兴趣的朋友可以通过 https://promotion.aliyun.com/ntms/act/rdside.html 了解详情。 Alibaba Cloud Toolkit IDE 插件,帮助开发者更高效地开发、测试、诊断并部署应用。利用此插件,开发者能够方便地将本地应用一键部署到任意机器,或 ECS、EDAS、Kubernetes;并支持高效执行终端命令和 SQL 等。在本地 IDE 中无缝衔接阿里云 RDS 数据库,让开发者在编写代码的同时,无切换地进行 SQL 执行,让开发者提高生产效率。当前我们已经提供 IntelliJ、Eclipse、Maven版支持,下一步将进一步加强 RDS 数据库的支持能力,包括:更多的引擎支持、API调用支持等。 全生命周期 灵活的生命周期管理,可以让企业以最合适的投入成本使用云计算资源,对于任何规模的企业,这都是开源节流的有力手段。一个IT项目通常会经历以下阶段: - 项目规划:按量付费(升、降级)以进行功能开发、性能等验证- 系统上线:按量付费转包年包月,以长期节省成本- 系统扩充:包年包月升级- 系统萎缩:包年包月降级- 系统下线:包年包月按量付费 -> 按量付费资源释放 -> 销毁实例(彻底删除数据) 当然云计算也应该提供能力,以避免企业由于业务过程中突发情况,忘记充值导致需要进行“续费解锁”,甚至是由于已经到达实例续费最后期限而到导致资源释放后,需要通过“过期重建”进行数据找回。 这些能力构成云数据库的“全生命周期”管理能力,可以看到阿里云在2018年进行了重点功能提升,几乎覆盖企业IT系统生命周期的所有场境的自助化管理。 全方位运维 曾经DBA的工作就是日复一日地进行数据库安装、部署、巡检、备份、恢复,在很多企业中DBA只是一个运维职位,为数据库的正常运行而负责。而到了云时代,DBA可以跳出这些枯燥的的日常工作,云计算已经将这些功能自动化实现,使得DBA可以更进一步为企业数据的运行效率而负责。 2018年阿里云RDS实现的生产效率同比2017年大幅度提高达1倍之多。如果合乎选用的是高可用版部署模式,在不提高任何成本的前提下,即可支持“多可用区”模式,为企业提供更为可靠的同城双中心跨区域容灾体验。已有用户也可以通过“迁移可用区”迁移到“多可用区”以提高企业核心业务系统的容灾能力。相比传统动辄数十万的跨中心光缆部署费用,这一部署模式在阿里云RDS中,不需要用户多支付任何费用。 通过精细化调度管理策略,我们将“可维护时间段”从4小时缩短到1小时。同时,提供“待处理事件”功能,与用户实现可视化的运维管理交互能力。企业的DBA可以更为有效地管理运维时间,在遇到云资源后端发现硬件问题预警,必须进行网络或HA切换时可以自行调整切换闪断时间,降低对企业业务正常运行的干扰。 数据管理(DMS)提供除了免费版外,针对中大型企业的DBA提供高级版、企业版。数据管理企业版,是一种集数据管理、结构管理、研发流程、用户管理、权限管理、访问安全于一体的数据管理服务。基于RDS及数据管理企业版,企业DBA可以从繁重的日常数据库管理工作中脱离出来,以数据为中心为企业提供更有价值的数据管理服务,如: - 研发人员从线下环境结构设计,到SQL发布预审,到生产发布的完整数据库研发流程- 字段级别细粒度操作权限管控,所有用户操作在线化、可溯源- 支持根据业务灵活配置结构设计、数据变更、数据导出等操作的审批流程- 统一研发与数据库交互的入口,任何用户都不再直接接触数据库账号密码也不需要频繁切换数据库连接进行管理- 等等…… 全链路安全 数据库安全从资源层、连接层、存储层,到审计,方方面面都关乎企业命脉。 - 资源层:在传统IT部署环境下,我们会通过物理机房准入的制度,来控制我们的第三方服务人员甚至是我方人员进入机房以管理资源的使用安全。而在云计算环境下“资源授权管理(简称RAM)”成为了数据安全管理的基础,可以控制不同的人或服务只可以使用或调度限定的数据库实例操作。- 连接层:2018年重点添加了“安全组管理”功能,为用户批量授权提供了便捷的渠道,可以批量快速地添加访问IP白名单,简化DBA工作量。公网DDoS防护为需要打开公网连接的企业,提供有效的屏障,提高公网连接安全性。同时,MySQL引擎支持通过SSL实现数据访问链路的加密,以防止在数据传输过程被第三方摄取数据。- 存储层:通过TDE透明加密,在不调整用户业务应用程序的前提下,实现数据落盘加密,确保用户数据在云环境下的数据私密性。- 高级功能:2018年阿里云将“SQL审计”升级为“SQL洞察” 可以按照数据库、用户、客户端IP、线程ID、执行时长、扫描行数等进行多维度检索。新增SQL分析功能,可以对指定时间段异常SQL定位性能问题。采用新的列式存储和压缩技术,平均可帮您节省大约60%的成本。数据管理企业版,支持针对数据列进行数据脱敏并提供更全面的企业数据管理权限模型,及操作帐号审核机制,全方位提供业务数据安全。 全链路监控 良好的监控及报警能力,可以提高云数据库的管理效率,同时智能CloudDBA可以提高技术运维人员的问题处理效率,保障企业数据库高效稳定运行。 2018年阿里云主要投入在提高监控频率,实时监控展示支持每秒刷新,监控频率日志记录支持每5秒记录1次。同时今年,将CloudDBA推广到所有RDS引擎,为企业提供更好的服务能力。CloudDBA是监控和管理RDS实例性能及运行状况的服务,针对SQL语句的性能、CPU使用率、IOPS使用率、内存使用率、磁盘空间使用率、连接数、锁信息、热点表等,CloudDBA提供了智能的诊断及优化功能,能最大限度发现数据库存在的或潜在的健康风险问题。CloudDBA的诊断基于单个实例,该诊断会提供问题详情及相应的解决方案,可为您管理实例运行状况带来极大的便利。 多引擎覆盖(及能力提升) 2018年阿里云云数据库RDS新添加引擎版本 通过提供更多最新的市场版本,特别是企业级版本功能,如:SQL Server AlwaysOn、MariaDB TX及PPAS 10的ORACLE兼容性及ADAM工具。阿里云为更多不同需求的企业核心系统提供了支持,引擎版本几乎覆盖了市场上所有主流引擎的最高版本。让企业用户迁移上云时避免不必要的版本调整,以最小的工作代价完成系统上云工作。 - SQL Server 2017 AlwaysOn,面向高端企业级客户- MariaDB TX,全球唯一MariaDB TX企业级版本公共云服务提供商- PostgreSQL 10,提供自研支持GPU加速的Ganos时空引擎,实现关系数据库中的时空+业务SQL+GPU加速联合- PPAS 10,提供更强的ORACLE兼容性,并与ADAM工具配合提供更平滑的迁移体验 总结: 为用户提供更核心且实用的价值,是阿里云一贯的承诺。2018年云数据库RDS发展上,不但针对MySQL、SQL Server、PostgreSQL提供了适合个人入门用户的基础版产品,以实惠的价格普惠广大中小用户。阿里云更从企业需求出发,重点在全生命周期、全方位运维、全链路安全、全链路监控、多引擎覆盖 5个方面进行发力,为企业用户提供更优质的云数据库服务。为不同层次的用户提供贴心及高品质的服务,已经成为云计算最核心的价值,期待产业变革为个人及企业用户带来更多体验的升级。 -- 我们为之努力! 2019阿里云峰会(北京站)报名链接https://www.yunqi.org/goPage?page=bj_signup_mb&activeId=2&ticketTypeId=39&channelId=12 席位有限,先到先得哦!
全面支持高可用版云计算已经进入普及期,不少企业开始从自建数据中心转向云计算。在云计算资源的使用上,从最开始只是使用IaaS层基础资源,转向使用包括云数据库在内的各类PaaS资源。数据库是企业IT架构的核心部分,RDS关系型数据库服务已经成为企业重度依赖的云服务。 过去7年的持续发展,2018年阿里云首次进入Gartner的数据库魔力象限,能够入选Gartner,这是中国数据库厂商的一次突破。阿里云入围Gartner充分说明,在新一波技术浪潮之上进行创新,才可能做出突破。云数据库已经不仅仅是简单地完成数据库在云资源中的搭建,数据库曾经是IT系统中最昂贵的投入之一,对企业CXO们(CEO、CFO、CTO、CIO等)而言,更加灵活的生命周期管理,可以实现成本的合理投入及灵活管理。对DBA技术人员而言,更高的安全性、更全面的监控能力、更便捷的运维方式,将改变DBA在企业的工作模式及地位。 从企业管理者及DBA的角度,我们将针对企业对数据库的各方面需求,基于:全生命周期、全方位运维、全链路安全、全链路监控、多引擎覆盖 5个方面进行横向对比,给广大读者呈现一张《2018阿里云云数据库RDS核心能力演进》大图。 全生命周期 灵活的生命周期管理,可以让企业以最合适的投入成本使用云计算资源,对于任何规模的企业,这都是开源节流的有力手段。一个IT项目通常会经历以下阶段: - 项目规划:按量付费(升、降级)以进行功能开发、性能等验证- 系统上线:按量付费转包年包月,以长期节省成本- 系统扩充:包年包月升级- 系统萎缩:包年包月降级- 系统下线:包年包月按量付费 -> 按量付费资源释放 -> 销毁实例(彻底删除数据) 当然云计算也应该提供能力,以避免企业由于业务过程中突发情况,忘记充值导致需要进行“续费解锁”,甚至是由于已经到达实例续费最后期限而到导致资源释放后,需要通过“过期重建”进行数据找回。 这些能力构成云数据库的“全生命周期”管理能力,可以看到阿里云在2018年进行了重点功能提升,几乎覆盖企业IT系统生命周期的所有场境的自助化管理。 全方位运维 曾经DBA的工作就是日复一日地进行数据库安装、部署、巡检、备份、恢复,在很多企业中DBA只是一个运维职位,为数据库的正常运行而负责。而到了云时代,DBA可以跳出这些枯燥的的日常工作,云计算已经将这些功能自动化实现,使得DBA可以更进一步为企业数据的运行效率而负责。 2018年阿里云RDS实现的生产效率同比2017年大幅度提高达1倍之多。如果合乎选用的是高可用版部署模式,在不提高任何成本的前提下,即可支持“多可用区”模式,为企业提供更为可靠的同城双中心跨区域容灾体验。已有用户也可以通过“迁移可用区”迁移到“多可用区”以提高企业核心业务系统的容灾能力。相比传统动辄数十万的跨中心光缆部署费用,这一部署模式在阿里云RDS中,不需要用户多支付任何费用。 通过精细化调度管理策略,我们将“可维护时间段”从4小时缩短到1小时。同时,提供“待处理事件”功能,与用户实现可视化的运维管理交互能力。企业的DBA可以更为有效地管理运维时间,在遇到云资源后端发现硬件问题预警,必须进行网络或HA切换时可以自行调整切换闪断时间,降低对企业业务正常运行的干扰。 数据管理(DMS)提供除了免费版外,针对中大型企业的DBA提供高级版、企业版。数据管理企业版,是一种集数据管理、结构管理、研发流程、用户管理、权限管理、访问安全于一体的数据管理服务。基于RDS及数据管理企业版,企业DBA可以从繁重的日常数据库管理工作中脱离出来,以数据为中心为企业提供更有价值的数据管理服务,如: - 研发人员从线下环境结构设计,到SQL发布预审,到生产发布的完整数据库研发流程- 字段级别细粒度操作权限管控,所有用户操作在线化、可溯源- 支持根据业务灵活配置结构设计、数据变更、数据导出等操作的审批流程- 统一研发与数据库交互的入口,任何用户都不再直接接触数据库账号密码也不需要频繁切换数据库连接进行管理- 等等…… 全链路安全 数据库安全从资源层、连接层、存储层,到审计,方方面面都关乎企业命脉。 - 资源层:在传统IT部署环境下,我们会通过物理机房准入的制度,来控制我们的第三方服务人员甚至是我方人员进入机房以管理资源的使用安全。而在云计算环境下“资源授权管理(简称RAM)”成为了数据安全管理的基础,可以控制不同的人或服务只可以使用或调度限定的数据库实例操作。- 连接层:2018年重点添加了“安全组管理”功能,为用户批量授权提供了便捷的渠道,可以批量快速地添加访问IP白名单,简化DBA工作量。公网DDoS防护为需要打开公网连接的企业,提供有效的屏障,提高公网连接安全性。同时,MySQL引擎支持通过SSL实现数据访问链路的加密,以防止在数据传输过程被第三方摄取数据。- 存储层:通过TDE透明加密,在不调整用户业务应用程序的前提下,实现数据落盘加密,确保用户数据在云环境下的数据私密性。- 高级功能:2018年阿里云将“SQL审计”升级为“SQL洞察” 可以按照数据库、用户、客户端IP、线程ID、执行时长、扫描行数等进行多维度检索。新增SQL分析功能,可以对指定时间段异常SQL定位性能问题。采用新的列式存储和压缩技术,平均可帮您节省大约60%的成本。数据管理企业版,支持针对数据列进行数据脱敏并提供更全面的企业数据管理权限模型,及操作帐号审核机制,全方位提供业务数据安全。 全链路监控 良好的监控及报警能力,可以提高云数据库的管理效率,同时智能CloudDBA可以提高技术运维人员的问题处理效率,保障企业数据库高效稳定运行。 2018年阿里云主要投入在提高监控频率,实时监控展示支持每秒刷新,监控频率日志记录支持每5秒记录1次。同时今年,将CloudDBA推广到所有RDS引擎,为企业提供更好的服务能力。CloudDBA是监控和管理RDS实例性能及运行状况的服务,针对SQL语句的性能、CPU使用率、IOPS使用率、内存使用率、磁盘空间使用率、连接数、锁信息、热点表等,CloudDBA提供了智能的诊断及优化功能,能最大限度发现数据库存在的或潜在的健康风险问题。CloudDBA的诊断基于单个实例,该诊断会提供问题详情及相应的解决方案,可为您管理实例运行状况带来极大的便利。 多引擎覆盖(及能力提升) 2018年阿里云云数据库RDS新添加引擎版本 通过提供更多最新的市场版本,特别是企业级版本功能,如:SQL Server AlwaysOn、MariaDB TX及PPAS 10的ORACLE兼容性及ADAM工具。阿里云为更多不同需求的企业核心系统提供了支持,引擎版本几乎覆盖了市场上所有主流引擎的最高版本。让企业用户迁移上云时避免不必要的版本调整,以最小的工作代价完成系统上云工作。 - SQL Server 2017 AlwaysOn,面向高端企业级客户- MariaDB TX,全球唯一MariaDB TX企业级版本公共云服务提供商- PostgreSQL 10,提供自研Ganos时空引擎,实现关系数据库中的时空+业务SQL联合- PPAS 10,提供更强的ORACLE兼容性,并与ADAM工具配合提供更平滑的迁移体验 总结: 为用户提供更核心且实用的价值,是阿里云一贯的承诺。2018年云数据库RDS发展上,不但针对MySQL、SQL Server、PostgreSQL提供了适合个人入门用户的基础版产品,以实惠的价格普惠广大中小用户。阿里云更从企业需求出发,重点在全生命周期、全方位运维、全链路安全、全链路监控、多引擎覆盖 5个方面进行发力,为企业用户提供更优质的云数据库服务。为不同层次的用户提供贴心及高品质的服务,已经成为云计算最核心的价值,期待产业变革为个人及企业用户带来更多体验的升级。 -- 我们为之努力!
信息摘要: 相比原 9.4 版本有多项功能更新,但由于架构限制当前不支持 PostgreSQL 9.4 高可用版 及 10 基础版 直接升级适用客户: 所有 PostgreSQL 数据库用户版本/规格功能: 发布 PostgreSQL 10 高可用版,相比原9.4高可版新增以下特性: - 多功功能:JSONB、BRIN索引、GROUPING SETS/CUBE/ROLLUP、UPSERT - 并行顺序扫描、联合和聚合:通过支持多个同步的备机和“远程申请”的同步事务提交,来实现支持强数据一致性、只读性可伸缩扩展的集群; - 支持词组的全文检索:postgres_fdw外部数据封装器现在对远程服务器可以执行排序、联合、更新和删除等指令; - 通过避免“二次冻结”过期数据实现减少对大表的自动清理数据的影响; - 表分区:在表继承中,父表总是为空,子表(分区)有一个隐式约束,当元组插入父表时,它可以影响元组实际上添加到哪个分区。当使用继承关系推导表的属性时,表分区有望简化这个过程,让特定的优化成为可能。 - 逻辑复制:这是PostgreSQL在物理复制之外提供的另一种可选方案,提供了更大的灵活性,而且配置简单。 - 改进并行查询:在查询很多时应该会有2到4倍的速度提升。 - 更强大的密码哈希算法:使用了SCRAM -SHA–256。产品文档: https://www.aliyun.com/product/rds/postgresql
信息摘要: 提供更多Oracle兼容性,最高IOPS支持45万,并提供更多独享实例规格。适用客户: 有Oracle迁移需求的用户,需要进行软件正版化改造的企业,如:准备业务出海的企业、即将上市的公司、上市公司等。版本/规格功能: 版本:云数据库RDS PPAS 10;Oracle兼容性比上一代版本更高;IOPS从原最高50000提高到450000;新增加多个CPU及内存比率为1:4的新规格;为Oracle企业的核心应用迁移上云提供有力支持;同时与ADAM进行深入整合,可以有效缩短用户迁移评估及实施的人力成本。产品文档: https://help.aliyun.com/document_detail/53731.html
2018年3月28/29日,云栖大会将于深圳隆重举办,本次云栖大会分为线下深圳会场和线上分论坛的模式,阿里云·云数据库团队将在28号下午13:00-17:00举办线上直播分论坛。 【直播入口】https://yq.aliyun.com/promotion/585 以下为直播议程表: 时间 主题 演讲者 3月28日 13:00-13:50 云数据库:未来指数级数据增长背后的技术要塞 铁庵 阿里云高级产品专家 3月28日 13:50-14:40 传统行业的数据库如何迎接云时代 时慢 阿里云高级产品专家 3月28日 14:40-15:30 云数据库MySQL版新特性分享 乙休 阿里云产品专家 3月28日 15:30-16:20 云数据库Redis如何助力企业腾飞 挚尤 阿里云高级产品专家 3月28日 16:20-17:00 云数据库SQLServer 2016新版特性分享 胜通 阿里云产品专家 了解云数据库MySQL产品详情,请点击此处。 了解云数据库Redis产品详情,请点击此处。 了解云数据库SQLServer产品详情,请点击此处。 了解云数据库MongoDB产品详情,请点击此处。 此次云数据库线上分论坛的主题为“BE THE PIONEER FROM APSARADB”,意为“从云数据库开始,做云时代的引领者”。未来10年,可以预期是数据指数级爆炸式增长的10年,在大数据、人工智能、物联网IOT等领域,云数据库会成为这些场景背后的技术要塞。对企业而言,数据库正在经历从OLTP到OLAP再到AI的转变,如何走在云时代的前列,调整数据库在企业应用架构中的配置,成为了众多传统企业的当务之急。此次云栖大会·云数据库直播分论坛,来自阿里云的5位产品专家将会给大家带来关于云数据库的深度解读,这5场直播,不仅会谈大势,聊企业如何应对互联网浪潮下的数据库发展变革,更会深入具体的产品,从传统SQL到NoSQL再到NewSQL,5位专家倾情阐释,力求给大家带来一场云数据库的盛宴。 “PB级”数据量其实已经在你我身边,或许已经拥有PB级数据量的企业还现在还并不多,但这应该是每个DBA未来都会接触到的数据量级。作为DBA我们将需求处理更为复杂的数据信息,因此数据库架构也将日渐复杂,每天面对的系统安装、配置、备份、恢复的工作,你是否已经厌倦? 要赢得现代化的领先优势,你需要全新的装备,云数据库将为新一代DBA提供“武装支持” 云数据库将让你脱离沉闷的系统重复性工作,让DBA留有更多时间为业务发展进行服务,提现技术价值。 你准备好“武装自己”了吗? 在极速上涨的数据量级需求下,传统单一的数据库架构已经无法支撑,DBA将面临企业中多种数据库模型的混合使用。 各种不同类型架构的数据库,当前都可以通过云数据库进行“一键式”构建,同时支持最新的各种数据库版本,如:MySQL 5.7、SQL Server 2016、Redis 4.0、MongoDB 3.4、PostgreSQL 10等。 得益于阿里云成熟稳定的 “飞天架构” 部署规模优势,云数据库 “同城双中心(Multi-AZ)” 架构不需要产生任何费用,同时还可以在最优成本的前提下实现 “两地多中心” 架构的跨地域(Region)数据同步方案。 面向未来,阿里云 拥抱开源,回馈开源,并持续推动其发展,AliSQL及ApsaraCahce项目不单将原有MySQL及Redis开源版本功能入性能进行了提升,同时更发展出阿里云自有的开源生态,我们期待大家与我们一同享受开源为世界带来的自由。 每一次的业务 “微创新” 都是工程的飞跃,即将到来的 CloudDBA、OpenSearch整合 及 表级FLASHBACK 将为DBA提供极致的数据库管理及使用体验。这些技术,可以协助DBA提高数据库管理及优化效率,实现更为简易的数据全文查询,提供误操作后更为有效的表级数据回滚(删库后或许不需要再“跑路”了)。 【直播入口】https://yq.aliyun.com/promotion/585 时间:2018年3月28日下午13:00-17:00,不见不散。
建议大家使用Oracle XE版本,因为这是唯一在Oracle商业条款中可以免费使用的版本。其他Oracle版本中我没有看到free的字样,因此哪怕是用于开发和学习可能都是有问题的,不要因为学习和开发导致自己承担犯法的风险。同时请遵循以下要求,无论是在阿里云ECS上安装还是在自己的虚拟机或服务器,内存不得大于1GB,数据空间限制为11GB,以下内容摘自Oracle官网: 下载及安装 到Oracle官方网站下载:oracle-xe-11.2.0-1.0.x86_64.rpm.zip,解压后得到oracle-xe-11.2.0-1.0.x86_64.rpm文件,并进行RPM安装 [root@ora112 Oracle]# cd Disk1/ [root@ora112 Disk1]# rpm -ivh oracle-xe-11.2.0-1.0.x86_64.rpm Preparing... ################################# [100%] /var/tmp/rpm-tmp.3YUxbo: line 186: bc: command not found /var/tmp/rpm-tmp.3YUxbo: line 257: [: 18446744073692774399: integer expression expected /var/tmp/rpm-tmp.3YUxbo: line 271: [: 18446744073692774399: integer expression expected Updating / installing... 1:oracle-xe-11.2.0-1.0 ################################# [100%] Executing post-install steps... /var/tmp/rpm-tmp.we7w30: line 76: bc: command not found /var/tmp/rpm-tmp.we7w30: line 77: bc: command not found /var/tmp/rpm-tmp.we7w30: line 78: [: -gt: unary operator expected /var/tmp/rpm-tmp.we7w30: line 82: bc: command not found You must run '/etc/init.d/oracle-xe configure' as the root user to configure the database. [root@ora112 Disk1]# 问题处理 SWAP空间不足 如果在进行rpm安装时出现 [root@ora112 Oracle]# cd Disk1/ [root@ora112 Disk1]# rpm -ivh oracle-xe-11.2.0-1.0.x86_64.rpm Preparing... ################################# [100%] /var/tmp/rpm-tmp.odUoYL: line 186: bc: command not found This system does not meet the minimum requirements for swap space. Based on the amount of physical memory available on the system, Oracle Database 11g Express Edition requires 2048 MB of swap space. This system has 1639 MB of swap space. Configure more swap space on the system and retry the installation. error: %pre(oracle-xe-11.2.0-1.0.x86_64) scriptlet failed, exit status 1 error: oracle-xe-11.2.0-1.0.x86_64: install failed 请进行以下操作,扩大SWAP空间以完成进行数据库安装 [root@ora112 opt]# swapon NAME TYPE SIZE USED PRIO /dev/dm-1 partition 1.6G 0B -1 [root@ora112 opt]# dd if=/dev/zero of=/opt/swapfile2GB bs=1MB count=2048 2048+0 records in 2048+0 records out 2048000000 bytes (2.0 GB) copied, 4.10784 s, 499 MB/s [root@ora112 opt]# chmod 0600 /opt/swapfile2GB [root@ora112 opt]# mkswap /opt/swapfile2GB Setting up swapspace version 1, size = 1999996 KiB no label, UUID=230dd90e-c6fb-436d-8d24-96a946165f4d [root@ora112 opt]# vi /etc/fstab [root@ora112 opt]# cat /etc/fstab # # /etc/fstab # Created by anaconda on Tue Feb 9 21:21:02 2016 # # Accessible filesystems, by reference, are maintained under '/dev/disk' # See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info # /dev/mapper/centos-root / xfs defaults 0 0 UUID=4f2b0f6a-6e44-4b1a-b764-af7aaf2551af /boot xfs defaults 0 0 /dev/mapper/centos-swap swap swap defaults 0 0 /opt/swapfile2GB swap swap defaults 0 0 [root@ora112 opt]# swapon /opt/swapfile2GB swapon: /opt/swapfile2GB: insecure permissions 0644, 0600 suggested. [root@ora112 opt]# swapon /opt/swapfile2GB [root@ora112 opt]# swapon NAME TYPE SIZE USED PRIO /dev/dm-1 partition 1.6G 0B -1 /opt/swapfile2GB file 1.9G 0B -2
【PG云栖周刊】Alpha#02 | 2018年03月12日 【PG头条】 在你身边PostgreSQL正在发生哪些变化,所有PG的中文消息及新闻都在这里。 [活动] 3月17-18 PG象行中国2018-地理信息处理GIS专题(北京站) 活动为期2天: - 3月17日,PG象行中国 - 地理信息处理GIS专题(北京站) - 3月18日,PG象牙塔 - 德哥Digoal 公益培训(北京站) 活动地点:北京师范大学 艺术楼 201教室 特别鸣谢,本期协办企业: - 北京佳格天地科技有限公司 特别鸣谢,本期场地提供方: - 北京师范大学 - 遥感科学国家重点实验室 - 北京市陆表遥感数据产品工程技术研究中心 点评:这是2018年 “象行中国” 的首场活动,也是首次以 PostGIS地理信息 为专题的活动,欢迎参加。 [新知] PostgreSQL最新存储扩展引擎zheap,计划加入到PG12 http://amitkapila16.blogspot.com/2018/03/zheap-storage-engine-to-provide-better.html 点评:由于MVCC机制数据库会遗留数据的版本信息,因此需要定期进行VACUUM进行清理,这导致周期性的性能损耗。zheap存储引擎的到来,将可能为VACUUM画上句号,我们拭目以待,想了解更多关于此项目的信息或参与到项目中可以加入以下GitHub:https://github.com/EnterpriseDB/zheap [版本] PostgreSQL 10.3更新版本发布说明 点评:此次的版本发布主要解决CVE-2018-1058号的安全问题,及修正多个Bug [推广] 云数据库PPAS Oracle兼容性 - 数据类型(见文档第72页) 活动详情:https://promotion.aliyun.com/ntms/act/ppasadam.html 产品详情:https://www.aliyun.com/product/rds/ppas [直接购买云数据库PPAS] [精文] PostgreSQL从入门到不后悔 点评:本文简单介绍了 PostgreSQL 10 的安装、使用和一些特性。介绍怎样使用 JDBC 来访问 PostgreSQL 数据库,使用 Scala 编程语言作示例,当中还加入了FDW操作用例,告诉读者如何将PG变成数据库间的超级连接器。 [精文] PostgreSQL中HOOK的使用 点评:引用原文本的一句话 “数据库从业者的四个阶段:入门-->精通-->删库-->跑路。跑路是跑不掉的,那么删库能删的掉吗?” 文章通过介绍PostgreSQL中如何通过HOOK“钩子”来避免误删库的问题,并提供了实现此功能的源码项目https://github.com/sangli00/pg_checkdestroy,大家在删库后不再需要“跑路”了。 立足中国,连接全球 PostgreSQL 2018 腾飞吧,大象! Postgres中文社区投稿:press@postgres.cn 本周刊与 Postgres中文社区 持续联动 本期编制:萧少聪(铁庵) Scott Siu
【PG云栖周刊】Alpha#01 | 2018年02月04日 【PG头条】 在你身边PostgreSQL正在发生哪些变化,所有PG的中文消息及新闻都在这里。 [新闻] DB-Engines 2018年2月全球排行PostgreSQL稳居第4位 [来源:DB-Engines.com] 点评:最新 PostgreSQL 11 性能相关的新闻不段,或许在2018年的第一季度PostgreSQL的Score将会超过400。 [新闻] PostgreSQL全球开发组于布鲁塞尔会面,对 PostgreSQL 11 新版本开发工作进行讨论 [来源:2ndquadrant] 点评:还记得曾经在2017年10月到华参加 云栖大会 和 PostgreSQL中国用户年会 的 Bruce Momjian 吗?会中大神们讨论除了讨论PG11的开发进度及Bug Fixed名,还对PG12的开发路径进行初步确定。当中与会者一致同意将在PG12将存储接口API化;而Alexander针对64位事务处理的补丁会分成两部份完成,所有这些工作都将进入到PG12新版本,虽然有部分内容还没有全部统一确认,但本次会议开启了PG12的新规划。 [新知] PostgreSQL 11 多个预览功能发布,单实例100亿TOP-K仅40秒 [来源:德哥的GitHub] 点评:我本来也是不信的,但德哥的数据让我折服!看来 PG11 的重点在于性能提升,让人期待,而且热血沸腾。 [演讲] 如何通过BDR在PostgreSQL上实现Multimaster多主节点复制 [来源:2ndquadrant] 点评:十分可惜这个全长44分钟的视频当前还在海外的视频网站(你懂),我们已经联系演讲者,期待下周在中国本地发布。 [迁移] 如何通过ADAM将数据库迁移评估时间从2个月缩短到1周 [来源:阿里云] 点评:不同数据库间的迁移调研十分耗时,ADAM可以协助用户在1周左右的时间出具详细的迁移评估报告,报告可长达1000页,细节到每个在源数据库中执行过的SQL。当前云上可以直接使用的版本支持从 Oracle 到 云数据库PPAS版 的迁移评估,使用十分方便,如果你想了解自己的Oracle数据库是否适合迁移到基于PostgreSQL的 云数据库PPAS版,可以免费在阿里云中申请ADAM测试帐号进行使用,[点击申请]。 [牛人] PostgreSQL不再需要VACUUM?这听上去视乎无法想象 [来源:EnterpriseDB Robert Haas] 点评:PostgreSQL 使用多版本并发控制 (MVCC), 如果您创建了多个行版本,那有很多版本的信息将不再有用。在 PostgreSQL, VACUUM负责发现这些版本并进行标记,而 autovacuum 过程负责定期自动执行VACUUM。然而,或许还有其他可能的方案,如并非所有关系数据库都以相同的方式处理MVCC,并且有理由相信 PostgreSQL 可以从采用新方法中获益。事实上,Robert Haas 和在 EnterpriseDB 公司许多同事都在忙于实施一种新的方法,来看看他们新的想法。 [新知] Citus是如何对PostgreSQL数据进行重分布的 [来源:CitusData] 点评:Citus是PostgreSQL业界知名的分布分表组件,不同于MySQL中的MyCat,Citus是一个PostgreSQL的扩展插件,因此他的运行也与PostgreSQL有更为紧密的整合。 立足中国,连接全球 PostgreSQL 2018 腾飞吧,大象! Postgres中文社区投稿:press@postgres.cn 本周刊与 Postgres中文社区 持续联动 本期编制:萧少聪(铁庵) Scott Siu
【PG云栖周刊】Alpha#00 | 2018年01月27日 【PG中文头条】 在你身边PostgreSQL正在发生哪些变化,所有PG的中文消息及新闻都在这里。 [活动] PostgreSQL中级培训公开课-北京站,1月27日完满结束 [来源:postgres.cn 承办方:瀚高基础软件] 点评:PostgreSQL公开课,是由中国开源软件推进联盟PostgreSQL分会主办的公益培训,期待全国开课,诚邀有意承办此活动的企业或个人可以主动与社区取得联系。 [活动] 德哥 PostgreSQL | GPDB 分享会 1月21日在杭州娃哈哈集团公司医药保健品基地完满结束 [来源:postgres.cn] 点评:德哥的PostgreSQL公开课,是不定期的PostgreSQL公益培训,本次走进企业,感谢哇哈哈集团给予场地支持。 [推荐阅读] PostgreSQL 图式搜索(graph search)实践 - 百亿级图谱,毫秒响应 [来源:云栖社区] 点评:PostgreSQL并不是一个图式数据库,但却可以基于关系型数据库解决部分图式搜索的问题。50亿的点边网络,N度搜索、最短路径搜索,响应时间都在毫秒级(其中3度搜索,每层100条限制,仅2.1毫秒,TPS达到1.2万)。业界已经发布基于PostgreSQL开源版本的图数据库AgensGraph有兴趣的同学可以多关注,PostgreSQL给你无限可能。 [推荐阅读] Greenplum数据库中文文档 [来源:greenplum.org] 点评:感谢武汉大学 彭煜玮,邰凌翔,韩珂,兰海 翻译,感谢 VitesseData/迅讯科技 提供支持,Greenplum中文文档终于面世了! [推荐阅读] PostgreSQL Oracle 兼容性之 - rownum [来源:德哥的GitHub] 点评:性能上Limit由于可以直接进行位点的设定,因此在进行大表分页的情况下,性能会比rownum还要好。 【PG全球新知】 每期为你精选5个最新的海外PostgreSQL最新动向,让你与全球PGer同步。 [牛人] Bruce Momjian对PostgreSQL文档的自省 [来源:momjian.us] 点评:这只是一篇很短的Blog,是Burce对2013年后PG文档中关于安全证书使用描述的调整说明。Bruce是PostgreSQL圈中教父级的人物,从中可以看到Bruce严谨的工作态度,这一点值得我们学习。 [动态] PostgreSQL 11 新特性抢先看 - 支持通过update直接移动表分区中的数 [来源:depesz] - 支持直接修改表分区的分区键(partition key) [来源:pgstef's blog] 点评:PG10的表分区主要提高的操作的易用户,但性能及功能细节还是有所欠缺,期待PG11的完善及修改 [活动] PGDay.IT 2018 将于 6月29日 在意大利的拉齐塞举行,正式开始主题及workshop内容征集 [来源:postgresql.org] 点评:对于优秀的主题会方有可能会赞助差旅的哦,还不快来 [发布] Citus 7.2发布,支持CTEs(本地表或分布表)、复杂子查询、UNION/INTERSECT等、基于pg_partman的自动化表分区管理 [来源:citusdata.com] 点评:Citus是基于PostgreSQL的Sharding扩张组件,可以很好地实例分布式数据库,实现分布分表功能,新版本组合pg_partman后更提出了可以构建一个“基于PostgreSQL的时序数据库”的设想,可再参考:Citus and pg_partman: Creating a scalable time series database on Postgres [发布] PostgreSQL JDBC 42.2.1发布 [来源:postgresql.org] 【向PG出发】 为读者呈现从不同数据库向PostgreSQL迁移资讯,为开发工程师、DBA及项目经理提供资料参考。 [最新动态] 阿里云推出Oracle迁移重榜优惠,迁移到基于PostgreSQL内核的 云数据库PPAS版 优惠达5折 [来源:阿里云] 点评:PPAS是阿里云与PostgreSQL业界顶尖公司EnterpriseDB联手打造的兼容Oracle语法的云数据库,对PG比较熟悉的朋友都可能都对EnterpriseDB产品有所了解,其对Oracle的兼容性在业界口碑是很高的。然而,再高的兼容性也总有疏漏,为此阿里云通过ADAM(Advanced Database & Application Migrate)工具,协助用户全面收集Oracle中运行过的所有脱敏SQL(也就是只有语句没有用户业务数据),并实现基于 云数据库PPAS版 逐句重放,协助用户1周内即可完成迁移可行性评估(自动生成的报告精细到每个SQL及如何进行修改,页数达数十甚至上千页)。完成数据迁移后,ADAM提供SQL双边对测的性能评估,在PoC阶段即可甄别出可能出现的“慢SQL”,并输出优化建议,协助DBA实现性能优化避免上线风险。对于开发人员,还提供内可以内嵌到Eclipse中的AMSTool插件,可以协助开发人员直接定位不兼容的SQL出现在JAVA程序的哪一行。本周刊将连同ADAM进行持续的报道,也期待ADAM未来可以推出直接面向 PostgreSQL 的版本,以造福更多用户。 [最新动态] pgloader作者Dimitri Fontaine发布PG数据迁移白皮书 [来源:pgloader.readthedocs.io] 点评:pgloader是一款PostgreSQL数据迁移工具,最初只用于支持格式化文件的数据快速导入到PG。相比PostgreSQL原生的COPY及\copy数据导入方法,pgloader支持跳过无法导入的出错数据并进行记录,因此在源数据文件有部份错误数据的情况下依然可以继续完成迁移任务,节省迁移排错后重复导入的时间损耗。最新的版本中,还支持直接将SQLite、MySQL、MS SQL Server数据库作为数据源,进行数据的直接导入,并针对不同数据类型进行自动转换,甚至还会针对不同数据库特性完成自动替换,如:支持将SQL Server中的dbo会自动转成public。遗憾的是,pgloader无法支持从源端到目标端的增量复制,也就是说无法用于生产环境的割接中。但pgloader的出现,使得PostgreSQL开发人员可以十分方便的进行数据库迁移转换,对于在新项目中由于功能及开放性需求要使用PostgreSQL的业务来说,pgloader依然是数据迁移的绝佳利器。 【特别致敬 PostgreSQL Magazine #00】 英文原版:issue-00.english.screen.72dpi.pdf 中文翻译:issue-00.zh_cn.a4.screen.pdf 2011年5月,PostgreSQL Magazine #00号创刊,编者有幸参与了其中文版翻译的当中,这一年也是 Postgres中国用户会 正式成立的第一年,这本杂志伴随了PostgreSQL的成长。遗憾的是,在历史中,有也只有这一期,2016年工作组曾经重新建立新的期刊《Elephant Paper 01》但也并没持续运营。 2018月1月,感谢 云栖社区 的平台,我们将在此重塑 PostgreSQL Magazine ,我们将以周刊形式进行每周更新,同时将刊号定义为Alpha,我们认为当前依然是一个初创的不完整的版本。期待在不久的将来,有更多有志之士的加入,可以正式组建非盈利性的精华版月刊,真正完成 PostgreSQL Magazine 的薪火相传。 立足中国,连接全球 -- “PostgreSQL 2018 腾飞吧,大象!” Postgres中文社区投稿:press@postgres.cn 本周刊与 Postgres中文社区 持续联动 本期编制:萧少聪(铁庵) Scott Siu
术语 ApsaraDB for RDS(PPAS),以下简称PPAS PPAS与Oracle的日期计算结果对比 PPAS: ppas=# SELECT TO_DATE('20140319 121212','yyyymmdd hh24miss') - TO_DATE('20140522 232323','yyyymmdd hh24miss') FROM dual; ?column? -------------------- -64 days -11:11:11 (1 row) Oracle: SQL> SELECT TO_DATE('20140319 121212','yyyymmdd hh24miss') - TO_DATE('20140522 232323','yyyymmdd hh24miss') FROM dual; TO_DATE('20140319121212','YYYYMMDDHH24MISS')-TO_DATE('20140522232323','YYYYMMDDH -------------------------------------------------------------------------------- -64.4661 解决方案 ppas=# CREATE OR REPLACE FUNCTION interval2number ( p1 INTERVAL ) RETURN NUMBER IS BEGIN RETURN EXTRACT(EPOCH FROM p1 / 60 / 24) /60 ; END; ppas=# SELECT interval2number(TO_DATE('20140319 121212','yyyymmdd hh24miss') - TO_DATE('20140522 232323','yyyymmdd hh24miss')) FROM dual; interval2number -------------------------------------------------------------------------------- -64.4660995333333
阿里云、平安科技、沃趣科技等多家PostgreSQL明星企业的技术专家与大家面对面分享PostgreSQL及Greenplum在互联网、金融保险等行业的应用案例。 报名地址:http://pg2016shanghai-tcwechatshare.eventdove.com/ 活动主题:2016象行中国-上海PostgreSQL交流会活动时间:2016年5月21日活动地址:上海市徐汇区凯滨路206号平安大厦A座6楼(近地铁7号线,12号线龙华中路站) 活动主办:PostgreSQL中国用户会上海分会活动承办:平安壹钱包活动讲师团:平安科技、阿里云、平安壹钱包、阿里巴巴、沃趣科技、原Greenplum技术专家活动负责人:胡怡文(18958088285)、杨楂文、涂勇 会议日程:上午(会场一,会场二联播) 9:20 ~ 9:30: 会议开始,主持人介绍 胡怡文 9:30 ~10:15: 从Postgres95到PostgreSQL9.5 萧少聪 10:15~11:00: DeepGreen一个LLVM JIT SQL加速技术进展 王伟珣 11:00~11:15 中场休息 11:15~12:00: 一个Oracle老朋友眼中的PG 侯松 下午(会场一) 13:40~14:25: 阿里数据库团队PostgreSQL实践 杨洋洋 14:25~15:10: PostgreSQL FDW和GreenPlum外部表编程接口介绍和对比 曾文旌 15:10~15:30: 中场休息 15:30~16:15: PostgreSQL使用经历分享 孙运华 16:15~17:00: 讨论交流 下午(会场二) 13:40~14:25: PostgreSQL vs MySQL (Join和replication场景) 邱文辉 14:25~15:10: 浅谈PostgreSQL数据库监控 余星 15:10~15:30: 中场休息 15:30~16:15: PostgreSQL主备机制 范孝剑 16:15~17:00: 讨论交流 嘉宾介绍: 萧少聪 Postgresql中国社区创始人之一,2016年社区主席,Oracle迁移专家,阿里云ApsaraDB for RDS(PostgreSQL/PPAS)产品经理。 侯松 平安科技数据库专家,Oracle ACE,ACOUG核心成员,《高并发Oracle数据库系统的架构与设计》作者。曾担任甲骨文全球大会特别大使,WDP计划大学校园行志愿者。个人网站:www.housong.net 王伟珣原Greenplum 亚太区资深技术总监,自2008年开始研究分布式并行数据库。国内PostgreSQL/MySQL应用的先行者。 杨洋洋 阿里巴巴资深研发工程师,负责阿里数据库产品IDB的研发和维护工作,IDB是阿里的数据库服务平台,平台使用PostgreSQL有效地替换了原先的Oracle,满足了亿级的数据存取要求。 曾文旌 阿里巴巴数据库专家,曾在人大金仓从事国产数据库内核开发工作5年。深入理解关系数据库理论和实现,目前负责阿里云PostgreSQL相关产品的内核开发和服务。 孙运华 平安壹钱包软件研发工程师,多年来一直从事软件研发工作,接触的数据库从Oracle,Mysql,DB2,到近期的Postgresql。乐于和大家分享一些研发经验。 邱文辉 沃趣科技PostgreSQL和MySQL数据库专家,曾服务过多家互联网公司,熟悉互联网业务系统及各个系统使用数据库场景。 余星 平安壹钱包任职DBA。专注于Mysql,Postgresql等开源数据库的运维,并在公司内推广新数据库技术的使用。 范孝剑 阿里云RDS for PostgreSQL研发工程师,目前在阿里云数据库内核团队,负责PostgreSQL的内核开发与客户支持等工作
2015年6月25日,阿里云与全球领先的关系型数据库管理系统厂商EnterpriseDB(以下简称“EDB”)公司达成合作,双方将共同打造新一代云数据库服务。 EDB 数据库是基于开源PostgreSQL数据库开发,并向企业提供高性能、安全、管理等高级功能的先进数据库。其中产品PPAS(Postgres Plus Advanced Server)基于PostgreSQL上改进,具备对Oracle数据库的强兼容特性。 基于双方达成的合作,阿里云RDS将很快推出PPAS(Postgres Plus Advanced Server)的数据库服务供用户使用,希望可以帮助客户及开发者能够重复利用已有的Oracle开发技术和工具,为企业节省大量的成本,创造更多价值。 两家公司也将一起不断投入开发新技术,从安全、功能、工具支持等多方面满足客户的需求。 阿里云RDS(关系型数据库)产品是是一种即开即用、稳定可靠、可弹性伸缩的在线数据库服务。具有多重安全防护措施和完善的性能监控体系,并提供专业的数据库备份、恢复及优化方案。 6月1日,阿里云正式推出RDS for PostgreSQL服务,成为国内首家同时支持MySQL、SQL Server 和PostgreSQL关系型数据库的云计算服务商。 EnterpriseDB成立于2004年,在全球有数千家客户,包括财富500强企业和政府客户,比如Deutsche Borse, KT, Sony, ABN AMRO and NTT等公司,是众多国际性企业信赖的技术和商业合作伙伴。
转载自:http://www.aws-faq.com/featured/twelve-new-features-for-amazon-redshift.html Redshift 新增12项功能 BY MARTIN LIU · 2014年5月14日 Amazon Redshift Amazon Redshift 是一种快速、完全托管的 PB 级数据仓库服务,它使得用现有商业智能工具对您的所有数据进行高效分析变得简单而实惠。您可以以每小时 0.25 USD 的价格从小规格做起,无需订立长期合约或预付费,然后以每年每 TB 1 000 USD 的价格再扩展到 1 PB 或以上,这个费用比大多数其他数据仓库解决方案成本的十分之一还要低。 新增功能 JSON 格式数据支持 能够直接加载JSON格式的数据文件到Redshift, 而不再需要预处理。 能从Elastic MapReduce中Copy 你首先需要把Redshift的公钥和IP地址等信息放到MapReduce的EC2 host中,就可以使用Copy命令直接导入数据到Redshift了。 Unload到单个文件 能够把一个或者多个查询的结果文件上传到S3中。 增加了并发性 现在能够配置最大50个并发查询。查询中的每个Slot都被分配了相等的并发量。这样提高了您的查询的效率和性能。 设置最大结果集大小 能设置光标计数器和结果集大小。 正则表达式解析 能在选择语句中使用正则表达式解析字符串。支持的正则表达式功能包括:取字符串、字符串计数、插入和替换。 通过了FedRAMP的审批 通过了美国联邦的一项重要的医疗方面的合规标准。 支持ECDHE-RSA 和 ECDHE-ESDCSA Cipher 套件 能支持SSL的连接。 Resize进度指示条 让群集的Resize过程更加可视化。
转载原文:http://www.itpub.net/thread-1409964-1-1.html 什么是GREENPLUM?对于很多IT人来说GREENPLUM是个陌生的名字。简单的说它就是一个与Oracle、DB2一样面向对象的关系型数据库。我们通过标准的SQL可以对GP中的数据进行访问存取。GREENPLUM与其它普通的关系型数据库的区别?本质上讲GREENPLUM是一个关系型数据库集群. 它实际上是由数个独立的数据库服务组合成的逻辑数据库。与RAC不同,这种数据库集群采取的是MPP架构。如下图所示 它的组件分成三个部分MASTER/SEGMENT以及MASTER与SEGMENT之间的高效互联技术GNET。其中MASTER和SEGMENT本身就是独立的数据库SERVER。不同之处在于,MASTER只负责应用的连接,生成并拆分执行计划,把执行计划分配给SEGMENT节点,以及返回最终结果给应用,它只存储一些数据库的元数据,不负责运算,因此不会成为系统性能的瓶颈。这也是GREENPLUM与传统MPP架构数据库的一个重要区别。 SEGMENT节点存储用户的业务数据,并根据得到执行计划,负责处理业务数据。也就是用户关系表的数据会打散分布到每个SEGMENGT节点。当进行数据访问时,首先所有SEGMENT并行处理与自己有关的数据,如果需要segment可以通过进行innterconnect进行彼此的数据交互。 segment节点越多,数据就会打的越散,处理速度就越快。因此与SHARE ALL数据库集群不同,通过增加SEGMENT节点服务器的数量,GREENPLUM的性能会成线性增长。GREENPLUM适用场景?GREENPLUM虽然是关系型数据库产品,它的特点主要就是查询速度快,数据装载速度快,批量DML处理快。而且性能可以随着硬件的添加,呈线性增加,拥有非常良好的可扩展性。因此,它主要适用于面向分析的应用。比如构建企业级ODS/EDW,或者数据集市等等。GREENPLUM运行的平台?GREENPLUM运行在X86架构的硬件平台上,目前支持的操作系统包括32/64位的 LINUX(REDHAT/SUSE)/SOLARIS/MAC OSGREENPLUM的前景?GREENPLUM 诞生于2003年硅谷,2010/07 EMC收购了GREENPLUM,并把GREENPLUM作为EMC面向分析云的战略核心产品,加以大力发展。该产品不仅在国际市场发展很快,在国内市场发展也很快。最著名的案例就是阿里巴巴集团,经过多种产品的精心选型,最终选择GREENPLUM作为它们的数据仓库平台存放数百TB的业务数据去高效支持各种分析应用。如何学习GREENPLUM?正是由于产品发展速度很快,但是在相关人才上存在很大缺口。因此,我个人认为对于各位有兴趣的技术人员来说,是一个很好的职业发展机会。以个人经验来说,只要有其它关系型数据库的基础,尤其是POSTGRESQL或者INFORMIX基础的(因为GREENPLUM是在POSTGRESQL基础上开发出来的),很容就可以上手学习并掌握GREENPLUM。GREENPLUM的手册写的非常好,完全可以作为入门的教材使用。其软件本身也是软性LICENSE,用于学习研究完全免费,而且与生产环境并无不同,这与ORACLE完全一样。如何下载GREENPLUM的资料?官方途径可以从网站 http://www.greenplum.org 上下载手册和软件。但国内由于网络问题,可能不太好用。希望论坛或者哪位同志能提供一个好用的网盘,我愿意与大家分享相关软件和资料。
使用ECS中的crontab配合RDS for PPAS实现数据库任务管理 由于在RDS for PPAS中使用DBMS_JOB及DBMS_SCHEDULER配置比较复杂,因此在进行Oracle迁移时如果没有大量使用以上两个功能,我们可能通过ECS进行crontab配置实现数据库中的任务管理。 实验环境 操作系统:阿里云ECS,AliLinux 6.x数据库:阿里云RDS,AliCloudDB RDS for PPAS 9.3 准备工作 在执行脚本时,为避免脚本中要求输入数据库所有者密码,先在root用户的家目录配置一个.pgpass文件,以实现本地无密码登陆 # touch .pgpass # vim .pgpass ~/.pgpass: <RDS中的内网DNS地址>:<RDS端口>:<数据库名>:<用户名>:<登陆密码> 需要注意该文件的权限: # chmod 0600 ~/.pgpass 一个数据库操作脚本rds4ppas_job_demo.sh /opt/myppas_job/rds4ppas_job_demo.sh的内容: psql -h <RDS中的内网DNS地址> -p <RDS端口> -U <用户名> <数据库名> -c " select.... update... delete... DECLARE ... BEGIN ... DBMS_OUTPUT.PUT_LINE(...); END; " 赋予执行权限 # chmod 0700 /opt/myppas_job/rds4ppas_job_demo.sh 进行crontab配置 # crontab -e 编辑crontab中的内容 0 * * * * /opt/myppas_job/rds4ppas_job_demo.sh 以下为crontab对任务定期执行的时间控制说明: -- 5个控制位代表:分 时 日 月 周 -- 每五分钟执行 */5 * * * * 每小时执行 0 * * * * 每天执行 0 0 * * * 每周执行 0 0 * * 0 每月执行 0 0 1 * * 每年执行 0 0 1 1 * 参考资料 Linux配置定时,使用 crontab -e 与 直接编辑 /etc/crontab 的区别(https://yq.aliyun.com/articles/1357) AliCloudDB RDS for PPAS 是一款高度兼容Oracle的PLSQL、数据类型、高级函数、数据字典的数据库,让开发者原有技术和成果可以快速适配,且提供更具性价比的数据库解决方案。更多信息请参考:https://www.aliyun.com/rds_for_ppas
Oracle迁移到RDS for PPAS(PostgreSQL)时我们会用到很多不同的工具,在中国有些用户会用 中文 作为表名,甚至字段名。迁移可能会出现ERROR: zero-length delimited identifier at or near """"的错误。针对于此,做了以下DEMO,以重现问题及提供解决方法。 ------------------------建3个表,表名分别是:中文1、"中文2"、"""中文3""" ------------------------通过pg_class确认表名在系统表中的存储方式 ---------------- CREATE INDEX 操作时表名不加双引号 ---------------- CREATE INDEX,中文3 加双引号 ---------------- CREATE INDEX,中文3 两对双引号,重现 ERROR: zero-length delimited identifier at or near """" ------------------------ 成功建立 中文3 的INDEX
清晨放毒,让大家看看那些基于PostgreSQL让人咋舌的奇特功能。 1、异地多主节点,异步数据表复制 多数据中心多写多活不是梦,当然这是异步的,需要我们自己处理数据冲突时的处理流程。 2、基于MPP架构的OLAP数据仓库解决方案Greenplum 你想要50台还是100台服务器来做SQL分析? 北京的朋友,Greenplum今天在北京开技术沙龙,PostgreSQL大拿们全都在北京,你们知道吗? 3、pg_shard或基于FDW的数据分片技术 想想,你的一个数据库里,其中有一张表存放在另外512台服务器,随便坏个三两台服务器数据没有影响。但让注意,这不是HDFS,这不是Hadoop,这是PostgreSQL。 4、完全符合OpenGIS标准的PostGIS地址信息管理数据库组件 没错。。。你看到的是3D!!是的PostGIS支持海拔处理!!还有,地球是椭圆型的,而且还是不规则的椭圆型,你知道吗?反正PostGIS知道。 你能猜到中国有哪些系统都在用PostGIS吗?是的,订个餐可能是PostGIS;叫个车可能是PostGIS;查个公交可能是PostGIS;导航一下可能是PostGIS;想和你亲爱的去一下旅行也是PostGIS!! 你能想到的O2O,只要他们想做精准备一点,又想节约成本都在用PostGIS。 5、基于GPU实现高性能SQL透明查询:PG-Strom 当你发现你家用来打游戏的显卡可以用来跑SQL, 这是何等的无节操,黑科技。 2015年德哥用PostgreSQL通过SQL画了个米奇老鼠,我期待他2016年用PG-Strom + PostGIS画个3D的。 6、基于视图技术的关系型数据库流式计算:PipelineDB 近期股票不是很景气,我不题大家伤心事。 换个例子,如果你是国家电网或南方电网的技术人员,现在要求每1分钟获取智能电表的数据1次,每个数据1KB,一个中等人口的省份约5000万户。 问1:每秒数据量是多少?每秒IOPS要求多少?每月数据量是多少? 问2:如果用的是流式计算,在内存计算完业务结果再写盘呢? 7、超级数据SQL接口:FDW FDW是个万能插口,还可以双向操作对Oracle、SQLServer、MySQL、MongoDB、Redis、Excel、CVS等数据库或文件。小心用电安全,FDW是万能的接口,大象的小屁屁再大也是有限的,不要爆菊花! -------------------------------------------------------------------------------------------------- -------------------------------------------------------------------------------------------------- 》》是的,我是异教徒,我是PGer,你们都快到我坛里来!!《《 -------------------------------------------------------------------------------------------------- --------------------------------------------------------------------------------------------------
Postgres大学(象牙塔) 公开课 【管理及开发基础】 感谢场地赞助:古大电子商务(上海)有限公司 线上报名:http://t.cn/R4S0PyQ 【课程介绍】 Postgres有着悠久的历史,被公认为最先进的开源数据库,同时由于Postgres基于BSD进行开源,因此无论是任何企业都可以灵活地对Postgres进行重新的包装并产生自己的数据库产品。在政府倡导“自主可控”的大背景下得很了不少国内企业的支持,当前国内Postgres技术人员已经供不应求。 为此Postgres中国用户会特定制“Postgres大学(象牙塔)”项目,通过公开课的形式为社会免费培训Postgres技术员,以迎合企业的人才需求。课程将分为:基础课程、高级课程、内核开发三大类型,通过与地区企业及高校合作,由Postgres业界知名专家组成讲师团。提供本地化的培训支持服务,为本地Postgres初学者、用户及企业提供交流平台。并对每次课程进行现场录制,对全社会进行分享,让Postgres技术传播给更多的技术爱好者。 【目标人群】 1) 开发商集成商开发程序员 2) 企业DBA数据库管理员 3) OCA/OCP/OCM或IT架构师 【报名信息】 主办单位:Postgres中国用户会(China Postgres User Group) 场地赞助:古大电子商务(上海)有限公司 联系人: 杨楂文(Wind) +86 18201821526 周正中(德哥) +86 15397136813 postgres2015@qq.com 课程人数: 80人 【本期讲师】 课程主讲:Postgres大学(象牙塔)项目 2016年校长,阿里云内核专家 周正中(德哥)Digoal Zhou 神秘嘉宾:上海地区Postgres企业用户代表 【培训地点】 上海徐汇区龙田路195号天华信息科技园南区4号楼 2016年01月16-17日(周六、周日)09:30 - 17:00 时间 培训内容 01月16日(周六) 09:30 - 17:00 Postgres历史简述 Postgres数据库架构 Postgres简易安装部署 Postgres命令行管理 Postgres B/S及GUI管理工具介绍 Postgres逻辑备份及物理备份 01月17日(周日) 09:30 - 17:00 Postgres数据流复制 Postgres帐号及安全管理 Postgres 日志排错基础 Postgres性能监控基础 Postgres过程语言开发(pg/plsql) Postgres高级语言开发(JAVA、.Net、ODBC) Postgres本地企业用户使用分享
原文:http://www.cnblogs.com/vijayfly/p/5045175.html 1.rman完全恢复的前提条件:历史的datafile,controlfile和spfile备份,加上完整的archivelog和完好的redolog。 2.rman备份脚本: a.RMAN 0级备份命令: run{ allocate channel c1 type disk; allocate channel c2 type disk; allocate channel c3 type disk; backup incremental level 0 tag 'level0' format "E:\recovery_area\rfdb\rfdb\AUTOBACKUP\rman_dir\RFDB_level_0_%u_%s_%p" as compressed backupset database; sql "alter system archive log current"; backup filesperset 3 format "E:\recovery_area\rfdb\rfdb\AUTOBACKUP\rman_dir\arch_%u_%s_%p_%c" archivelog all delete input; #备份归档可选,可以单独定期备份 release channel c1; release channel c2; release channel c3; } b.RMAN 1级备份命令: run{ allocate channel c1 type disk; allocate channel c2 type disk; allocate channel c3 type disk; backup incremental level 1 tag 'level1' format 'E:\recovery_area\rfdb\rfdb\AUTOBACKUP\rman_dir\RFDB_level_1_%u_%s_%p' as compressed backupset database; sql 'alter system archive log current'; backup filesperset 3 format 'E:\recovery_area\rfdb\rfdb\AUTOBACKUP\rman_dir\arch_%u_%s_%p' archivelog all delete input; #备份归档可选,可以单独定期备份 release channel c1; release channel c2; release channel c3; } c.rman删除备份命令(在保留最近一天备份的情况下,删除其他备份): DELETE NOPROMPT OBSOLETE RECOVERY WINDOW OF 1 DAYS; d.操作系统层面运行rman备份或删除命令: rman target sys/rf4rfvbgt56yhn@rfdb nocatalog CMDFILE 'D:\app\rman\rman_file\level_0.txt' log=E:\recovery_area\rfdb\rfdb\AUTOBACKUP\rman_dir\log\rman_level_0.log 3.rman恢复 a.拷贝datafile,controlfile和spfile的rman备份,以及完整的archivelog和完好的redolog文件到新的数据库。 b.切换至oracle用户,进入rman(先设置sid): export ORACLE_SID=rfdb rlwrap rman target / c.启动一个伪实例: RMAN> startup nomount connected to target database (not started) startup failed: ORA-01078: failure in processing system parameters LRM-00109: could not open parameter file '/u01/app/oracle/product/11.2.0/db1/dbs/initrfdb.ora' starting Oracle instance without parameter file for retrieval of spfile Oracle instance started Total System Global Area 1068937216 bytes Fixed Size 2260088 bytes Variable Size 281019272 bytes Database Buffers 780140544 bytes Redo Buffers 5517312 bytes d.在伪实例下恢复spfile文件(必须要指定rman的备份片): RMAN> restore spfile from "/u01/ora_bak/ora_bak/autobackup/2015_12_07/o1_mf_s_897845728_c6bnq1rq_.bkp"; Starting restore at 14-DEC-15 using channel ORA_DISK_1 channel ORA_DISK_1: restoring spfile from AUTOBACKUP /u01/ora_bak/ora_bak/autobackup/2015_12_07/o1_mf_s_897845728_c6bnq1rq_.bkp channel ORA_DISK_1: SPFILE restore from AUTOBACKUP complete Finished restore at 14-DEC-15 e.关闭伪实例,用spfile文件启动至nomount状态: RMAN> shutdown abort Oracle instance shut down RMAN> startup nomount connected to target database (not started) Oracle instance started Total System Global Area 1068937216 bytes Fixed Size 2260088 bytes Variable Size 910164872 bytes Database Buffers 150994944 bytes Redo Buffers 5517312 bytes f.恢复控制文件(必须要指定rman的备份片,备份片应该和spfile的恢复片是同一个): RMAN> restore controlfile from "/u01/ora_bak/ora_bak/autobackup/2015_12_07/o1_mf_s_897845728_c6bnq1rq_.bkp"; Starting restore at 14-DEC-15 allocated channel: ORA_DISK_1 channel ORA_DISK_1: SID=1146 device type=DISK channel ORA_DISK_1: restoring control file channel ORA_DISK_1: restore complete, elapsed time: 00:00:01 output file name=/u01/app/oracle/oradata/ATEST/controlfile/o1_mf_c5fr9b0h_.ctl output file name=/u01/app/oracle/fast_recovery_area/ATEST/controlfile/o1_mf_c5fr9b6n_.ctl Finished restore at 14-DEC-15 g.启动数据库至mount状态: RMAN> alter database mount; database mounted released channel: ORA_DISK_1 h.把拷贝到新机器的备份文件注册到(刚恢复的)控制文件中(redolog不能被注册,所以最后有报错,没有关系): RMAN> catalog start with "/u01/ora_bak"; Starting implicit crosscheck backup at 14-DEC-15 allocated channel: ORA_DISK_1 channel ORA_DISK_1: SID=1146 device type=DISK Crosschecked 1 objects Finished implicit crosscheck backup at 14-DEC-15 Starting implicit crosscheck copy at 14-DEC-15 using channel ORA_DISK_1 Finished implicit crosscheck copy at 14-DEC-15 searching for all files in the recovery area cataloging files... cataloging done List of Cataloged Files ======================= File Name: /u01/app/oracle/fast_recovery_area/ATEST/backupset/2015_12_09/o1_mf_nnndf_TAG20151209T161546_c6hrslnq_.bkp File Name: /u01/app/oracle/fast_recovery_area/ATEST/autobackup/2015_12_09/o1_mf_s_898014415_c6hsghgm_.bkp File Name: /u01/app/oracle/fast_recovery_area/ATEST/autobackup/2015_12_09/o1_mf_s_898013812_c6hrvo18_.bkp searching for all files that match the pattern /u01/ora_bak List of Files Unknown to the Database ===================================== File Name: /u01/ora_bak/O1_MF_S_895896351_C4KSF2YN_.BKP File Name: /u01/ora_bak/ora_bak/arch/1_11_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_23_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_19_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_33_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_8_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_9_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_17_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_21_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_20_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_12_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_6_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_14_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_26_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_24_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_30_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_16_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_22_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_7_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_27_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_31_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_25_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_29_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_28_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_13_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_18_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_10_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_15_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_32_896812716.dbf File Name: /u01/ora_bak/ora_bak/controlfile/o1_mf_c5fr9b6n_.ctl File Name: /u01/ora_bak/ora_bak/onlinelog_f/o1_mf_2_c5fr9h1f_.log File Name: /u01/ora_bak/ora_bak/onlinelog_f/o1_mf_3_c5fr9kfo_.log File Name: /u01/ora_bak/ora_bak/onlinelog_f/o1_mf_1_c5fr9ds4_.log File Name: /u01/ora_bak/ora_bak/onlinelog/o1_mf_3_c5fr9k9d_.log File Name: /u01/ora_bak/ora_bak/onlinelog/o1_mf_2_c5fr9gy5_.log File Name: /u01/ora_bak/ora_bak/onlinelog/o1_mf_1_c5fr9dmk_.log File Name: /u01/ora_bak/ora_bak/backupset/2015_12_07/o1_mf_nnndf_TAG20151207T173421_c6bnnxsl_.bkp File Name: /u01/ora_bak/ora_bak/autobackup/2015_12_07/o1_mf_s_897845728_c6bnq1rq_.bkp File Name: /u01/ora_bak/O1_MF_S_895896118_C4KS5S1R_.BKP Do you really want to catalog the above files (enter YES or NO)? yes cataloging files... cataloging done List of Cataloged Files ======================= File Name: /u01/ora_bak/ora_bak/arch/1_11_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_23_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_19_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_33_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_8_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_9_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_17_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_21_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_20_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_12_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_6_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_14_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_26_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_24_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_30_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_16_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_22_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_7_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_27_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_31_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_25_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_29_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_28_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_13_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_18_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_10_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_15_896812716.dbf File Name: /u01/ora_bak/ora_bak/arch/1_32_896812716.dbf File Name: /u01/ora_bak/ora_bak/backupset/2015_12_07/o1_mf_nnndf_TAG20151207T173421_c6bnnxsl_.bkp File Name: /u01/ora_bak/ora_bak/autobackup/2015_12_07/o1_mf_s_897845728_c6bnq1rq_.bkp List of Files Which Where Not Cataloged ======================================= File Name: /u01/ora_bak/O1_MF_S_895896351_C4KSF2YN_.BKP RMAN-07518: Reason: Foreign database file DBID: 966107096 Database Name: RFDB File Name: /u01/ora_bak/ora_bak/controlfile/o1_mf_c5fr9b6n_.ctl RMAN-07519: Reason: Error while cataloging. See alert.log. File Name: /u01/ora_bak/ora_bak/onlinelog_f/o1_mf_2_c5fr9h1f_.log RMAN-07529: Reason: catalog is not supported for this file type File Name: /u01/ora_bak/ora_bak/onlinelog_f/o1_mf_3_c5fr9kfo_.log RMAN-07529: Reason: catalog is not supported for this file type File Name: /u01/ora_bak/ora_bak/onlinelog_f/o1_mf_1_c5fr9ds4_.log RMAN-07529: Reason: catalog is not supported for this file type File Name: /u01/ora_bak/ora_bak/onlinelog/o1_mf_3_c5fr9k9d_.log RMAN-07529: Reason: catalog is not supported for this file type File Name: /u01/ora_bak/ora_bak/onlinelog/o1_mf_2_c5fr9gy5_.log RMAN-07529: Reason: catalog is not supported for this file type File Name: /u01/ora_bak/ora_bak/onlinelog/o1_mf_1_c5fr9dmk_.log RMAN-07529: Reason: catalog is not supported for this file type File Name: /u01/ora_bak/O1_MF_S_895896118_C4KS5S1R_.BKP RMAN-07518: Reason: Foreign database file DBID: 966107096 Database Name: RFDB i.开始restore数据文件: RMAN> restore database; Starting restore at 14-DEC-15 using channel ORA_DISK_1 channel ORA_DISK_1: starting datafile backup set restore channel ORA_DISK_1: specifying datafile(s) to restore from backup set channel ORA_DISK_1: restoring datafile 00001 to /u01/app/oracle/oradata/ATEST/datafile/o1_mf_system_c5fr6s3v_.dbf channel ORA_DISK_1: restoring datafile 00002 to /u01/app/oracle/oradata/ATEST/datafile/o1_mf_sysaux_c5fr6s6d_.dbf channel ORA_DISK_1: restoring datafile 00003 to /u01/app/oracle/oradata/ATEST/datafile/o1_mf_undotbs1_c5fr6s7n_.dbf channel ORA_DISK_1: restoring datafile 00004 to /u01/app/oracle/oradata/ATEST/datafile/o1_mf_users_c5fr6s88_.dbf channel ORA_DISK_1: reading from backup piece /u01/app/oracle/fast_recovery_area/ATEST/backupset/2015_12_09/o1_mf_nnndf_TAG20151209T161546_c6hrslnq_.bkp channel ORA_DISK_1: piece handle=/u01/app/oracle/fast_recovery_area/ATEST/backupset/2015_12_09/o1_mf_nnndf_TAG20151209T161546_c6hrslnq_.bkp tag=TAG20151209T161546 channel ORA_DISK_1: restored backup piece 1 channel ORA_DISK_1: restore complete, elapsed time: 00:00:45 Finished restore at 14-DEC-15 j.开始recover数据(在此之前,需要先拷贝redolog到控制文件默认的路径下): redolog默认路径: SQL> select member from v$logfile; MEMBER -------------------------------------------------------------------------------- /u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_3_c5fr9k9d_.log /u01/app/oracle/fast_recovery_area/ATEST/onlinelog/o1_mf_3_c5fr9kfo_.log /u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_2_c5fr9gy5_.log /u01/app/oracle/fast_recovery_area/ATEST/onlinelog/o1_mf_2_c5fr9h1f_.log /u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_1_c5fr9dmk_.log /u01/app/oracle/fast_recovery_area/ATEST/onlinelog/o1_mf_1_c5fr9ds4_.log 6 rows selected. 开始recover数据库: RMAN> recover database; Starting recover at 14-DEC-15 using target database control file instead of recovery catalog allocated channel: ORA_DISK_1 channel ORA_DISK_1: SID=1137 device type=DISK starting media recovery archived log for thread 1 with sequence 15 is already on disk as file /u01/ora_bak/ora_bak/arch/1_15_896812716.dbf archived log for thread 1 with sequence 16 is already on disk as file /u01/ora_bak/ora_bak/arch/1_16_896812716.dbf archived log for thread 1 with sequence 17 is already on disk as file /u01/ora_bak/ora_bak/arch/1_17_896812716.dbf archived log for thread 1 with sequence 18 is already on disk as file /u01/ora_bak/ora_bak/arch/1_18_896812716.dbf archived log for thread 1 with sequence 19 is already on disk as file /u01/ora_bak/ora_bak/arch/1_19_896812716.dbf archived log for thread 1 with sequence 20 is already on disk as file /u01/ora_bak/ora_bak/arch/1_20_896812716.dbf archived log for thread 1 with sequence 21 is already on disk as file /u01/ora_bak/ora_bak/arch/1_21_896812716.dbf archived log for thread 1 with sequence 22 is already on disk as file /u01/ora_bak/ora_bak/arch/1_22_896812716.dbf archived log for thread 1 with sequence 23 is already on disk as file /u01/ora_bak/ora_bak/arch/1_23_896812716.dbf archived log for thread 1 with sequence 24 is already on disk as file /u01/ora_bak/ora_bak/arch/1_24_896812716.dbf archived log for thread 1 with sequence 25 is already on disk as file /u01/ora_bak/ora_bak/arch/1_25_896812716.dbf archived log for thread 1 with sequence 26 is already on disk as file /u01/ora_bak/ora_bak/arch/1_26_896812716.dbf archived log for thread 1 with sequence 27 is already on disk as file /u01/ora_bak/ora_bak/arch/1_27_896812716.dbf archived log for thread 1 with sequence 28 is already on disk as file /u01/ora_bak/ora_bak/arch/1_28_896812716.dbf archived log for thread 1 with sequence 29 is already on disk as file /u01/ora_bak/ora_bak/arch/1_29_896812716.dbf archived log for thread 1 with sequence 30 is already on disk as file /u01/ora_bak/ora_bak/arch/1_30_896812716.dbf archived log for thread 1 with sequence 31 is already on disk as file /u01/ora_bak/ora_bak/arch/1_31_896812716.dbf archived log for thread 1 with sequence 32 is already on disk as file /u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_2_c5fr9gy5_.log archived log for thread 1 with sequence 33 is already on disk as file /u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_3_c5fr9k9d_.log archived log for thread 1 with sequence 34 is already on disk as file /u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_1_c5fr9dmk_.log archived log file name=/u01/ora_bak/ora_bak/arch/1_15_896812716.dbf thread=1 sequence=15 archived log file name=/u01/ora_bak/ora_bak/arch/1_16_896812716.dbf thread=1 sequence=16 archived log file name=/u01/ora_bak/ora_bak/arch/1_17_896812716.dbf thread=1 sequence=17 archived log file name=/u01/ora_bak/ora_bak/arch/1_18_896812716.dbf thread=1 sequence=18 archived log file name=/u01/ora_bak/ora_bak/arch/1_19_896812716.dbf thread=1 sequence=19 archived log file name=/u01/ora_bak/ora_bak/arch/1_20_896812716.dbf thread=1 sequence=20 archived log file name=/u01/ora_bak/ora_bak/arch/1_21_896812716.dbf thread=1 sequence=21 archived log file name=/u01/ora_bak/ora_bak/arch/1_22_896812716.dbf thread=1 sequence=22 archived log file name=/u01/ora_bak/ora_bak/arch/1_23_896812716.dbf thread=1 sequence=23 archived log file name=/u01/ora_bak/ora_bak/arch/1_24_896812716.dbf thread=1 sequence=24 archived log file name=/u01/ora_bak/ora_bak/arch/1_25_896812716.dbf thread=1 sequence=25 archived log file name=/u01/ora_bak/ora_bak/arch/1_26_896812716.dbf thread=1 sequence=26 archived log file name=/u01/ora_bak/ora_bak/arch/1_27_896812716.dbf thread=1 sequence=27 archived log file name=/u01/ora_bak/ora_bak/arch/1_28_896812716.dbf thread=1 sequence=28 archived log file name=/u01/ora_bak/ora_bak/arch/1_29_896812716.dbf thread=1 sequence=29 archived log file name=/u01/ora_bak/ora_bak/arch/1_30_896812716.dbf thread=1 sequence=30 archived log file name=/u01/ora_bak/ora_bak/arch/1_31_896812716.dbf thread=1 sequence=31 archived log file name=/u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_2_c5fr9gy5_.log thread=1 sequence=32 archived log file name=/u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_3_c5fr9k9d_.log thread=1 sequence=33 archived log file name=/u01/app/oracle/oradata/ATEST/onlinelog/o1_mf_1_c5fr9dmk_.log thread=1 sequence=34 media recovery complete, elapsed time: 00:00:04 Finished recover at 14-DEC-15 k.以resetlogs打开数据库(在此之前,先删除原来的redolog,因为数据库会重新创建一组redolog): 删除原来的redo: rm -rf /u01/app/oracle/oradata/ATEST/onlinelog/* 以resetlogs打开数据库: RMAN> alter database open resetlogs; using target database control file instead of recovery catalog database opened 至此,数据库恢复全部完成!
原文:http://www.dostor.com/article/121038036.html 2015年12月10日,由DOIT传媒、存储在线和易会联合主办的2015中国存储年度峰会在北京盛大开幕。作为中国存储界有影响力的年度行业盛会,峰会以“把握数据经济,重塑商业变革”为主题,吸引了上百位存储界的顶级学者专家、数百位产业精英和企业用户出席。 由DOIT主办的中国存储峰会是中国存储产业界最为隆重的年度大会。十一年来紧贴存储产业发展,丰富地记录了存储产业在各个历史时期的变化发展,已成为存储学术界、产业界和企业用户不可错过的历史见证。 甲骨文中国高级销售顾问总监潘榆奇说,借2015中国存储峰会,甲骨文向业界郑重宣布,甲骨文已经非常严肃的参与存储的技术研究和开发,也提供非常完整的存储技术产品给用户。 甲骨文存储有两个特点,第一,我们的存储一定是Oracle自己的思路,每个技术,包括闪存,全部是甲骨文的,不会用任何第三方的存储技术。第二,甲骨文的存储是业务驱动的存储技术。 潘榆奇表示,甲骨文做存储,不是研究存储的技术,而是希望存储作为一个超级融合的平台的一部分,怎么去与甲骨文的网络,数据库,Java有效关联在一起。 潘榆奇强调,甲骨文认为的超融合,就是当把服务器、存储、网络资源整合在一起管理,开始在上面部署业务的时候,融合架构一定要能对业务有一个非常深刻的了解。能够懂业务,并在运行中不断调整,适应业务的要求,这才是真正的所谓的超级融合架构。 以下为演讲实录。 潘榆奇:我来自甲骨文,甲骨文做数据库没有人怀疑,甲骨文做Java也没有人怀疑,因为我们是全球最大的数据库、最大的开发语言中间件平台Java的供应商。我们希望通过今天,我们非常严肃的参与咱们所谓中国存储峰会,我们希望通过今天的参与,我们向全世界郑重宣布,甲骨文我们也非常严肃的参与存储的技术研究和开发,也提供非常完整的存储技术产品给到我们用户。希望通过今天的峰会,大家对我们的印象有这么一个改变。 谈到甲骨文,其实我们做存储我们有两个特点我希望大家一定要记住,第一个特点,我们的存储一定是Oracle自己的IP,每个技术,包括闪存,我们的软件技术,包括各种,我们全部是甲骨文的IP,我们不会用任何第三方的存储技术。甲骨文每年的研发投入超过50亿美金,我们花了大量的资金非常严肃的看待存储市场。 第二甲骨文的存储,我们有我们自己的特点,我们是所谓业务驱动的存储技术。因为甲骨文本身我们有数据库,我们有Java,我们有各种应用,我们非常了解,不同的应用,数据库或者Java或者做人事软件、做ERP、做Marketing,做各种各样的数据,他们需要什么样的存储。我的存储是非常了解甲骨文的业务,这是第二大特点。 甲骨文这个公司非常伟大,在过去7、8年,我们从07年开始,我们进行资本并购,我们从最早的,我们从做数据库开始,我们发现希望做应用,我们把VMware并购进来,我们在09年全球当时做硬件,做存储,做服务器最大的公司并购进来以后,我们对整个产品线进行全部的深化,我们不断强化,我们打造了完整的IT产品世界。 我们甲骨文是专注做产品的公司,我们怎么展现我们的产品?我们今天都是在云的时代。我们所有产品的展现形式都是用服务的形式展现,我们谈到云、SAAS、PAAS、IAAS等各种各样的产品。我们甲骨文把各种产品云化,我们提供上百种在云当中的云交互解决方案。我们发现光有SAAS不足够,我们希望我们的SAAS平台跑的更加完备,更加优秀,我们急切要做自己的PAAS。我们甲骨文定义自己的PAAS市场和数据库的PAAS云,Java的PAAS云,我们打造从SAAS到PAAS云的技术解决方案。这两朵云做好了以后,你没有超级融合的硬件架构的话,SAAS、PAAS性能很难发挥出来。所以我们花很多的精力打杂IAAS。 我们Oracle是做数据的公司,我们希望给客户提供服务的时候,我们希望你看的更多,怎么把数据这个黄金,在各种业务当中关联起来,对我的业务推动发挥更大的作用,这就是所谓的DAAS,我们不仅仅给你提供简单的ERP等各种不同的应用。我们希望给你提供应用的同时,给你提供决策因素,帮助你的企业提供更快的决策。 当我要做这一切完整的工作的时候,我们必须有非常稳健的超级融合。我们甲骨文做存储,不是研究存储的技术,我们希望存储作为我一个超级融合的平台的一部分,我的存储怎么样能够跟我的网络,跟我的数据库,跟我的Java有效关联在一起。我的存储不仅仅存0和1,或者怎么样快速存0和1,而是搞清楚0和1之间的逻辑在什么地方。我们做存储的时候,我们做的跟任何一个存储厂商不同的地方就是这个地方,也是我们在云当中展现的方式。 谈云,我们有公有云和私有云,由于我们是统一的超融合的架构,今天不管提供公有云的服务,还是私有云的服务,我们有同样的产品,同样的架构,同样的标准,同样的技能。两朵云中技术是一样的,我们有超级融合架构,因为我们产品、标准、架构是相同的,我们可以在私有云和公有云之间来回切换。在中国有安全考虑,有数据的各种考量,我能不能先建私有云,我利用某些功能放在公有云上,但是这两朵不同的云之间,怎么样能够有效沟通,甲骨文提供一键沟通的目的,按一个键,把所有公有云的数据迁移到私有云上。我也可以通过一键把私有云的数据迁移到公有云上。在整个地球上只有甲骨文一家公司可以这么做,我们做到数据可以来回在不同的云之间进行切换。存储是重大的保障,我怎么保证云的性能得到充分的发挥,我能保证我的数据在不同云之间进行来回切换,既安全又快速发挥它的效能。 今天我们的存储有各种各样的云产品,我们可以在云当中提供各种各样的云存储服务,我们也可以提供混合云的服务,可以把部分数据放在本地云,也可以放在公有云上,也可以在两个云之间来回切换,包括存储云,包括备份云,需要的话,我可以把归档放在公有云上,我们提供技术,帮你在这两者之间进行来回切换。 谈到我们的存储,我们最大的用户就是Oracle自己本身。第一我们可以提供Oracle自己本身,我们自己是超过12万人的IT公司,我们有超过大概6万的IT的研发人员,我们每天有大量的研发的对存储的需求。我们超过有4万个开发者在Oracle私有云上研发我们的产品。我们自己本身是非常大的,我们有硬件、软件,我们的物流,我们的ERP非常复杂。我们所有的数据,我们所有的核心业务,全部跑在我们自己的存储上面。 从公有云角度来看,甲骨文在全球有19大数据中心,很高兴,两个礼拜之前,我们在中国宣布了第二个数据中心将会落户中国,我们和腾讯的合作,我们在中国打造第二个全球最大的数据中心。在数据中心当中,每天的交易量差不多是290亿笔数据库的交易量。这个量是非常之大的,如果没有一个非常强劲的存储技术,没有一个非常优秀的超级融合架构的话,你是很难支撑290亿笔每天的交易量的。 同样在我们的公有云上,我们有超过7千万个用户,他们在网上做各种交易,做各种业务。今天甲骨文打造的超级融合架构,是经过实际考验的。我们在公有云和私有云当中我们是被验证过的,是客户可以信赖的解决方案提供商。 我们所说的超级融合架构,每家公司都有不同的理解,各家公司都有自己的讲法,简单的把我的硬件、软件放一起,我的存储怎么连我的服务器,服务器跟存储怎么连,我不用烦这个事情,但是这是最基础的融合。如果做的好一点的话,我们可以说,怎么样能够建立一个统一的管理平台,我能够通过一个统一的界面,能把我的服务器,把存储,把网络统一的管理起来,这个也很好,至少不需要说,我服务器的管理,存储一个管理,交换器一个管理,我可以通过一个管理界面,一个管理平台,把所有不同的意见管理起来,但是这个还不足够,这个还不能称之为所谓的超级融合。 超级融合就是当我们把我的服务器、存储、网络资源整合在一起以后,把它管理好了以后,同样当我们在上面部署业务的时候,我希望融合架构能够对业务有一个非常深刻的了解,能够懂业务,知道说,我什么样的应用,我的数据库大小应该是什么样的,同样的应用,针对金融数据库的大小跟电信是不一样的,可能人事的业务和ERP的数据业务也是不一样的。服务器、交换机存储放在一起的,对我的业务有深刻了解,在运行当中不断调整,适应我的业务要求,这才是真正的所谓的超级融合架构。 谈到超级融合架构,我们从非常基础来看,第一我们看我们的归档,Oracle,我们是全球做数据库历史最悠久的,大家还记得STK,STK的很多技术到今天仍然是非常领先的技术,我们看做代库的时候,不仅仅是备份,我们希望代库参与到数据存储当中去,代库办理存储解决方案的一部分。我们可以把代库和磁盘,甚至跟Flash结合在一起,我们变成跨多种媒介的数据解决方案。比如说这个电子邮件,它是放在代库里的,两分钟前的电子邮件和跟存储6个月的电子邮件读的方式是一样的,两个分钟放在Flash的,6个月的是在代库的,可能有2-5秒的差距。但是对你来说,你不需要把6个月的邮件放在Flash里面,我把最核心的数据放在最贵的媒介当中。我的代库本身已经变成了存储的有效组成部分,这个也是融合架构的一个思路。 我们看备份,我们Oracle并不是谈备份,我更看重的是恢复,很多人都会讲备份,通过各种方式备份下来,出现灾难的时候,我怎么保证我的数据百分之百的恢复,谁能保证?Oracle能保证,因为我们懂数据库,Oracle数据库本身是我自己的数据库,我的应用是我自己的应用,我非常了解数据有什么特性我可以在任何时候,我不需要花费任何开销,我可以把数据零成本备份下来,百分之百的保证,数据没有任何的丢失,这个技术今天在地球上,没有第二家公司可以做到,我们甲骨文可以做到。你可以看到,我们的硅钢也是这样的,我们做的比别人往前深一步。 第三我们看我们的存储,今天下午我们的专家会做专题介绍,我们甲骨文提供非常好的所谓的SAND的技术,我们有非常快速的闪存,我们也提供非常优越的NAND的技术,可以提供大量文件的存储服务。 我们的网络,我们怎么样把我的存储、服务器、应用联系在一起,我们的网络技术在Oracle当中,我们是经过修改的,我们把很多公开标准协议定制化以后,跟我的存储,跟我的服务器有效结合在一起,让它的性能发挥更好。我们提供各种各样的操作系统,我们有Linix等,我们有各种各样的虚拟机,客户不需要花钱购买虚拟机,因为虚拟机本身是我操作系统的一部分,不需要花钱购买,可以免费使用,包括在Linix上的虚拟机等,都是免费的。 在超融合的架构下,你可以看到,今天不管是客户,你是建自己的数据中心,还是Oracle的云,因为我们的融合架构都是一样的,我们可以在这两个之间进行来回切换。同样我们可以看到,今天我的超级融合架构,对我的数据库,对我的Java平台,对我的业务系统有非常深刻的了解。 我们Oracle做存储,我们的智慧在什么地方?我们跟任何一个厂商的智慧都是不一样的,所以你听到的所谓的Flash,多快的Flash。我的主题,今天我们在云计算平台下,所有Oracle的存储都支持Openstack,通过Openstac管理我的存储。第二App Profiles我们有各种不同的模版,针对不同的业务,我做ERP、物流管理、医疗、客户关系,各种不同的应用,数据应该怎么部署,我的数据怎么样才能发挥最大的效能,我们甲骨文有很多最佳实践,我们把最佳实践做成不同的模版放在存储当中。任何时候打开存储的时候,不会感觉两眼很茫然,我们提示你做什么使用,根据你的使用选择模版,把业务特性放进去,几分钟以后系统自动配置。 第三OISP,这是存储和数据库之间独特的协议。对数据库来说最难的问题就是数据库调优,多大是合适的,8K、16K、32K、64K等,之前都是管理员进行人工干预。通过OISP,存储本身有一个协议,可以直接读Oracle的数据块,自动调整数据块的大小,达到最佳数据优化的目标。我的存储是一个智能存储,知道我什么样的应用,什么样的数据库,数据库大小是最合适的,OISP本身是非常好的协定,让我们的存储跑我数据库的时候,跑得更好。 第四QoS,提供高质量的存储服务。我们可以在存储当中,因为一个存储,都是做整合,我有十几个业务,可能有几十个不同的数据库,跑在存储当中,我怎么把关键业务达到应有的反映时间。客户自己可以定义计费系统是最核心的,因为它是我的印钞机,任何时候系统对计费系统反映是最快的,毫秒级别读起来。我可以在存储当中定义不同系统的优先级,QoS Plus是非常独特的基础。 第五HCC,比如说存储一个数据的时候,我要有一个存储量才能存储,我们通过混合压缩数据,进行1:3、1:10的比例进行数据存储,只有针对Oracle的存储才有的特性。你买其他存储的时候,要买100个TB,买Oracle可能买20TB、10TB就够了,因为我们里面有非常好的压缩技术,最重要的,当我用压缩技术的时候,对我的性能没有任何的折损。如果你们怀疑的话去参加我们Oracle存储的讲座,我们的工程师会介绍我们怎么做到可以把数据进行大批量的压缩,可以极大减少存储的空间。 第六ADO,自动数据的优化,这就是存储懂数据库很关键的技术。我们基本上可以通过一段数据库的运行,我们能发现哪些数据是热点数据,我们可以把热点数据弄到内存里面。如果一块数据在内存当中,很长时间没有使用,我会自动把数据归档在磁盘上。我知道数据库,我知道我的存储,知道数据库下一步访问什么数据,我非常了解,通过技术本身,我可以把下面要访问的数据,把它放到离我的CPU最近的介质上,提升整个存储的效率,同时减少对ADO的请求。 什么叫业务驱动的存储?一方面我们做的完全是Oracle的IP,我们的存储对我业务的了解,对我数据库,对Java,对各种不同行业的业务了解非常深入。你可以拿到非常多的好处,不需要花一分钱,你可以花更少的钱,可以存储更多的数据,同时拿到更多性能的好处。 刚才我谈到了我们甲骨文的云,我们的存储在云当中已经有了很好的证明。我们甲骨文第二大SAAS的服务商,第一大服务商硬件平台大部分是Oracle的技术,其实我们是真正的王者之王。我们这么大的云平台的话,我们的存储技术,我们甲骨文20个数据中心,应用的都是我们甲骨文自己的计算平台。我们的存储技术,几个存储的特点,都是在实战当中得到考验的,今天我们的云服务当中,包括各种各样的服务,从我的ERP,到人事管理到财务,到方方面面,全部都有Oracle的存储,所以我们的存储是经过严苛考验的。 我希望大家记住两点东西,甲骨文数据库我们是最好的数据库,我们有最好的Java平台,我们甲骨文有全球最好的存储平台,希望大家今天下午有时间去听一听我们的专家跟你们分享,我们的存储特点到底在什么地方,我们怎么做到业务驱动。同时在外面我们有甲骨文的展台,希望大家有空的时候看一看,希望我们的存储像数据库,像Java一样深入人心,谢谢大家!
原文:Welcome Docker to SUSE Linux Enterprise Server Lightweight virtualization is a hot topic these days. Also called “operating system-level virtualization,” it allows you to run multiple applications or systems on one host without a hypervisor. The advantages are obvious: not having a hypervisor, the layer between the host hardware and the operating system and its applications, is eliminated, allowing a much more efficient use of resources. That, in turn, reduces the virtualization overhead while still allowing for separation and isolation of multiple tasks on one host. As a result, lightweight virtualization is very appealing in environments where resource use is critical, like server hosting or outsourcing business. 近日“轻量级虚拟化”成为了一个热门话题。它也称为“操作系层的虚拟化”,它允许您在一个主机上运行多个应用程序或系统管理程序。优点是显而易见的:由于它没有间隔在主机硬件和操作系统之间的hypervisor虚拟化管理层,以实现更有效的资源利用。由此带来的效益是,减少了虚拟化开销,同时仍然允许在一个服务器中分离并隔离多个任务。因此,“轻量级虚拟化”在以资料使用为关键业务的环境中是非常吸引人的,比如服务器托管或外包业务(如:云计算、大数据等)。 One specific example of operating system-level virtualization is Linux Containers, also sometimes called “LXC” for short. We already introduced Linux Containers to SUSE customers and users in February 2012 as a part of SUSE Linux Enterprise Server 11 SP2. Linux Containers employ techniques like Control Groups (cgroups) to perform resource isolation to control CPU, memory, network, block I/O and namespaces to isolate the process view of the operating system, including users, processes or file systems. That provides advantages similar to those of “regular” virtualization technologies – such as KVM or Xen –, but with much smaller I/O overhead, storage savings and the ability to apply dynamic parameter changes without the need to reboot the system. The Linux Containers infrastructure is supported in SUSE Linux Enterprise 11 and will remain supported in SUSE Linux Enterprise 12. Linux Containers(Linux容器,有时也称为“LXC”)是一个典型的操作系统层虚拟化例子。我们已经在2012年2月发布的SUSE Linux Enterprise Server 11 SP2版本中为SUSE的客户及用户引入“LXC”容器。“LXC”容器采用类拟于Control Groups (cgroups)的技术进行资源隔离控制,包括:CPU、内存、网络、I/O和名称空间,以此在操作系统中隔离各个过程的可视范围,包括:用户、进程或文件系统。它提供的功能类似于“普通”的虚拟化技术——如KVM或Xen,其优势在于可以实现更低的I/O开销,节省更多存储存储空间并可实现在不重新启动虚拟系统的情况下动态调整参数(译者:这可以提高虚拟化性能并带来更高的灵活性)。SUSE Linux Enterprise Linux 11版本直接支持“LXC”容器架构,对它的支持也将延续到SUSE Linux Enterprise 12版本中。 Now, we are taking a next step to further enhance our virtualization strategy and introduce you to Docker. Docker is built on top of Linux Containers with the aim of providing an easy way to deploy and manage applications. It packages the application including its dependencies in a container, which then runs like a virtual machine. Such packaging allows for application portability between various hosts, not only across one data center, but also to the cloud. And starting with SUSE Linux Enterprise Server 12 we plan to make Docker available to our customers so they can start using it to build and run their containers. This is the another step in enhancing the SUSE virtualization story, building on top of what we have already done with Linux Containers. Leveraging the SUSE ecosystem, Docker and Linux Containers are not only a great way to build, deploy and manage applications; the idea nicely plugs into tools like Open Build Service and Kiwi for easy and powerful image building or SUSE Studio, which offers a similar concept already for virtual machines. Docker easily supports rapid prototyping and a fast deployment process; thus when combined with Open Build Service, it’s a great tool for developers aiming to support various platforms with a unified tool chain. This is critical for the future because those platforms easily apply also to clouds, public, private and hybrid. Combining Linux Containers, Docker, SUSE’s development and deployment infrastructures and SUSE Cloud, our OpenStack-based cloud infrastructure offering, brings flexibility in application deployment to a completely new level. 现在,我们正踏上新的台阶以进一步加强虚拟化战略,我们在此为您介绍新的 Docker 功能。Docker 建立在“LXC”容器的基础上,目的是提供一种简单的方法来部署和管理应用程序。它将应用程序进及其依赖关系打包到一个容器里,然后运行虚拟机。这样的打包方法允许应用程序实现了在不同主机之间的可移植性,不仅在同一个数据中心可以迁移,在云平台中也可以进行迁移操作。在SUSE Linux Enterprise Server 12中我们计划为客户提供 Docker 功能,这样客户就可以开始使用它来构建和运行他们的容器。这是为提高SUSE虚拟化功能的新的举措是新的历史的一页,它构建在我们已经支持的“LXC”容器之上。利用SUSE的生态系统,Docker 和 “LXC”容器将不仅仅只是一个用来构建、部署和管理应用程序的优秀的方式,我们的想法是通过巧妙地接入 Open Build Service (开放构建服务) 和 Kiwi 以实现方便和强大的图型化部署,又或都是通过 SUSE Studio 实现此功能,以提供与类似于现有虚拟机已经实现的批量部署概念。Docker 实现快速原型和快速部署过程十分简单,因此当结合Open Build Service (开放构建服务)时,这样一个优秀的工具结合,使得开发人员可以在一个统一的工具中支持各种版本的平台。这对于未来而言是至关重要的,因为这些平台很容易应用于公有云、私有云和混合云。结合 “LXC”容器、Docker、SUSE的开发和部署架构以及SUSE Cloud (基于OpenStack的云基础架构),SUSE的应用程序部署灵活性将到达一个全新的水平。 Introducing Docker follows the SUSE philosophy by offering choice in the virtualization space, allowing for flexibility, performance and simplicity for Linux in data centers and the cloud. 引进 Docker 遵循SUSE哲学,为虚拟化架构提供更多选择的空间,实现数据中心和云计算的灵活性、高性能和简单管理。
[原贴]http://weblog.kreny.com/archives/2005/10/rsadsa_authenti.html [作者]:kreny 一直想把自己的服务器的 SSH 认证的模式从用户名密码模式转换成 RSA 和 DSA 认证协议,借着OpenSSH 4.2的发布,今天写了一下配置过程并收集了一些关于 RSA 和 DSA 的参考文章。 思路整理:一直没有理解公匙模式下的认证过程,这里总结一下公匙和秘匙的制作和安置方法。以下假设一台服务器Server和一台PC作为例子。首先,并不是在服务器上生成公匙和秘匙。因为很多关于RSA 和 DSA 认证协议的文章都使用Linux服务器作为道具,自然也就使用诸如 ssh-keygen -t rsa 之类的命令,而使得我总是误认为要先在Linux服务器上先生成公匙和秘匙。而真正的安置方法是:当从PC连接Server的时候,需要在PC上保存一对公匙和秘匙(这对公匙和秘匙可以用诸如PenguiNet之类的工具生成),而只要把生成的公匙传到Server上即可。而往往在Server上,公匙是被放在 ~/.ssh/authorized_keys 这个文件中。这个文件的设置可以在 /etc/ssh/sshd_config 中找到。 AuthorizedKeysFile .ssh/authorized_keys那么当从一个Linux Client Server连接到另外一个Linux Server的时候,我们应该在 Linux Client Server 上生成一对秘匙(RSA时默认为 id_rsa 和 id_rsa.pub),保存在 ~/.ssh/ 中, 这个设置可以在 /etc/sshd/ssh_config 中设置:# IdentityFile ~/.ssh/identity# IdentityFile ~/.ssh/id_rsa# IdentityFile ~/.ssh/id_dsa这样我们也可以更好地理解 ssh_config 和 sshd_config 的区别了。 RAS/DSA认证安装过程(以 tenten 用户为例): (以下测试在最新的OpenSSH 4.2 下通过,在 OpenSSH_3.9p1 下测试失败!) [root@domain ~]$su - tenten[tenten@domain ~]ssh-keygen -t rsaGenerating public/private rsa key pair.Enter file in which to save the key (/home/tenten/.ssh/id_rsa):[Enter]Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /home/tenten/.ssh/id_rsa.Your public key has been saved in /home/tenten/.ssh/id_rsa.pub.The key fingerprint is:c7:93:83:c4:24:30:56:90:37:a0:eb:a7:5d:4c:8d:ea:1a: tenten@example.com :::或者::: [tenten@kdx ~]$ ssh-keygen -t dsaGenerating public/private dsa key pair.Enter file in which to save the key (/home/tenten/.ssh/id_dsa):Enter passphrase (empty for no passphrase):Enter same passphrase again:Your identification has been saved in /home/tenten/.ssh/id_dsa.Your public key has been saved in /home/tenten/.ssh/id_dsa.pub.The key fingerprint is:a2:be:16:2e:66:e4:69:68:a0:eb:a7:5d:4c:8d:ea:1a:da:54:35:55:32:8e:e2 tenten@example.com 查看生成的文件:[tenten@kdx ~]$ ls /home/tenten/.ssh/ -latotal 28drwx------ 2 tenten tenten 4096 Oct 11 16:09 .drwx------ 3 tenten tenten 4096 Oct 9 16:50 ..-rw------- 1 tenten tenten 736 Oct 11 16:09 id_dsa-rw-r--r-- 1 tenten tenten 612 Oct 11 16:09 id_dsa.pub-rw------- 1 tenten tenten 951 Oct 11 16:03 id_rsa-rw-r--r-- 1 tenten tenten 232 Oct 11 16:03 id_rsa.pub-rw-r--r-- 1 tenten tenten 667 Oct 9 16:48 known_hosts设置 sshd_config 文件,去除密码认证# To disable tunneled clear text passwords, change to no here!PasswordAuthentication no 由于在 sshd_config 文件里面,我们设置了以下内容:#AuthorizedKeysFile .ssh/authorized_keys所以我们要把共匙重命名为 autherized_keys[root@domain .ssh]# mv id_dsa.pub autherized_keys所以最终服务器端 ~/.ssh/ 目录下的内容为(注意authorized_keys的权限为 644)[tenten@domain .ssh]$ ls -latotal 12drwx------ 2 tenten tenten 4096 Oct 11 19:57 .drwx------ 3 tenten tenten 4096 Oct 11 18:50 ..-rw-r--r-- 1 tenten tenten 232 Oct 11 19:46 authorized_keys 引申: 在安装 openssh 的最后,输入 make install 命令后,会发现最后会生成 public/private key:Generating public/private rsa1 key pair.Your identification has been saved in /usr/local/etc/ssh_host_key.Your public key has been saved in /usr/local/etc/ssh_host_key.pub.The key fingerprint is:22:67:00:5f:82:87:ab:22:e7:8e:cd:bb:d2:07:98:57 root@example.com Generating public/private dsa key pair.Your identification has been saved in /usr/local/etc/ssh_host_dsa_key.Your public key has been saved in /usr/local/etc/ssh_host_dsa_key.pub.The key fingerprint is:17:6c:d8:6f:31:db:bd:3c:66:81:86:12:13:a4:33:a3 root@example.com Generating public/private rsa key pair.Your identification has been saved in /usr/local/etc/ssh_host_rsa_key.Your public key has been saved in /usr/local/etc/ssh_host_rsa_key.pub.The key fingerprint is:27:0e:16:41:f8:96:ed:93:b6:a8:61:74:fe:87:e2:91 root@example.com/usr/local/sbin/sshd -t -f /usr/local/etc/sshd_config 参考文档: 张微波:linux下SSH配合SecureCRT的密匙完美使用方法 Daniel Robbins: 通用线程: OpenSSH 密钥管理,第 1 部分 OpenSSH 的 RSA 和 DSA 认证协议的基础是一对专门生成的密钥,分别叫做专用密钥和公用密钥。使用这些基于密钥的认证系统的优势在于:在许多情况下,有可能不必手工输入密码就能建立起安全的连接。 英文原文:Common threads: OpenSSH key management, Part 1 李洋:使用SSH实现Linux下的安全数据传输 ssh-keygen Description ssh-keygen generates, manages and converts authentication keys for ssh(1). ssh-keygen can create RSA keys for use by SSH protocol version 1 and RSA or DSA keys for use by SSH protocol version 2. The type of key to be generated is specified with the -t option. 通用线程: OpenSSH 密钥管理,第 1 部分 RSA/DSA 密钥的工作原理下面从整体上粗略的介绍了 RSA/DSA 密钥的工作原理。让我们从一种假想的情形开始,假定我们想用 RSA 认证允许一台本地的 Linux 工作站(称作 localbox)打开 remotebox上的一个远程 shell, remotebox 是我们的 ISP 的一台机器。此刻,当我们试图用 ssh 客户程序连接到 remotebox时,我们会得到如下提示:% ssh drobbins@remoteboxdrobbins@remotebox's password:此处我们看到的是 ssh 处理认证的 缺省方式的一个示例。换句话说,它要求我们输入 remotebox上的 drobbins 这个帐户的密码。如果我们输入我们在 remotebox 上的密码, ssh 就会用安全密码认证协议,把我们的密码传送给 remotebox 进行验证。但是,和 telnet 的情况不同,这里我们的密码是加密的,因此它不会被偷看到我们的数据连接的人截取。一旦 remotebox 把我们提供的密码同它的密码数据库相对照进行认证,成功的话,我们就会被允许登录,还会有一个 remotebox 的 shell 提示欢迎我们。虽然 ssh 缺省的认证方法相当安全,RSA 和 DSA 认证却为我们开创了一些新的潜在的机会。 但是,与 ssh 安全密码认证不同的是,RSA 认证需要一些初始配置。我们只需要执行这些初始配置步骤一次。之后, localbox 和 remotebox 之间的 RSA 认证就毫不费力了。要设置 RSA 认证,我们首先得生成一对密钥,一把专用密钥和一把公用密钥。这两把密钥有一些非常有趣的性质。公用密钥用于对消息进行加密,只有拥有专用密钥的人才能对该消息进行解密。公用密钥只能用于 加密,而专用密钥只能用于对由匹配的公用密钥编码的消息进行 解密。RSA(和 DSA)认证协议利用密钥对的这些特殊性质进行安全认证,并且不需要在网上传输任何保密的信息。 要应用 RSA 或者 DSA 认证,我们要执行一步一次性的配置步骤。我们把 公用密钥拷贝到 remotebox。公用密钥之所以被称作是“公用的”有一个原因。因为它只能用于对那些给我们的消息进行加密,所以我们不需要太担心它会落入其它人手中。一旦我们的公用密钥已经被拷贝到 remotebox并且为了 remotebox 的 sshd 能够定位它而把它放在一个专门的文件(~/.ssh/authorized_keys)里,我们就为使用 RSA 认证登录到 remotebox上做好了准备。 要用 RSA 登录的时候,我们只要在 localbox 的控制台键入 ssh drobbins@remotebox ,就象我们常做的一样。可这一次, ssh 告诉 remotebox 的 sshd 它想使用 RSA 认证协议。接下来发生的事情非常有趣。 Remotebox 的 sshd 会生成一个随机数,并用我们先前拷贝过去的公用密钥对这个随机数进行加密。然后, sshd 把加密了的随机数发回给正在 localbox 上运行的 ssh 。接下来,轮到我们的 ssh 用 专用密钥对这个随机数进行解密后,再把它发回给 remotebox,实际上等于在说:“瞧,我 确实有匹配的专用密钥;我能成功的对您的消息进行解密!”最后, sshd 得出结论,既然我们持有匹配的专用密钥,就应当允许我们登录。因此,我们有匹配的专用密钥这一事实授权我们访问 remotebox。 ssh 协议的版本 1 使用的是 RSA 密钥,而 DSA 密钥却用于协议级 2,这是 ssh 协议的最新版本。目前所有的 OpenSSH 版本都应该既能使用 RSA 密钥又能使用 DSA 密钥。DSA 密钥以如下类似于 RSA 密钥的方式使用 OpenSSH 的 ssh-keygen 生成: ssh_config 和 sshd_config 的设置说明 配置“/etc/ssh/ssh_config”文件 “/etc/ssh/ssh_config”文件是OpenSSH 系统范围的配置文件,允许你通过设置不同的选项来改变客户端程序的运行方式。这个文件的每一行包含“关键词-值”的匹配,其中“关键词”是忽略大小写的。下面列出来的是最重要的关键词,用man命令查看帮助页(ssh (1))可以得到详细的列表。 编辑“ssh_config”文件(vi /etc/ssh/ssh_config),添加或改变下面的参数: # Site-wide defaults for various optionsHost *ForwardAgent noForwardX11 noRhostsAuthentication noRhostsRSAAuthentication noRSAAuthentication yesPasswordAuthentication yesFallBackToRsh noUseRsh noBatchMode noCheckHostIP yesStrictHostKeyChecking noIdentityFile ~/.ssh/identityPort 22Cipher blowfishEscapeChar ~ 下面逐行说明上面的选项设置: Host *选项“Host”只对能够匹配后面字串的计算机有效。“*”表示所有的计算机。 ForwardAgent no“ForwardAgent”设置连接是否经过验证代理(如果存在)转发给远程计算机。 ForwardX11 no“ForwardX11”设置X11连接是否被自动重定向到安全的通道和显示集(DISPLAY set)。 RhostsAuthentication no“RhostsAuthentication”设置是否使用基于rhosts的安全验证。 RhostsRSAAuthentication no“RhostsRSAAuthentication”设置是否使用用RSA算法的基于rhosts的安全验证。 RSAAuthentication yes“RSAAuthentication”设置是否使用RSA算法进行安全验证。 PasswordAuthentication yes“PasswordAuthentication”设置是否使用口令验证。 FallBackToRsh no“FallBackToRsh”设置如果用ssh连接出现错误是否自动使用rsh。 UseRsh no“UseRsh”设置是否在这台计算机上使用“rlogin/rsh”。 BatchMode no“BatchMode”如果设为“yes”,passphrase/password(交互式输入口令)的提示将被禁止。当不能交互式输入口令的时候,这个选项对脚本文件和批处理任务十分有用。 CheckHostIP yes“CheckHostIP”设置ssh是否查看连接到服务器的主机的IP地址以防止DNS欺骗。建议设置为“yes”。 StrictHostKeyChecking no“StrictHostKeyChecking”如果设置成“yes”,ssh就不会自动把计算机的密匙加入“$HOME/.ssh/known_hosts”文件,并且一旦计算机的密匙发生了变化,就拒绝连接。 IdentityFile ~/.ssh/identity“IdentityFile”设置从哪个文件读取用户的RSA安全验证标识。 Port 22“Port”设置连接到远程主机的端口。 Cipher blowfish“Cipher”设置加密用的密码。 EscapeChar ~“EscapeChar”设置escape字符。 配置“/etc/ssh/sshd_config”文件 “/etc/ssh/sshd_config” 是OpenSSH的配置文件,允许设置选项改变这个daemon的运行。这个文件的每一行包含“关键词-值”的匹配,其中“关键词”是忽略大小写的。下面列出来的是最重要的关键词,用man命令查看帮助页(sshd (8))可以得到详细的列表。 编辑“sshd_config”文件(vi /etc/ssh/sshd_config),加入或改变下面的参数: # This is ssh server systemwide configuration file. Port 22 ListenAddress 192.168.1.1 HostKey /etc/ssh/ssh_host_key ServerKeyBits 1024 LoginGraceTime 600 KeyRegenerationInterval 3600 PermitRootLogin no IgnoreRhosts yes IgnoreUserKnownHosts yes StrictModes yes X11Forwarding no PrintMotd yes SyslogFacility AUTH LogLevel INFO RhostsAuthentication no RhostsRSAAuthentication no RSAAuthentication yes PasswordAuthentication yes PermitEmptyPasswords no AllowUsers admin 下面逐行说明上面的选项设置: Port 22“Port”设置sshd监听的端口号。 ListenAddress 192.168.1.1“ListenAddress”设置sshd服务器绑定的IP地址。 HostKey /etc/ssh/ssh_host_key “HostKey”设置包含计算机私人密匙的文件。 ServerKeyBits 1024“ServerKeyBits”定义服务器密匙的位数。 LoginGraceTime 600“LoginGraceTime”设置如果用户不能成功登录,在切断连接之前服务器需要等待的时间(以秒为单位)。 KeyRegenerationInterval 3600“KeyRegenerationInterval”设置在多少秒之后自动重新生成服务器的密匙(如果使用密匙)。重新生成密匙是为了防止用盗用的密匙解密被截获的信息。 PermitRootLogin no“PermitRootLogin”设置root能不能用ssh登录。这个选项一定不要设成“yes”。 IgnoreRhosts yes“IgnoreRhosts”设置验证的时候是否使用“rhosts”和“shosts”文件。 IgnoreUserKnownHosts yes“IgnoreUserKnownHosts”设置ssh daemon是否在进行RhostsRSAAuthentication安全验证的时候忽略用户的“$HOME/.ssh/known_hosts” StrictModes yes“StrictModes”设置ssh在接收登录请求之前是否检查用户家目录和rhosts文件的权限和所有权。这通常是必要的,因为新手经常会把自己的目录和文件设成任何人都有写权限。 X11Forwarding no“X11Forwarding”设置是否允许X11转发。 PrintMotd yes“PrintMotd”设置sshd是否在用户登录的时候显示“/etc/motd”中的信息。 SyslogFacility AUTH“SyslogFacility”设置在记录来自sshd的消息的时候,是否给出“facility code”。 LogLevel INFO“LogLevel”设置记录sshd日志消息的层次。INFO是一个好的选择。查看sshd的man帮助页,已获取更多的信息。 RhostsAuthentication no“RhostsAuthentication”设置只用rhosts或“/etc/hosts.equiv”进行安全验证是否已经足够了。 RhostsRSAAuthentication no“RhostsRSA”设置是否允许用rhosts或“/etc/hosts.equiv”加上RSA进行安全验证。 RSAAuthentication yes“RSAAuthentication”设置是否允许只有RSA安全验证。 PasswordAuthentication yes“PasswordAuthentication”设置是否允许口令验证。 PermitEmptyPasswords no“PermitEmptyPasswords”设置是否允许用口令为空的帐号登录。 AllowUsers admin“AllowUsers”的后面可以跟着任意的数量的用户名的匹配串(patterns)或user@host这样的匹配串,这些字符串用空格隔开。主机名可以是DNS名或IP地址。 配置OpenSSH使其使用TCP-Wrappers inetd超级服务器TCP-WRAPPERS用来启动和停止sshd1服务。当inetd运行的时候,它会从配置文件(默认为“/etc/inetd.conf”)中读入配置信息。在配置文件中每一行的不同项是用TAB或空格分开。
你在用哪些新特性?
能给些数据说明吗?如INSERT怎样的数据,然后你想要怎样的结果
请容我用 2015年 PostgreSQL全国用户大会(大象会) 的嘉宾演讲目录回复你!!
Postgres ConfChina2015_阿里云_曾文旌_PG9.4逻辑日志同步方案介绍_v2.pdfx.pdf
Postgres ConfChina2015_阿里云_窦贤明_index_adviser.pdf
Postgres ConfChina2015_阿里云_周正中(德哥)_一位PGer的安全修养.pdf
Postgres ConfChina2015_成都文武信息_朱贤文_PostgreSQL存储安全和存储性能规划.pdf
Postgres ConfChina2015_瀚高_卢健_异构数据向PostgreSQL实时同步.pdf
Postgres ConfChina2015_红手指_黄坚_新型BI架构思考及PG中的实现.pdf
Postgres ConfChina2015_华东师范大学_王晓玲_PG的window分析函数优化.pdf
Postgres ConfChina2015_华为_叶涛_PostgreSQL在最新硬件上的性能优化-postgres2015.pdf
Postgres ConfChina2015_莲子数据金华峰_大数据下的状态机实现.pdf
Postgres ConfChina2015_去哪儿网_李海龙_Qunar的PostgreSQLHA探索及日常运维.pdf
Postgres ConfChina2015_上容_李雨德_上容旋极空间编码数据库引擎.pdf
Postgres ConfChina2015_上容_田军_上容数据库替代Oracel国产化之路.pdf
Postgres ConfChina2015_神州飞象_权宗亮_存储过程加密实现.pdfx.pdf
Postgres ConfChina2015_沃趣科技_唐成(osdba)_PostgreSQL实例恢复与热备份技术内幕.pdf
Postgres ConfChina2015_武汉大学_彭煜玮_高校PG人才培养的总结与思考.pdf
Postgres ConfChina2015_张宇_国家电网Postgres应用实践分享.pdf
Postgres ConfChina2015_赵振平_数据库稳定性_选型与去IOE.pdf
Postgres ConfChina2015_浙江移动_francs_谭峰_浙江移动PostgreSQL-XC应用实践.pdf
Postgres ConfChina2015_中国平安_梁海安_Postgresql的平安本地化.pdf
Postgres ConfChina2015_中国平安_王鹏冲_平安数据库的PG之路.pdf
Postgres ConfChina2015_中兴软创_刘泉_PostgreSQL去O实战.pdfx.pdf
Postgres ConfChina2015_Alexander_DTM.pdf
Postgres ConfChina2015_KaiGai_PGStrom.pdfx.pdf
Postgres ConfChina2015_Mason-Postgres_XL.pdf
Postgres ConfChina2015_Oracle_那海蓝蓝_李海翔_PostgreSQL视图优化.pdf
Postgres ConfChina2015_Pivotal_姚延栋_Greenplum架构分析及开源历程.pdf
Postgres ConfChina2015_Suzuki-PostgreSQL_ScaleOut.pdf
Postgres ConfChina2015_Tatsuo-pgpool-II-3.5.pdf
Postgres ConfChina2015_Victor_Handling_60million_likes_per_day_in_PostgreSQL.pdf