《中国人工智能学会通讯》——8.32 基于进化算法的并行计算优化
8.32 基于进化算法的并行计算优化
在云计算平台和高性能计算平台等分布式平台上,往往存在着多个并行与分布式任务,为了提高并行与分布式算法的执行效率以及平台的资源利用率,研究者们利用进化算法对并行与分布式任务进行优化。目前,这方面的研究主要包括并行与分布式工作流调度和并行与分布式任务的资源调度分配两个方面。
工作流调度提交至平台系统的并行与分布式任务往往有截止时间要求,然而系统平台的资源往往是有...
查看全文 >>
云计算和区块链结合,会产生什么效果?
来源商业新知网,原标题:云计算和区块链结合,将为大规模的应用打下基础!
最近几年,区块链作为新兴的技术引起了广泛的关注。区块链可以应用的领域非常广,包含支付、身份识别、云计算、物品溯源、游戏、投票、医疗等。众多传统的技术也可以和区块链技术相结合发挥更大的作用,比如在传统的云计算领域,将云计算和区块链结合起来可以实现更高效、更经济、更安全可信的分布式云计算。
知识图谱,云计算和区块链结合,将为大规...
查看全文 >>
《中国人工智能学会通讯》——8.28 并行与分布式进化计算
8.28 并行与分布式进化计算
进 化 算 法(EA,Evolutionary Algorithm)是一类启发于自然界的智能优化算法,其包括启发于达尔文进化理论的遗传算法(GA,GeneticAlgorithm) [1-4] 、启发于鸟群行为的粒子群优化算法(PSO,Particle Swarm Optimization) [5-10] 、 启发于蚂蚁协作方式的蚁群算法(ACO,Ant Colo...
查看全文 >>
高性能计算在电网技术中的应用
本文讲的是高性能计算在电网技术中的应用,【IT168 资讯】在英特尔第三届高性能计算研讨会上,笔者见到了电网数字仿真技术研究所的陈勇,他向我们介绍了电网技术中高性能计算的研究方向。 陈勇介绍说,大电网并行与分布式计算和数据处理基础平台系统是高性能计算在电网技术应用的一个方向。大电网并行与分布式计算和数据处理基础平台系统是电力系统分析与规划,大电网运行与控制的基础数据和计算支撑系统。该应用方向上...
查看全文 >>
云计算技术
云计算这三个字,近些年听得比较多了,到底什么是云计算呢?云计算又有什么作用呢?接下来和大家共同揭开云计算的面纱。
云的出现,彻底的改变了我们的生活。通俗的讲,家里需要排污水的话需要修一条管道直通污水处理厂。但是这条管道并不是全天都在占用,而且只有一家使用的话,维护成本较高,闲置的时候造成了资源的浪费。云就起到了将这条管道虚拟化的作用,当管道闲置或者不超过管道的处理能力的情况下,可以将资源...
查看全文 >>
【科学脱口秀】EB级计算平台调度系统 “愚公” : 实现跨地域的数据和计算调度
伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。
随阿里经济体和阿里云丰富的业务需求(尤其是双十一)和磨练,伏羲的内涵不断扩大,从单一的资源调度器(对标开源系统的YARN)扩展成大数据的核心调度服务,覆盖数据调度(Data...
查看全文 >>
【科学脱口秀】EB级计算平台调度系统 “愚公” : 实现跨地域的数据和计算调度
伏羲(Fuxi)是十年前最初创立飞天平台时的三大服务之一(分布式存储 Pangu,分布式计算 MaxCompute,分布式调度 Fuxi),当时的设计初衷是为了解决大规模分布式资源的调度问题(本质上是多目标的最优匹配问题)。
随阿里经济体和阿里云丰富的业务需求(尤其是双十一)和磨练,伏羲的内涵不断扩大,从单一的资源调度器(对标开源系统的YARN)扩展成大数据的核心调度服务,覆盖数据调度(Data...
查看全文 >>
《循序渐进学Spark》一第1章
本节书摘来自华章出版社《循序渐进学Spark》一书中的第1章,第1.1节,作者 小象学院 杨 磊 更多章节内容可以访问云栖社区“华章计算机”公众号查看。
第1章
Spark架构与集群环境
本章首先介绍Spark大数据处理框架的基本概念,然后介绍Spark生态系统的主要组成部分,包括Spark SQL、Spark Streaming、MLlib和GraphX,接着简要描述了Spark的架构...
查看全文 >>
Cloud_panel
传统基础架构应用程序的系统架构师,云计算应用程序的设计确实是相当有挑战性的工作。体现在应用程序架构师首先要了解云计算环境和传统基础架构的差异并且充分利用云计算平台的一些特点来更好的满足用户需求。
对于刚从传统应用架构转到云计算平台的应用架构师,我觉得理解下面四点非常重要:
1.运行环境的感知能力
传统的基础架构或系统平台中的资源一般都是不能动态配置,因此应用程序在设计的时候主要考虑自身的业务逻辑...
查看全文 >>
Hadoop概念学习系列之Hadoop 是什么?(一)
Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)和(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。HDFS的高容错性、高伸缩性等优点允许用户将Hadoop部署在低廉的硬件上,形成分布式系统;MapReduce...
查看全文 >>