• 多核时代:并行程序设计探讨(8)——任务分解模式...

    接下来就是识别出组成问题的任务、以及任务包含的数据,本质上来说每个并行算法都包含一组能够并行运行的任务,关键的挑战就在于找到这些任务然后设计出一个算法让这些任务并行运行。有的情况下,问题本身就天然的...
    文章 2009-09-14 1286浏览量
  • 数据驱动编程框架 Da0tabot 是怎么运行?

    前言 Da0tabot是用于 Web 爬虫、ETL、数据管道任务开发的高性能 ...节点并行运行可以很好的处理流数据 可视化* 执行函数:BotFrame.render('bitcoin_arbitrage')Databot 将会把数据处理流程生成为 graphviz 图片: ...
    文章 2019-02-21 845浏览量
  • [转载]聊聊Greenplum的那些事

    从上图进而可以看到,Greenplum的最小并行单元不是节点层级,而是在实例层级,安装过Greenplum的同学应该都看到每个实例都有自己的postgresql目录结构,都有各自的一套Postgresql数据库守护进程(甚至可以通过UT模式...
    文章 2016-07-11 7093浏览量
  • 《C++ AMP:用Visual C++加速大规模并行计算》——1.1...

    矩阵加法就是一个典型的数据并行问题。在其他情况下,我们需要设计算法将工作分散到独立的线程上去执行。例如,要在一个由大量数字组成的集合中寻找最大值的问题。我们可以选择遍历每个列表元素,将每个元素与“当前...
    文章 2017-05-02 2553浏览量
  • GPU 编程入门到精通之 第一个 GPU 程序

    GPU 编程入门到精通(一)之 CUDA 环境安装 GPU 编程入门到精通(二)之 运行第一个程序 GPU 编程入门到精通(三)之 第一个 GPU 程序 GPU 编程入门到精通(四)之 GPU 程序优化 GPU 编程入门到精通(五)之 GPU ...
    文章 2018-02-10 1971浏览量
  • 从原理到实践:Oracle 12.2 Sharding技术揭秘

    1.你需要12.2的database的安装介质(两个zip压缩包)来安装db软件,用于shardcat数据库,和shard node主机上的数据库。2.你还需要12.2的gsm安装介质(一个压缩包)来安装GDS框架和gsm服务。这是安装在shardcat主机上...
    文章 2017-07-18 2950浏览量
  • 08 集成学习-XGBoost概述

    注意:_这里说可以并行构建模型,并不是说XGBoost建立的下一轮基模型不依赖于上一步的结果,而是指生成每个基模型的决策树时,能够快速进行并行运算,即加速了单个模型的运算。面试中 可能会问为什么XGBoost是一个...
    文章 2018-11-28 898浏览量
  • 扫盲人工智能的计算力基石-异构计算

    协处理器需要有大量的数据并行通道,每个通道需要支持低延迟的数据管线处理。便于操作和菜品存取(接口性能)。要提供合适的接口带宽,快速,安全地和主处理器进行数据交互。安装方便,能更新处理流程(配置灵活)。...
    文章 2018-06-26 11951浏览量
  • PostgreSQL技术周刊第25期:应用开发者指南

    如果把表的数据全部删除了,在查询扫描表的时候,是不是会跳过前面的page,直接扫最后一个page库里现在一个表一直在做vacuum freeze(自动触发的),然后autovacuum的进程也在对该表做清理,但是是lock状态,这种...
    文章 2019-05-06 3084浏览量
  • Hadoop/Spark相关面试问题总结

    20、spark的优化怎么做?通过spark-env文件、程序中sparkconf和set property设置。(1)计算量大,形成的lineage过大应该给已经缓存了的rdd添加checkpoint,以减少容错带来的开销。(2)小分区合并,过小的分区造成...
    文章 2015-07-16 1140浏览量
  • 高可用的大数据计算平台如何持续发布和演进

    而相对应的解决方案,则仅仅提供大数据的计算系统的安装包,用户需要自己去找相应的资源拉起,需要自己搭建运维和监控系统,需要自己管理平台升级等等工作。而这些用户定义的集群(或者是虚拟机组成集群)往往是割裂...
    文章 2016-12-29 4091浏览量
  • 数据技术扫盲,你必须会的这些点

    Kafka是一种高吞吐量的分布式发布订阅消息系统,其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的...
    文章 2019-05-27 1063浏览量
  • 《R语言数据分析》——1.4 从数据库中导入数据

    我们不会深入讨论怎么选择这些数据库,也不会详细介绍构建数据仓库的方法,以及抽取、转换和装载(ETL)工作流的过程,我们的讨论仅局限于创建数据连接以及在R中如何管理数据。SQL最初由IBM开发,距今已有40多年的...
    文章 2017-05-02 4990浏览量
  • PostgreSQL技术周刊第26期:vacuum freeze无法回收...

    请大家帮忙看看 怎么样才能在 PG11的二级分区表上 使用 分区并行聚合功能?我测试一遍,如果表只有一级分区可以使用分区聚合,如果表有二级分区的话,就不可以,大家有没有成功使用的方法?当从库延迟大于参数max_...
    文章 2019-05-13 3103浏览量
  • Spark面试

    26、spark的优化怎么做?通过spark-env文件、程序中sparkconf和set property设置。(1)计算量大,形成的lineage过大应该给已经缓存了的rdd添加checkpoint,以减少容错带来的开销。(2)小分区合并,过小的分区造成...
    文章 2018-01-17 1657浏览量
  • 数据库案例集锦-开发者的《如来神掌》

    10、《PostgreSQL 时序数据库插件 timescaleDB 部署实践(含例子 纽约TAXI数据透视分析)-PostGIS+timescaleDB=gt;PG时空数据库》 11、《PostgreSQL 异步消息实践-Feed系统实时监测与响应(如 电商主动服务)-分钟级到...
    文章 2017-06-09 14428浏览量
  • 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS ...

    支持Hadoop并行数据加载。kafka的目的是提供一个发布订阅解决方案,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些...
    文章 2014-10-08 1121浏览量
  • 实时大数据计算引擎Apache Flink计算研究(一)

    数据打印到控制台并且设置并行度 windowCounts.print().setParallelism(1);这一行代码一定要实现&xff0c;否则程序不执行 env.execute(&34;Socket window count&34;} public static class WordWithCount{ public ...
    文章 2021-06-29 134浏览量
  • 利用 ApsaraDB For SQL Server各版本高效而低廉地实现...

    与传统部署方式不同,ApsaraDB for SQL Server不需要用户去部署网络,安装操作系统,安装数据库系统,调整参数,在这里,这一切都变更简单,您只需要在Web Console确定一个Region一个可用区,一个实例规格等基本信息...
    文章 2017-08-25 3954浏览量
  • PostgreSQL技术周刊第29期:Oracle数据库快速迁云至...

    citus查询一条数据怎么知道它在哪个分片上。pg可以查表或视图的创建时间么 PG里面有没有 什么办法查询"一个存储过程 依赖了哪些表?更多精彩问答 德哥直播课程 系列二PostgreSQL培训系列直播—第四章:应用开发者...
    文章 2019-06-06 4583浏览量
  • 部署Mahout

    Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。1:下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.7下载,我选择下载二进制包,直接解压及可。hadoop@ubuntu:~...
    文章 1970-01-01 875浏览量
  • 部署Mahout

    Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。1:下载二进制解压安装。到http://labs.renren.com/apache-mirror/mahout/0.7下载,我选择下载二进制包,直接解压及可。hadoop@ubuntu:~...
    文章 1970-01-01 865浏览量
  • 一文教会你数据库性能调优(附某大型医院真实案例)

    前言 微软工程师的一个工程师曾经对性能调优有一个非常形象的比喻:剥洋葱...如果在系统中发现出现大量的CMEMTHREAD等待,优先考虑数据库是不是已经安装最新的补丁 https://support.microsoft.com/en-us/help/2492381 ...
    文章 2018-09-28 2018浏览量
  • 含PPT下载|李飞飞:如何看待数据库的未来?

    基于BSP模型的大数据系统面临的最核心挑战就是并行处理时任务执行进度不一致而导致的同步问题,而现在希望大数据系统能够和数据库系统一样能够实现并行的同步。基于DAG的调度和计划器 无论是数据库系统还是大数据...
    文章 2020-02-25 8109浏览量
  • 数据库的未来-HTAP,软件、硬件、云生态的融合

    增加CPU计算单元,(例如PostgreSQL已支持多核并行计算,提升OLAP数据分析场景的性能,多核并行,一条SQL可以充分利用多个CPU核,缩短单条SQL的响应时间,特别适合OLAP业务),例如 《分析加速引擎黑科技-LLVM、列存...
    文章 2017-05-31 6469浏览量
  • IBM X3650M3 服务器做raid

    它对数据的访问是按数据块进行的,也就是按磁盘进行的,每次是一个盘,RAID4的特点和RAID3也挺象,不过在失败恢复时,它的难度可要比RAID3大得多了,控制器的设计难度也要大许多,而且访问数据的效率不怎么好。...
    文章 2017-11-16 1224浏览量
  • 送你9个快速使用Pytorch训练解决神经网络的技巧(附...

    Pytorch有一个很好的抽象概念,叫做分布式数据并行处理,它可以为你完成这一操作。要使用DDP(分布式数据并行处理),需要做4件事: def tng_dataloader():d=MNIST() 4:Add distributed sampler#sampler sends a ...
    文章 2019-08-29 1796浏览量
  • OceanBase 2.2 安装部署问题解答

    OceanBase 2.2 自官网提供试用下载后,受到不少数据库爱好者的关注,很多朋友都下载尝试安装,有些成功了,有些碰到了一些问题。本文就是总结一下最近大家遇到的问题,以供后来的朋友试用参考。关于安装部署的疑问 ...
    文章 2020-03-16 1886浏览量
  • 基于MaxCompute搭建社交好友推荐系统

    使用的是 MapReduce 这样的一个计算模型,MapReduce 是一种编程模型,用于大规模数据集的并行运算,它由三部分组成分别是 Map、Combine、Reduce。以好友推荐这样的一个场景为例。首先输入左侧机器可以识别的数据,...
    文章 2020-05-09 1954浏览量
  • 回顾工作经历,工业“大数据”是发展的必然吗?

    不管怎么说,”大数据“需要体系化建设,而不是仅仅聚焦某一点,物联整合资源的能力、大规模存储的能力、数据计算分析的能力、商业模式的问题等等。我认为决定”大数据“建设是否能够成功有四要素质:1.思维模式是否...
    文章 2017-05-08 632浏览量
1 2 3 4 ... 9 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化