-
扫盲人工智能的计算力基石-异构计算
这为大规模的数据并行处理提供了基础。其实，这个帮手在特定工作中远远超过了师傅（切菜洗菜超级快），大厨可以放心地把算法简单、重复性高、需要大量并行操作的工作交给它。但是GPU支持的控制复杂度较低。当你要求...文章 2018-06-26 12192浏览量 -
[转载]聊聊Greenplum的那些事
笔者有幸从04年就开始从事大规模数据计算的相关工作，08年作为Greenplum 早期员工加入Greenplum团队（当时的工牌是“005”，哈哈），记得当时看了一眼Greenplum的架构（嗯，就是现在大家耳熟能详的那个好多个X86框框...文章 2016-07-11 7358浏览量 -
每月亿行代码、全球数万研发，落地DevOps的协同平台...
大规模分布式任务调度：基于并行智能任务调度算法，对检查节点进行自动弹性伸缩，检查任务根据检查规则类型智能分片和并行执行，支持大规模代码仓库的代码检查。业务层 代码检查任务由“代码+检查规则+检查报表”...文章 2017-07-05 2176浏览量 -
《C++ AMP：用Visual C++加速大规模并行计算》——1.1...
本节书摘来自异步社区出版社《C++ AMP：用Visual C++加速大规模并行计算》一书中的第1章，第1.1节，作者：【美】Kate Gregory,Ade Miller，更多章节内容可以访问云栖社区“异步社区”公众号查看。1.1 为什么选择...文章 2017-05-02 2654浏览量 -
五分钟学后端技术：一篇文章告诉你什么是云计算！
私有云的厂商几乎没有自己的大规模应用，所以私有云厂商的平台做出来是给别人用的，自己不会大规模使用，于是产品往往围绕资源展开，而不会对应用的部署友好。公有云的厂商往往都是有自己的大规模应用需要部署的，...文章 2020-04-02 2652浏览量 -
Hadoop，Hadoop涉及到的一些常见概念...Hadoop怎么用？
通过并行处理加快数据处理速度。可靠性&xff0c;Hadoop的分布式文件系统将数据分块储存&xff0c;每个数据块在集群节点上依据一定的策略进行冗余储存&xff0c;确保能够针对失败的节点重新分布处理&xff0c;从而保证了数据的...文章 2022-05-01 39浏览量 -
高可用的大数据计算平台如何持续发布和演进
我们的方案是利用我们自己大规模运算平台的并行运算能力来验证兼容性测试，将编译查询作为一个MaxCompute的UDF，然后执行一个并行DAG执行来并行执行上百万查询的编译优化，然后在智能分析结果得到新功能的潜在风险。...文章 2016-12-29 4289浏览量 -
【Spark】(task1)PySpark基础数据处理
图2 某Spark程序的任务有向无环图最关键的过程是要理解哪些是可以纯并行处理的部分&xff0c;哪些是必须 shuffle&xff08;混洗&xff09;和 reduce 的部分&xff1a;这里的 shuffle 指的是所有 partition 的数据必须进行洗牌后...文章 2022-04-28 59浏览量 -
《DBA修炼之道：数据库管理员的第一本书》——2.1节...
共享磁盘集群更适用于大型机环境中的大规模企业处理。在共享磁盘环境中，所有连接的系统共享同一个磁盘设备，如图2-4所示。每个处理器仍然有自己独立的内存，但所有的处理器都可以直接寻址所有的磁盘。通常情况下，...文章 2017-07-03 1250浏览量 -
IBM李永辉：从人工智能到大数据的终点
除了将利用OpenPOWER联盟的成果，如通过CAPI高速连接通道更好地集成GPU、FPGA加速、内存共享等技术提升硬件平台的大规模实时处理能力之外，未来Watson的一个主要发展方向，是拓展更多不同的行业结合不同行业所谓跨...文章 2017-08-09 1376浏览量 -
【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS ...
kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群机来提供实时的消费。kafka分布式订阅架构如下图：取自Kafka官网 罗宝兄弟文章上的架构图是这样的 其实两者没有太大区别，官网...文章 2014-10-08 1288浏览量 -
《R语言数据分析》——1.4 从数据库中导入数据
如果读者不能通过网络访问已经安装好的虚拟机，可以更改一下其网络设置，如果仅本机访问，可以使用Host-only adapter项，否则可以使用限制少的Bridged Networking项。后者需要为虚拟机保留一个额外的IP地址，使得...文章 2017-05-02 5259浏览量 -
Net业务搭配实用技术栈
在计算报表和一些情况下，多线程，并行处理数据也会考虑引入。Dapper,EF开始了用武之地，干起来！依赖注入，aop 可以考虑引入。可考虑引入前端vue,element。以上考虑部分，根据业务规模和使用频数来决定是否引入。...文章 2018-09-06 2474浏览量 -
带你读《并发模式与应用实践》之一：并发简介
水平扩展（https://stackoverflow.com/questions/11707879/difference-between-scaling-horizontally-and-vertically-for-databases ）是当今大规模并行软件系统背后的关键技术。并发使得并发实体之间必须实现通信。...文章 2019-11-04 1572浏览量 -
【0309-0313 每周直播导视】ACE区域线上峰会大咖云集...
函数工作流全解析 当下防疫期间在线教育和远程办公需求暴增，解密大规模并行处理方案背后的超大计算资源的毫秒级伸缩。历经天猫双十一、优酷春晚、菜鸟等业务场景磨砺的企业级缓存服务产品 阿里云 Redis 企业版...文章 2020-03-05 389浏览量 -
【首发】地平线A+轮融资近亿美元，英特尔领投联手发力...
人脑有一些很奇妙的结构，我们处理视觉信号的时候，它是并行的，我们对它的结构并不是那么敏感。实际上视觉信号从接收到处理到后面，基本是200毫秒到300毫秒的传输时间，非常慢，但是这么慢的时间我们还可以开车，还...文章 2017-10-20 1931浏览量 -
提前突击了这近200道大数据面试题，果然头条、京东都...
某一台 CDH 物理机 12 块 RAID0 硬盘，如果其中有 4 块 RAID0 硬盘同时损坏,请问接下来大数据运维人员的详细处理流程是什么？夏天老师： HDFS 有个参数 dfs.datanode.failed.volumes.tolerated，值为 0 的时候表示当...文章 2020-04-23 3256浏览量 -
让运维工程师不再蓝瘦、香菇
相信每个运维工程师都会存有一些“私货”-运维脚本（无论是Python、Shell也或是批处理），在日常工作中便是靠这些脚本来实现运维的处理，比如软件安装、配置修改、清理磁盘空间、重启服务等等。这些脚本存在每个运维...文章 2016-10-24 2637浏览量 -
含PPT下载|李飞飞：如何看待数据库的未来？
云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量使用，使得资源高效利用。云原生...文章 2020-02-25 8898浏览量 -
一脸懵逼学习基于CentOs的Hadoop集群安装与配置（三台...
MapReduce 是 Google 公司的核心计算模型，它将复杂的运行于大规模集群上的并行计算过程高度的抽象到了两个函数，Map 和 Reduce,这是一个令人惊讶的简单却又威力巨大的模型。适合用 MapReduce 来处理的数据集(或任务...文章 2017-10-09 1585浏览量 -
怎么做服务器压力测试？
快速大规模集群扩容、支持几十万用户及百万级TPS性能压测；可模拟海量用户的真实业务场景，全方位验证业务站点的性能、容量和稳定性。PTS 广泛应用于各种压力测试和性能测试场景，包括但不限于以下场景： 详细参考...文章 2019-04-01 11563浏览量 -
带你读《基于CUDA的GPU并行程序开发指南》之一：CPU...
2015年，英特尔在市场上推出8核台式机处理器i7-5960X[11]和10核工作站处理器，如Xeon E7-8870[14]。很明显，这种多核狂热在可预见的未来会持续下去。并行编程从2000年年初的一种奇异的编程模型转变为2015年唯一被...文章 2019-11-16 2574浏览量 -
2011系统架构师大会分享-自动化运维中的关系管理
通常在大几千台到上万台机器的规模公司，运维视角已经是以服务为粒度。二、为什么我们要过渡到第三个阶段?主要是由以下三个原因推动： 第一是：随着规模的增长、产品线的增多、变更越来越频繁，一个服务的运维环境...文章 2017-11-14 1165浏览量 -
详解AI加速器（二）：为什么说现在是AI加速器的黄金...
暗硅本质上是「摩尔定律终结」的大预演——对处理器制造商来说&xff0c;时代变得具有挑战性。一方面&xff0c;计算需求飞速增长&xff1a;智能手机变得无处不在&xff0c;而且拥有强大的计算能力&xff0c;云服务器需要处理越来越...文章 2022-02-11 84浏览量 -
数据科学工具包（万余字介绍几百种工具，经典收藏版！
InfoWorld在分布式数据处理、流式数据分析、机器学习以及大规模数据分析领域精选出了2015年的开源工具获奖者，下面我们来简单介绍下这些获奖的技术工具。1.Spark 在Apache的大数据项目中，Spark是最火的一个，特别是...文章 2017-05-02 2835浏览量 -
利用 ApsaraDB For SQL Server各版本高效而低廉地实现...
对于为从小规模至大规模 Web 资产提供可伸缩性、经济性和可管理性功能的 Web 宿主和 Web VAP 来说，SQL Server Web 版本是一项总拥有成本较低的选择。Developer SQL Server 2012 Developer 版支持开发人员基于 SQL ...文章 2017-08-25 4285浏览量 -
360要上A股IPO？先看看它的网络安全武器库
但是在中国，真正有上亿用户、有上万台服务器运维能力、有大规模并发计算能力、有海量数据存储和实时处理能力的大数据公司，其实是屈指可数的，360就是其中一家。大数据可以简单分为用户端和服务端，用户端显而易见...文章 2017-07-05 1679浏览量 -
美国新崛起了一家光伏电子商务公司 CEO畅谈如何降低获...
以下内容根据 GTM 文章《US Residential Solar Is Set for a Radical Makeover》编译。作者为PowerScout 公司的CEO Attila Toth。...该平台既是CUDA并行处理平台，同时也是cuDNN深度神经网络库。本文转自d1net（转载）文章 2017-07-05 1683浏览量 -
解析大数据与工业之德国工业4.0
产品经过检验再进行包装，然后再到物流，工序与工序之前、设备与工序之间、设备与人之间是单项的数据流动，这是典型的大规模生产方式。目前中小企业普遍应对多品种、小批量的生产，是采用大量的人工实现，因为人是最...文章 2016-12-08 5788浏览量 -
IM开发基础知识补课(五)：通俗易懂，正确理解并用好MQ...
RocketMQ是阿里开源的消息中间件，它是纯Java开发，具有高吞吐量、高可用性、适合大规模分布式系统应用的特点。RocketMQ思路起源于Kafka，但并不是Kafka的一个Copy，它对消息的可靠传输及事务性做了优化，目前在阿里...文章 2018-09-26 3023浏览量
