可扩展并行处理怎么搭建

  • 宜搭的流程之道

    什么是工作流 什么是工作流,工作流是一系列相互连接、自动进行的业务按照一定的规则有序运行的活动或任务。在工作流尚未普及之前,公司大多以纸质方式通过人工流转实现业务审批,效率比较低下,随着科技的进步,工作流逐渐代替了线下的手工劳动,通过既定的规则就可以实现业务表单的提交、审批、修改、跟踪、通知、管理...

    文章 沉寒 2019-08-28 951浏览量

  • RabbitMQ的深入理解和最简单的用途说明

    RabbitMQ 在上一家公司已经接触过了, 但是懵懵懂懂的. 不是很清楚. 具体怎么个逻辑.  这次公司打算搭建新的系统. 领导要求研究一下MQ.  经过研究得出的结论是. MSMQ的设计理念不适合做系统的底层框架. 他不适合做分布式系统. 最主要的是. MSMQ如果没有消费者, 默认消息是一直...

    文章 java猫 2018-12-29 1077浏览量

  • 大数据小视角4:小议Lambda 与 Kappa 架构,不可变数据的计算探索

    这个系列文章之前因为私事荒废了很久,继续更新~~之前与老大谈论架构时,老大和我聊了聊分布式数据处理之中的Lambda结构,之前在《Designing Data-Intensive Applications》这本书之中,作者 Martin Kleppmann也在文中涉及到了通过重...

    文章 happenlee 2018-08-08 2300浏览量

  • 万券齐发助力企业上云,爆款产品低至2.2折起!

    限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

    广告

  • 创业公司快速搭建立体化监控之路(WOT2016)

    本文内容:创业型公司如何快速搭建可扩展,可落地的立体化监控平台 一、需求缘起 创业型公司有系统监控么?来看两个case: case 1:CXO大群内贴了一张“用户微信投诉”的截图 (1)CXO大群内贴了一张“用户微信投诉”的截图 (2)技术反馈“正在跟进” (3)10分钟之后,CXO询问进度,技术...

    文章 初商 2019-08-12 474浏览量

  • 数据仓库与ODS的区别

    我在公司的数据部门工作,每天的订单类数据处理流程大致如下: 删除分析数据库的历史订单数据 全量更新订单数据到分析数据库。(由于订单核心数据不大,所以经受得起这么折腾) 将数据简单清洗,并生成数据集市层 分析处理,产出报表。当然还有其他的数据也是这么处理的(比如产品的数据、景区的数据、票种的数据、...

    文章 技术小美 2017-11-19 1270浏览量

  • 基于Kubernetes的瓜子云的任务调度系统

    很大的挑战。 接下来我讲详细介绍一下瓜子云的任务调度系统搭建所遇到的问题和解决方案。 需求 瓜子最早的时候,任务调度用的是Crontab,后来由于数据仓库 的复杂调度需求,我们引入了Airflow。Airflow支持DAG依赖,失败重试,历史状态记录,log收集等多种非常使用的功能。 Airflo...

    文章 店家小二 2018-12-14 2124浏览量

  • 阿里云服务器 如何处理网站高并发流量问题?(含教程)

    很多平台一旦做大了,平台的流量就会陡增,同时并发访问的流量也会暴增,原本规划的硬件配置就无法满足当下的流量问题。 那么如何处理好高并发的流量问题呢? 小编将这些分为2个方面:架构层面和网站本地项目层面。 一、架构层面 1、硬件升级 假设一台服务器最多能支持每天10万独立IP,如果访问量增大的话,那...

    文章 搞么罗 2019-04-01 11953浏览量

  • 解读新突破“中国量子计算机”,真比神威·太湖之光还厉害?

    本文来自AI新媒体量子位(QbitAI) 今天中科院微信发布了一个“重磅消息”:中国量子计算机诞生。 这么说多少有一点夸张。 这件事实际上是中科大潘建伟、陆朝阳、朱晓波和浙大王浩华教授等,自主研发了10比特超导量子线路样品,通过发展全局纠缠操作,成功实现了目前世界上最大数目的超导量子比特的纠...

    文章 行者武松 2018-01-15 894浏览量

  • 高可用的大数据计算平台如何持续发布和演进

    2016年11月18-20日SDCC 2016中国软件开发者大会,阿里巴巴大数据计算平台首席架构师林伟给我们带来了“高可用的大数据计算平台如何持续发布和演进”的演讲。本文主要谈及大数据系统如何做系统迭代,以及大规模系统因为其大规模没有可能搭建对等的测试环境,需要进行在线测试方面的内容,更有在线测试...

    文章 大数据史记 2016-12-29 3944浏览量

  • 为什么说流处理即未来?

    ​作者|Stephan Ewen整理|秦江杰 本文整理自 Flink 创始公司 Ververica  联合创始人兼 CTO - Stephan Ewen 在 Flink Forward China 2018 上的演讲《Stream Processing takes on Everything》。这...

    文章 apache_flink 2019-04-17 8772浏览量

  • 【Twitter Storm系列】flume-ng+Kafka+Storm+HDFS 实时系统搭建

    一直以来都想接触Storm实时计算这块的东西,最近在群里看到上海一哥们罗宝写的Flume+Kafka+Storm的实时日志流系统的搭建文档,自己也跟着整了一遍,之前罗宝的文章中有一些要注意点没提到的,以后一些写错的点,在这边我会做修正;内容应该说绝大部分引用罗宝的文章的,这里要谢谢罗宝兄弟,还有写...

    文章 cnbird 2014-10-08 1043浏览量

  • 数据中台演进的四个阶段

    口述者行在(张金银),奇点云CEO,阿里巴巴第一个数据仓库的创建者,阿里巴巴第一个消费者数据平台TCIF的创建者,阿里云数据智能平台数加的创始人,2004年以数据技术专家身份加入阿里巴巴以来,12年来一直投身于大数据事业。2016年离开阿里巴巴,创立奇点云,旨在用「AI驱动的数据中台」赋能线下,让...

    文章 startdtsms 2020-09-25 367浏览量

  • 基于MaxCompute搭建社交好友推荐系统

    摘要:本次由阿里云驻云科技资深架构师翟永东带来了“基于MaxCompute搭建社交好友推荐系统”为主题的分享,主要对大数据在好友推荐系统中的应用、好友推荐系统的分析模型、好友推荐系统在阿里云上的实现方式和MaxCompute技术进行了精彩的介绍。 直播视频:https://yq.aliyun.co...

    文章 smile小太阳 2018-01-31 3169浏览量

  • 基于MaxCompute搭建社交好友推荐系统

    摘要:本次由阿里云驻云科技资深架构师翟永东带来了“基于 MaxCompute 搭建社交好友推荐系统”为主题的分享,主要对大数据在好友推荐系统中的应用、好友推荐系统的分析模型、好友推荐系统在阿里云上的实现方式和 MaxCompute 技术进行了精彩的介绍。 大数据在好友推荐系统中的应用 给大家分享一...

    文章 KB小秘书 2020-05-09 1529浏览量

  • 基于MaxCompute搭建社交好友推荐系统

    摘要:本次由阿里云驻云科技资深架构师翟永东带来了“基于MaxCompute搭建社交好友推荐系统”为主题的分享,主要对大数据在好友推荐系统中的应用、好友推荐系统的分析模型、好友推荐系统在阿里云上的实现方式和MaxCompute技术进行了精彩的介绍。 直播视频:https://yq.aliyun.c...

    文章 隐林 2018-02-10 3090浏览量

  • 阿里云异构计算平台——加速AI深度学习创新

    云栖TechDay第36期,阿里云高级产品专家霁荣带来“阿里云异构计算平台——加速AI深度学习创新”的演讲。本文主要从深度学习催生强大计算力需求开始谈起,包括GPU的适用场景,进而引出了弹性GPU服务——EGS(Elastic GPU Service),重点讲解了EGS的优势、EGS监控以及EGS...

    文章 场景研读 2017-08-21 5253浏览量

  • 阿里云异构计算平台——加速AI深度学习创新

    云栖TechDay第36期,阿里云高级产品专家霁荣带来“阿里云异构计算平台——加速AI深度学习创新”的演讲。本文主要从深度学习催生强大计算力需求开始谈起,包括GPU的适用场景,进而引出了弹性GPU服务——EGS(Elastic GPU Service),重点讲解了EGS的优势、EGS监控以及EGS...

    文章 杨琬祯 2019-09-11 353浏览量

  • 数据工程师必须掌握的7个大数据实战项目

    原创: Lenis 有关SQL 1作为一名电影爱好者,我阅片无数,有些片子还经常翻来覆去看个好几遍。小时候因为这事儿,没少被我妈抓耳朵,“看过的片子为啥还要倒二遍?”我也说不上来,就是单纯的爱看。 男人爱看的电影,以武侠,动作,科技为多,也认识了一帮明星,比如尼古拉斯凯奇,史泰龙,李小龙,成龙,李...

    文章 茶什i 2020-01-03 1803浏览量

  • yar粗略使用记录

    yar是鸟哥(laruence)开发的一个并行的RPC框架。据说sina weibo已经在大规模使用这个框架了。今天初步使用了下,觉得还是挺爽的一个工具。 什么情况适用这个工具呢? 比如一般你有个微博这样的一个项目,这个项目的特点是有多个子项目组成,即有web版,手机客户端版,wap版等。 一般有...

    文章 轩脉刃 2016-05-17 2328浏览量

  • yar粗略使用记录

    yar是鸟哥(laruence)开发的一个并行的RPC框架。据说sina weibo已经在大规模使用这个框架了。今天初步使用了下,觉得还是挺爽的一个工具。 什么情况适用这个工具呢? 比如一般你有个微博这样的一个项目,这个项目的特点是有多个子项目组成,即有web版,手机客户端版,wap版等。 一般有...

    文章 技术mix呢 2018-01-07 1066浏览量

  • 3D 真的很难吗,瞧瞧支付宝怎么做?

    阿里妹导读:图像作为人类感知世界的视觉基础,是我们在这个信息化时代获取信息、表达信息及传递信息的重要手段,而生成图像最高效准确的方式就是由计算机生成、显示、绘制,这些技术又统称计算机图形技术。计算机图形技术已经是许多产业的技术基础,比如动画、影视特效、游戏、设计、广告、AR、VR、数据可视化等等。...

    文章 技术小能手 2019-09-10 4104浏览量

  • 卡巴拉树开发秘辛:工作流模式

    高异步并发在前端大数据渲染场景是常遇到的问题,如何有效管理并发过程,解决资料合并与节流,消息中心等问题一直是该场景下常遇到的问题,但目前为止一直没有一套完善的解决方案。本文阐述了如何利用工作流模式搭配rxjs实践一套有效的流管理工具。工作流模式是2000年由W.M.P. van der Aalst...

    文章 kollpdcgpqxpi 2020-01-06 216浏览量

  • 面经手册 · 开篇《面试官都问我啥》

    作者:小傅哥博客:https://bugstack.cn 沉淀、分享、成长,让自己和他人都能有所收获! 一、前言 一直以来都有小伙伴问我什么时候出一些面试系列的文章,脑袋一热一口答应下来,《重学Java设计模式》写完就安排。但是怎么写,要写成什么样才对读者有帮助成了难点。 再三思考,面...

    文章 小傅哥 2020-08-03 4172浏览量

  • 关于大数据最常见的10个问题,必看!

    1、云计算与大数据是什么关系?   云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资源不足所带来的问题。    他俩之间的关系...

    文章 金鑫工程师 2019-04-13 854浏览量

  • Come on ! 手把手教你玩转谷歌TensorFlow | 硬创公开课

    AI并不是一门简单的学科,AI算法的开发和调试并没有一个统一的、集成了大量API方便调用的平台和语言,目前的人工智能开发平台仍然处于一种半蛮荒的状态。许多功能需要自己亲自去搭建和实现。 不过幸运的是,这个领域受到了足够多的重视,因此许多巨头都针对它开发了自己的平台,这其中就包括谷歌的Tensorf...

    文章 青衫无名 2017-08-01 723浏览量

  • 架构选型之Nodejs与Java

    前言: 身边越来越多的同事谈论Nodejs,谈其异步IO、事件回调、前后台统一一门语言,创业的朋友的第一个创业项目也选择了Nodejs,期望能够使用一种语言节省成本快速完成需求开发。与其他项目组的同事聊项目选型Java时被他们嘲笑了一把,怎么这么不与时俱进怎么还在用Java。而且发现,越来越多...

    文章 泉石 2016-06-07 19789浏览量

  • SSH框架结构分析

        分类: 工作问题2012-03-29 18:10 1511人阅读 评论(0) 收藏 举报 框架sshhibernatespringstrutsdao 最近在弄j2ee,发现还是学到了很多东西,心情happy啊!昨天看到了一个文章是关于ssh的,就弄下来了,后面加点自己的东西,很感谢...

    文章 thinkyoung 2014-12-17 1020浏览量

  • 【0309 - 0313 每周直播导视】ACE区域线上峰会大咖云集,架构师成长系列洞悉技术发展方向

    *本预告时间仅供参考,最终直播时间以直播间信息为准。 本周直播重磅推荐: 本周五ACE 区域技术发展在线峰会汇集行业专家,结合3大分会场,带你从区域的视角,领略不一样的 AI、DevOps和大数据。 本周阿里CIO学院为大家邀请到了2位大咖,小邪:基于云架构的研发模式演进 和 五福:三位一体的中...

    文章 小熊软糖bear 2020-03-05 179浏览量

  • “云上超算”的愿景,阿里云高性能、异构计算抢先实现了。

    最初见到“超算平民化”的概念是在2009年《纽约时报》网络版刊登的一篇文章:当时,云计算刚刚兴起,超级计算机开始大量采用标准化硬件架构,这两个趋势让HPC通过云服务的形式来提供计算力的新模式成为可能。在当时看来,“云上超算”并不遥远,其所带来的“超算平民化”亦将带来超算发展的一场新的变革。 在近年...

    文章 宝惜 2017-09-15 2747浏览量

  • 阿里云发布新一代容器、Serverless等云原生产品,加速企业向现代IT架构演进

    在6月9日2020阿里云线上峰会上,云原生应用平台产品总监赵林(丹臣)发表了《云原生2020新产品发布 传统应用架构往现代应用架构快速演进的基础设施》的主题演讲,详细介绍了阿里云全新发布的容器、中间件、Serverless等产品。随着数字经济的快速发展和扩张,越来越多的企业开始采用云原生计算的思想...

    文章 中间件小哥 2020-06-09 564浏览量

1 2 3 >

云产品推荐

阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 企业建站模板