• DataWorks 2020-03 产品月刊

    技术长文:《一分钟搭建会话机器人,阿里是怎么做到的?3.AnalyticDB for PostgreSQL+DataWorks深度集成重磅联合发布,推出3个月1折优惠体验套餐4.飞天大数据平台应用实战第二季直播,Step By Step体验产品最佳实践...
    文章 2020-04-10 909浏览量
  • 快速看懂函数计算使用流程的图文解析

    函数(Function)是调度与运行的基本单位,更是一段代码的处理逻辑。您需要根据函数计算提供的函数接口形式编写代码,并将代码以函数的形式部署到函数计算。函数计算中的服务对应于软件应用架构领域中的微服务。在...
    文章 2020-04-07 756浏览量
  • 高可用的大数据计算平台如何持续发布和演进

    上面我们谈了怎么运用并行分析能力验证查询和优化,以及怎么用flighting的工具去验证线上执行,执行时候怎么能保证产生正确结果和怎么去验证调度器的算法。这些步骤都做完,我们就要发布了,为了控制上线风险,...
    文章 2016-12-29 4113浏览量
  • 提效降本:蚂蚁金服如何用融合计算改造在线机器学习

    Ray上应该做怎么样的调度,衡量指标就是系统的效率问题,系统的效率很时候取决于计算和数据的组织方式,比如说我们要计算Add(a,b),首先这个函数在本地会被自动注册并且提供给本地调度器。之后通过全剧调度器和...
    文章 2019-11-01 2469浏览量
  • 为减少用户电话排队,阿里研发了智能客服调度系统

    客服调度策略繁多、逻辑复杂,调度结果会切实影响整个环节参与者的感受,因此我们搭建了XSigma调度大屏,方便大家理解。在实践过程中发现调度大屏能建立起使用方对调度系统的信任感,降低开发人员和管理员发现、定位...
    文章 2019-02-20 1003浏览量
  • Hadoop大数据平台实战(05):深入Spark Cluster集群...

    目前搭建Spark 集群,可以的选择包括Standalone,YARN,Mesos,K8s,这么工具,在部署Spark集群时很难选择,哪些是最好的Apache Spark集群管理?接下来我们会详细介绍了每个集群管理的功能,并详细介绍调度...
    文章 2019-04-11 2644浏览量
  • 面向容器的资源调度技术对比

    本文不是为了全面分析某个调度器,也不是全面对比某个关键点在不同调度器之间特色,而是基于笔者的理解,阐述在一个新场景下,如何设计或者完善一个资源调度器,从已有调度器系统吸取架构或模块经验,最低成本实现...
    文章 2017-06-28 4272浏览量
  • 为减少用户电话排队,阿里研发了智能客服调度系统

    客服调度策略繁多、逻辑复杂,调度结果会切实影响整个环节参与者的感受,因此我们搭建了XSigma调度大屏,方便大家理解。在实践过程中发现调度大屏能建立起使用方对调度系统的信任感,降低开发人员和管理员发现、定位...
    文章 2019-08-14 859浏览量
  • 阿里、Google、Twitter面向容器的资源调度技术比较

    整篇文章不是为了全面分析某个调度器,也不是全面对比某个关键点在不同调度器之间特色,而是以作者经验理解,在一个新场景下,如果需要设计或者完善一个资源调度器,那么,应该梳理那些关键场景和需求。选择性地从已...
    文章 2017-05-02 3640浏览量
  • K8s|应用存储和持久化数据卷:存储快照与拓扑调度

    首先,如果要是所要使用的 PV 是预分配的,如 Local PV,其实使用这块 PV 的 pod 它对应的 PVC 其实还没有做绑定,就可以通过调度器调度的过程中,结合 pod 的计算资源需求(如 cpu/mem)以及 pod 的 PVC 需求,选择...
    文章 2019-10-10 4127浏览量
  • 为减少用户电话排队,阿里研发了智能客服调度系统

    背景 为什么客服需要调度?阿里集团客户体验事业群(CCO)...XSigma智能客服调度系统采用自动化配置、机器学习等技术,将复杂的调度问题分层处理,并在日益增长的会员任务基础上,不断精细化调度模型依赖的状态预估数值...
    文章 2018-09-05 4535浏览量
  • 面向容器技术资源调度关键技术对比(作者:阿里中间件...

    整篇文章不是为了全面分析某个调度器,也不是全面对比某个关键点在不同调度器之间特色,而是以作者经验理解,在一个新场景下,如果需要设计或者完善一个资源调度器,那么,应该梳理那些关键场景和需求。选择性地从已...
    文章 2016-04-27 7120浏览量
  • 社会化海量数据采集爬虫框架搭建

    这就需要使用线程调度框架来调度多线程任务并行抓取,并且任务的数量,保证资源的消耗正常。异常处理 不管怎么模拟总还是会有异常的,这就需要有个异常处理模块,有些网站访问一段时间需要输入验证码,如果不处理...
    文章 2017-05-02 1264浏览量
  • 从零学习Spring MVC框架「环境搭建和MVC架构」

    处理器映射器找到具体的处理器(可以根据xml配置、注解进行查找),生成处理器对象及处理器拦截器(如果有则生成,我们没有使用)返回DispatcherServlet。DispatcherServlet调用HandlerAdapter处理器适配器。...
    文章 2018-07-18 8199浏览量
  • 基于 Quartz 开发企业级任务调度应用

    现在回到上面的例子,任务每 2 分钟执行一次,若某次任务执行了 5 分钟才完成,Quartz 会怎么处理呢?按照 trigger 的规则,第 2 分钟和第 4 分钟分别会有一次预定的触发执行,但是由于是有状态任务,因此实际不会被...
    文章 2017-08-27 1263浏览量
  • 基于 Quartz 开发企业级任务调度应用

    现在回到上面的例子,任务每 2 分钟执行一次,若某次任务执行了 5 分钟才完成,Quartz 会怎么处理呢?按照 trigger 的规则,第 2 分钟和第 4 分钟分别会有一次预定的触发执行,但是由于是有状态任务,因此实际不会被...
    文章 2015-01-01 817浏览量
  • 360数据处理平台的架构演进及优化实践

    自助、灵活:自助化和灵活性体现在任务的配置修改、监控调度完全交给用户自己,不依赖于开发人员,想怎么玩就怎么玩,让用户真实的体验到玩转大数据。实践案例 接下来分享一下平台的几个典型的实践: 首先是DITTO...
    文章 2018-07-12 3440浏览量
  • Uber首席系统架构师Matt Ranney:可伸缩的软件系统...

    但是我们可以了解Uber的调度系统,怎样实行地理空间索引,怎样规划他们的系统,怎样实行高利用率和怎样处理失败,包括令人惊讶的方式处理数据中心故障,使用驱动的手机作为恢复外部分布式存储系统。在Matt的报告中,...
    文章 2017-11-20 1717浏览量
  • Uber首席系统架构师Matt Ranney:可伸缩的软件系统...

    但是我们可以了解Uber的调度系统,怎样实行地理空间索引,怎样规划他们的系统,怎样实行高利用率和怎样处理失败,包括令人惊讶的方式处理数据中心故障,使用驱动的手机作为恢复外部分布式存储系统。在Matt的报告中,...
    文章 2016-03-17 3519浏览量
  • Kafka实战(四)-Kafka门派知多少

    Cloudera提供的CDH和Hortonworks提供的HDP是非常著名的大数据平台,里面集成了目前主流的大数据框架,能够帮助用户实现从分布式存储、集群调度、流处理到机器学习、实时数据库等全方位的数据处理创业公司在搭建...
    文章 2019-08-26 1937浏览量
  • 创业公司快速搭建立体化监控之路(WOT2016)

    本文内容:创业型公司如何快速搭建可扩展,可落地的立体化监控平台 一、需求缘起 创业型公司有系统监控么?来看两个case: case 1:CXO大群内贴了一张“用户微信投诉”的截图 (1)CXO大群内贴了一张“用户微信投诉...
    文章 2019-08-12 611浏览量
  • 为了提升DL模型性能,阿里工程师打造了流式编程框架

    任务调度管理:主要负责流水线上任务的调度管理工作(例如:将更资源调度给管道比较拥挤的任务、没有数据的时候进行休眠)。容灾恢复:当流水线在加工数据的过程中遇到异常退出的时候,创建新的进程继续工作,...
    文章 2019-02-01 2900浏览量
  • 数仓如何选择计算引擎?

    MPP(Massively Parallel Processing)是指处理器(或独立的计算机)并行处理一组协同计算。为了保证各节点的独立计算能力,MPP数据库通常采用ShareNothing架构。比较有代表性大家熟知的比如:GPDB、Vertica。...
    文章 2021-09-10 33浏览量
  • 如何轻松学习 Kubernetes?

    第一步我们可能会想到,研究一下 API Server 是怎么处理这个删除操作的,因为 API Server 就是集群的 管理入口。API Server 本身是一个应用,我们可以通过提升这个应用的日志级别,来深入理解它的操作流程。在这个...
    文章 2020-04-30 8477浏览量
  • PaaS容器集群优化之路

    监控子系统:在上面这个场景中不涉及,但可以从别的场景大致告警处理能力100条/秒 这里的业务场景:架构分析:子系统指标,这三者是m:1:n的,也就是说在不同场景下对不同的组件的性能要求不同,最后每个组件需要取...
    文章 2017-10-11 2288浏览量
  • Python网络爬虫2-scrapy爬虫架构介绍和初试

    下载中间件是位于Scrapy引擎和下载之间的钩子框架,主要是处理Scrapy引擎与下载之间的请求及响应。它提供了一个自定义的代码的方式来拓展 Scrapy的功能。下载中间是一个处理请求和响应的钩子框架。他是轻量级...
    文章 2014-02-16 1580浏览量
  • 如何轻松学习 Kubernetes?

    第一步我们可能会想到,研究一下 API Server 是怎么处理这个删除操作的,因为 API Server 就是集群的 管理入口。API Server 本身是一个应用,我们可以通过提升这个应用的日志级别,来深入理解它的操作流程。在这个...
    文章 2020-06-15 324浏览量
  • 【LC3开源峰会网络技术系列之三】基于JStorm的网络...

    还是从数据流的角度来看一下整个系统怎么处理的。最左边仍然是网络设备,它采集到的原始数据经过一些基本的ETL以及聚合之后变成了包含维度信息以及网络流量信息流数据,这份数据会被我们的一个被称为监控策略任务...
    文章 2018-07-04 2342浏览量
  • 脚本化HTTP 取得响应 指定请求

    举例:有个界面实时显示天气,它就订阅天气事件(注册到调度中心),当天气变化时定时获取数据,作为发布者到调度中心,调度中心调度订阅者的天气处理程序。总结,区别 一个为点对点,一个为中间有一个过渡的,仅此...
    文章 2018-08-15 1396浏览量
  • 如何轻松学习 Kubernetes?

    第一步我们可能会想到,研究一下 API Server 是怎么处理这个删除操作的,因为 API Server 就是集群的 管理入口。API Server 本身是一个应用,我们可以通过提升这个应用的日志级别,来深入理解它的操作流程。在这个...
    文章 2020-05-06 669浏览量
1 2 3 4 ... 7 >

云产品推荐

视频直播 大数据计算服务 MaxCompute 国内短信套餐包 ECS云服务器安全配置相关的云产品 开发者问答 阿里云建站 新零售智能客服 万网 小程序开发制作 视频内容分析 视频集锦 代理记账服务 阿里云AIoT 阿里云科技驱动中小企业数字化