任务和调度:理解批量处理的关键设计
本文讲的是任务和调度:理解批量处理的关键设计,维基百科给批量处理的定义是指在没有人工干预的情况下,由一个计算机程序基于一份批量的输入执行一系列的任务的一种处理模式。
在Kubernetes集群中通过LocalVolume Provisioner使用本地盘
介绍
阿里云在部分ECS类型中提供了本地盘配置,本地盘具有低时延、高随机IOPS、高吞吐量和高性价比的优势,在一些对性能要求很高的应用中有很大优势。
在Kubernetes系统中使用本地盘可以通过HostPath、LocalVolume等类型的PV使用:
HostPath: 卷本身不带有调度信息,如果想对每个pod固定在某个节点上,就需要对pod配置nodeSelector等调度信息;
LocalVolume: 卷本身包含了调度信息,使用这个卷的pod会被固定在特定的节点上,这样可以很好的保证数据的连续性。
Scrapy 架构及数据流图简介
Scrapy 是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘、信息处理或存储历史数据等一系列的程序中。本文着重介绍 Scrapy 架构及其组件之间的交互。
Scrapy 组件介绍
Scrapy Engine 引擎负责控制数据流在系统中所有组件中流动,并在相应动作发生时触发事件。
阿里云有个“怪”博士团队,竟用AI让1亿人吃上了热饭
面对全国1亿人“嗷嗷待哺”的胃,和百万外卖骑手每天多走的冤枉路。阿里云和饿了么打算用人工智能ET解决这一难题。但这么庞大的题,世界上恐怕还没有人解过。难题落到了人工智能团队身上。“怪”博士如何解决这一难题?
从零开始入门 K8s| 阿里技术专家详解 K8s 核心概念
作者| 阿里巴巴资深技术专家、CNCF 9个 TCO 之一 李响
一、什么是 Kubernetes
Kubernetes,从官方网站上可以看到,它是一个工业级的容器编排平台。Kubernetes 这个单词是希腊语,它的中文翻译是“舵手”或者“飞行员”。