Netflix 系统架构（下）-阿里云开发者社区

2. Cassandra (NoSQL)

Cassandra 是开源的、分布式的、基于列的 NoSQL 数据库，可以在服务器上存储大量数据。Netflix 使用 Cassandra 来存储用户历史。它可以有效处理大量读请求，并优化大量读请求的延迟。随着用户群的增长，存储多行数据变得越来越困难，而且成本高且速度慢。所以，Netflix 设计了基于时间框架和最近使用的新数据库。
当 Netflix 的用户越来越多时，每个用户的观看历史数据也开始增加。
更小的存储空间开销。
随着用户查看次数的增长而增长的一致性读写性能（在 Cassandra 中查看历史数据写读比约为 9:1）。

非规范化数据模型

超过 50 个 Cassandra 集群
超过 500 个节点
每天超过 30TB 的备份数据
最大集群有 72 个节点
每个集群超过 250K 每秒写操作
最初，观看历史记录存储在 Cassandra 的单行中。当 Netflix 的用户越来越多，行数和总体数据大小都增加了。这导致了更高的存储成本、更高的操作成本和更低的应用程序性能。解决方案是压缩旧的行…

LiveVH（实时观看历史记录）——只保存更新频繁的最近的数据，以未压缩的形式存储较少的行，可用于许多分析操作，比如在执行 ETL（提取，转换和加载）后对用户提供建议。
CompressedVH（压缩观看历史）——压缩后保存的用户浏览及观看历史旧数据，几乎不更新。存储大小也减少了，每行只存储一列。

数据库定义

API

使用 REST API

用户注册

请求：

POST /api/v1/users
X-API-Key: api_key
{
  name:
  email:
  password:
}

通过 HTTP POST 方法，在数据库中创建一个资源或新条目。X-API-Key 是传递给 HTTP 报头的 API key，用于识别不同的客户端并进行速率限制。

响应：

201 Created
{
  message:
}

HTTP 状态码 201 告诉用户已成功注册。用于失败情况的其他可能的 HTTP 状态码：

400 Bad Request
409 Conflict
500 Internal Server Error

用户登录

请求：

400 Bad Request
409 Conflict
500 Internal Server Error

响应：

200 OK
{ 
auth_token:
}

API 应该返回一个 auth_token，它可以在 header 中传递给需要认证的后续 API 调用。auth_token 可以使用 JWT^[3]生成。

用户登出

请求：

DELETE /api/v1/users/session
X-API-Key: api_key
Authorization: auth_token

使用 HTTP DELETE 方法删除数据库中的行条目，意味着我们正在终止一个会话。

响应：

200 OK

HTTP 状态码 200 表示成功登出。

请求：

POST /api/v1/subscription
X-API-Key: api_key
Authorization: auth_token

HTTP POST 方法创建一个新的订阅，在 Authorization 头中传递 auth-token 来验证用户。

响应：

201 Created
{
  subscription_id:
  plan_name:
  valid_till:
}

HTTP 状态码 201 与 subcription_id、plan_name 和 valid_till 一起在用户界面中呈现。

可能的 HTTP 失败状态码：

401 Unauthorized
400 Bad request

取消订阅

请求：

DELETE /api/v1/subscription
X-API-Key: api_key
Authorization: auth_token

HTTP DELETE 方法是可以取消订阅，该接口将从订阅数据库中删除一个行条目。

响应：

200 OK

HTTP 状态码 200 意味着成功完成。

批量获取视频

请求：

GET /api/v1/videos?page_id=<page_id>
X-API-Key: api_key
Authorization: auth_token

该 API 用于在登录后呈现主页，包含了由机器学习模型确定的推荐视频。page_id 用于 API 中的分页，next_page_id 用于从下一页请求结果。

响应：

200 OK
{
  page_id:
  next_page_id:
  videos: [
    {
      id:
      title:
      summary:
      url:
      watched_till:
    },...
  ]
}

HTTP 状态码 200 表示操作成功。

其他故障状态码：

401 Unauthorized
500 Bad request
429 Too many requests

HTTP 状态码 429 意味着用户达到速率限制，需要等待一段时间才能再次发出请求，以避免拒绝服务攻击。

搜索 API

请求：

GET /api/v1/search?q=<query>&page_id=<page_id>
X-API-Key: api_key
Authorization: auth_token

通过标题搜索视频。

响应：

200 OK
{
  page_id:
  next_page_id:
  videos: [
    {
      id:
      title:
      summary:
      url:
      watched_till:
    },...
  ]
}

HTTP 状态码 200 表示操作成功，响应中包括了 id、title、summary、url 和 watched_till 等信息，不过也有可能找不到相关视频。

获取视频

请求：

GET /api/v1/videos/:video_id
X-API-Key: api_key
Authorization: auth_token

播放特定视频。

响应：

200 OK{  
id: 
title: 
summary:
url:  
watched_till:
}

HTTP 状态码 200 表示匹配到了视频。

其他故障状态码：

401 Unauthorized
404 Video not found
429 Too many requests
500 Internal server error

上传 API

请求：

POST /api/v1/videos
X-API-Key: api_key
Authorization: auth_token
{
  title:
  summary:
  censor_rating:
  video_contents:
}

从后台上传视频。

响应：

202 Accepted
{ 
video_url:
}

HTTP 状态代码 202 表示视频已经排队进行异步处理和质量检查，处理结果可以通过电子邮件或其他告警机制发送给用户。

一些 HTTP 失败的场景：

401 Unauthorize
d400 Bad request
500 Internal server error

更新观看时间戳

请求：

PUT /api/v1/videos/:video_id/watched_till
X-API-Key: api_key
Authorization: auth_token
{
  watched_till:
}

之所以使用 HTTP PUT 方法，是因为我们需要用其他数据替换同一个数据库表中的行条目，或者我们需要更新服务器上的资源。这个 API 将用于更新时间戳，直到用户看完了特定的视频。

响应：

200 OK

HTTP 状态码 200 表示操作成功。

其他 HTTP 失败状态码：

401 Unauthorized
400 Bad request
500 Internal server error

微服务架构

由于服务中的任何更改都可以很容易完成，因此微服务可以更快的完成部署。可以跟踪每个服务的性能，如果有任何问题，则可以快速将其与其他正在运行的服务隔离开来。

关键服务——为经常与该服务交互的用户提供服务。这些服务独立于其他服务，以便在进行任何故障转移时，用户可以继续执行基本操作。
无状态服务——向客户端提供 API 请求，即使有任何服务器出现故障，也可以继续与其他实例一起工作，从而确保高可用性。例如，REST API 服务为最多的用户提供服务。

上传内容

上传的内容是视频格式的电影或剧集，处理单元包括了输入协议、输入编解码器、输出编解码器和输出协议，以服务于各种设备和不同的网络速度。当我们在高速网络上观看视频时，视频的质量很好。Netflix 为同一部电影创建不同分辨率的多个副本（大约 1100-1200 个）。Netflix 将原始视频分成不同的小块，并在 AWS 中使用并行工作单元将这些小块转换成不同的格式。这些处理单元用于编码或转码，即将视频从一种格式转换为另一种格式，如改变分辨率，高宽比，减少文件大小等。在转码之后，一旦我们拥有同一电影的多个文件副本，这些文件就被传输到 Open connect 服务器。

系统架构概要设计

数据架构

电影推荐

电影推荐使用 Apache Spark 和机器学习。当载入所观看的首页时，会有好几行不同类型的电影。
Netflix 希望用户最大限度的点击视频，而这些点击取决于标题图像。Netflix 必须为特定的视频选择正确的引人注目的标题图像。为了做到这一点，Netflix 为一部特定的电影创建了多个艺术作品，并随机向用户展示这些图像。对于同一部电影，不同的用户可以使用不同的图像。根据用户的喜好和观看历史，Netflix 会预测用户最喜欢哪类电影，或者最喜欢哪位演员。Netflix 将根据用户的口味，显示合适的图像。
Netflix 会分析数据，从而决定应该向用户展示什么样的电影，这是基于用户的历史数据和偏好计算的。此外，Netflix 还会对电影进行排序，并计算这些电影在其平台上的相关性排名。大多数机器学习流水线都运行在这些大型 Spark 集群上，然后使用这些流水线进行选择、排序、标题相关性排名和艺术品个性化等操作。当用户打开 Netflix 的首页时，用户就会被每个视频显式的图像所吸引。
现在，Netflix 还会计算特定图像被点击的次数。如果电影的中心图像的点击量是 1500 次，而其他图像的点击量更少，那么 Netflix 就会让中心图像永远作为电影《心灵捕手》的标题图像。这被称为数据驱动，Netflix 用这种方法执行数据分析。为了做出正确的决策，需要根据与每张图片关联的访问数量计算数据。
用户与服务的交互（观看历史记录以及评价）。
有相似品味和喜好的其他用户。
用户先前观看的视频的元数据信息，如标题、类型、类别、演员、发行年份等。
用户的设备、活跃时间以及活跃时长。
两种类型的算法：