云栖社区Java、Redis、MongoDB运营小编,有意合作请联系钉钉:15810436147
在使用阿里云实时计算 Flink前,对流式数据处理整体全链路有初步的认识可以极大方便您梳理业务流程,制定相应的系统设计方案。下面将简单介绍阿里云实时计算全流程系统架构。 数据采集 广义的实时数据采集指: 用户使用流式数据采集工具将数据实时地采集并传输到大数据Pub/Sub系统,该系统将为下游实时计算提供源源不断的事件源去触发流式计算作业的运行。
本页目录 自动续费自动续费 为了方便您的使用实时计算 Flink,实时计算共享模式推出了自动续费的功能。通过以下步骤,您可以为集群开启,关闭或者修改自动续费的功能。 进入阿里云控制台。选择续费。进入续费管理,选择流计算。
续费 续费是指购买当前项目到期后项目增加的时长。续费时长单位为月或年,最小续费时长为一个月。 续费步骤 在项目总览里点击项目管理。点击项目续费。选择需要续费的时长,系统会根据计算资源以及续费时长为您计算应付款,如下图。
本页目录 计量 计费 计量 实时计算的基本计量单位为CU(Compute Unit),即计算资源。CU对应于实时计算底层系统是CPU的计算能力。实时计算底层使用虚拟化技术进行资源隔离,保证一个基本的CU消费且最大消费仅能为一个CPU的计算能力。
说明: 本章节内容仅适用于公共云的用户开通情况。 实时计算 Flink购买流程 登录阿里云账号 购买实时计算 Flink产品 新用户首月1元购的活动正在进行,新用户购买界面如下图。 老用户购买界面如下图。
时间 特征 类别 描述 使用客户 产品文档 2018.10.26 DDL语句 创建ES结果表 新功能 新增创建ES结果表的说明 所有 创建ElasticSearch(ES)结果表 2018.10.25 查看AccessID、AccessKey信息 新增文档 查看AccessID、AccessKey信息说明 所有 如何查看AccessID、AccessKey信息 2018.10.23 实时计算Flink 共享模式自动续费 新功能 新增实时计算Flink 共享模式下,对是实例的自动续费功能的开启、修改以及关闭。
公告标题:版本发布 公告时间 2018-05-29 16:00:00 公告内容 实时计算 Flink为了给用户带来更好的开发交互体验,将于明日19:00上线新版本。 更新内容如下。 总览 New Feature Job overview 页面增加SQL物理执行计划展示。
正式商用阶段 实时计算 Flink如何购买请参考产品购买一节。 正式商用阶段 实时计算 Flink支持华东、华北、华南地域,用户可以根据自己的所在区域进行购买。 正式商用阶段 实时计算 Flink当前在我们内部压测场景下,一个实时计算CU的处理能力可以理解为,在简单的流式处理(过滤、清洗)场景下为1000条/s。
阿里云提醒您在阅读或使用本文档之前仔细阅读、充分理解本法律声明各条款的内容。如果您阅读或使用本文档的,您的阅读或使用行为将被视为对本声明全部内容的认可。 您应当通过阿里云网站或阿里云提供的其他授权通道下载、获取本文档,且仅能用于自身的合法合规的业务活动。
文档主旨 本用户指南主要针对阿里云实时计算 Flink开发及使用所应包含的内容做统一的文档说明。由于实际情况千变万化,本规定很难一次做到面面俱到,需要逐步完善。阿里云实时计算 Flink使用指南为您进行流数据开发的使用提供指导。
起源:脱胎于双十一实时大屏业务 实时计算 Flink脱胎于阿里巴巴集团内部双十一实时大屏业务,在阿里巴巴集团内部从最开始支持双十一大屏展现和部分实时报表业务的实时数据业务团队,历经多年的长期摸索和发展,到最终成长一个独立稳定的云计算产品团队。
实时计算 Flink使用Flink SQL,主打流式数据分析场景。目前在如下领域有使用场景。 实时ETL 集成流计算现有的诸多数据通道和SQL灵活的加工能力,对流式数据进行实时清洗、归并、结构化处理。
产品模型 项目空间(Project) 项目空间是实时计算 Flink最基本的业务组织单元,是您管理集群、作业、资源、人员的基本单元。您可以选择创建项目,也可以用子账号身份加入其它Project中。实时计算的项目空间,通过阿里云RAM主子账号支持多人协作。
实时计算 Flink支持整体全链路实时计算的安全。 账号安全 账号安全分为实时计算账号安全以及数据存储账号安全,下面分别阐述。 实时计算账号安全 实时计算账号当前仅支持阿里云账号体系(包括登录用户名+密码或签名密钥)。
实时计算 Flink提供Flink SQL,协助您简单轻松完成流式计算逻辑的处理。实时计算 Flink提供的全功能的UDF函数,能够帮助您完成定制化业务的数据处理逻辑。在流数据分析领域,Flink SQL和UDF能够完成大部分流式数据分析处理逻辑。
产品特点 相较于其他流计算产品,阿里云实时计算提供极具竞争力的产品优势。您可以充分利用实时计算提供的产品优势,方便快捷的解决自身业务实时化大数据分析的问题。 强大的实时处理能力 不同于其他开源流计算中间件只提供粗陋的计算框架,大量的流计算细节需要业务人员重新实现。
本文内容如下: 引入Flink的背景 Flink集群的构建过程 构建流式管理平台 引入Flink的背景# 下面这幅图展示的是字节跳动公司的业务场景 首先,应用层有广告,也有AB测,也有推送和数据仓库的一些业务。
本文来自7月26日在上海举行的 Flink Meetup 会议,分享来自于刘康,目前在大数据平台部从事模型生命周期相关平台开发,现在主要负责基于flink开发实时模型特征计算平台。熟悉分布式计算,在模型部署及运维方面有丰富实战经验和深入的理解,对模型的算法及训练有一定的了解。
34.3. 客户端接口 34.3.1. 创建一个大对象 34.3.2. 导入一个大对象 34.3.3. 导出一个大对象 34.3.4. 打开一个现有的大对象 34.3.5. 向一个大对象写入数据 34.3.6. 从一个大对象读取数据 34.3.7. 在一个大对象中查找 34.3.8. 获取一个大对象的查找位置 34.3.9. 截断一个大对象 34.3.10. 关闭一个大对象描述符 34.3.11. 移除一个大对象 本节描述PostgreSQL的libpq客户端接口为访问大对象所提供的功能。
34.2. 实现特性 大对象的实现将大对象分解成很多“数据块”并且将这些数据块存储在数据库的行中。一个B-tree索引用来保证在进行随机访问读写时能够根据数据块号快速地搜索到正确的数据块。 为一个大对象存储的数据块并不需要是连续的。
介绍PostgreSQL也支持一种称为“TOAST”的存储系统。
第 33 章 libpq - C 库 目录 33.1. 数据库连接控制函数 33.1.1. 连接字符串 33.1.2. 参数关键词 33.2. 连接状态函数 33.3. 命令执行函数 33.3.
33.21. 例子程序 这些例子和其他例子可以在源代码发布的src/test/examples目录中找到。 例 33.1. libpq 例子程序 1 /* * testlibpq.c * * 测试 libpq(PostgreSQL 前端库) 的 C 版本。
33.20. 编译 libpq 程序 要编译(即编译并且链接)一个使用libpq的程序,你需要做下列所有的事情: 包括libpq-fe.h头文件: #include <libpq-fe.h> 如果你无法这样做,那么你通常会从你的编译器得到像这样的错误消息: foo.
33.19. 在线程化程序中的行为 libpq默认是可再入的并且是线程安全的。你可能需要使用特殊的编译器命令行选项来编译你的应用代码。参考你的系统文档来了解如何编译启用线程的应用,或者在src/Makefile.global中查找PTHREAD_CFLAGS和PTHREAD_LIBS。
33.18. SSL 支持 33.18.1. 服务器证书的客户端验证 33.18.2. 客户端证书 33.18.3. 不同模式中提供的保护 33.18.4. SSL 客户端文件使用 33.18.5. SSL 库初始化 PostgreSQL本地支持使用SSL 连接加密客户端/服务器通信以提高安全性。
33.17. 连接参数的 LDAP 查找 如果libpq已经在编译时打开了 LDAP 支持(configure的选项--with-ldap),就可以通过 LDAP 从一个中央服务器检索host或dbname之类的连接参数。
33.16. 连接服务文件 连接服务文件允许 libpq 连接参数与一个单一服务名称关联。那个服务名称可以被一个 libpq 连接指定,与其相关的设置将被使用。这允许在不重新编译 libpq 应用的前提下修改连接参数。
33.15. 口令文件 一个用户主目录中的.pgpass文件可能包含在连接需要时使用的口令(并且其他情况不会指定口令)。在微软的 Windows 上该文件被命名为%APPDATA%\postgresql\pgpass.conf(其中%APPDATA%指的是用户配置中的应用数据子目录)。
33.14. 环境变量 下列环境变量能被用于选择默认的连接参数值,如果调用代码没有直接指定值,它们将被用于PQconnectdb、PQsetdbLogin和PQsetdb。例如,这些有助于防止数据库连接信息被硬编码到简单的客户端应用中。
33.13. 事件系统 33.13.1. 事件类型 33.13.2. 事件回调函数 33.13.3. 事件支持函数 33.13.4. 事件实例 libpq的事件系统被设计为通知已注册的事件处理器它感兴趣的libpq事件,例如PGconn以及PGresult对象的创建和毁灭。
33.12. 通知处理 服务器产生的通知和警告消息不会被查询执行函数返回,因为它们不代表查询失败。它们可以被传递给一个通知处理函数,并且在处理者返回后执行会继续正常进行。默认的处理函数会把消息打印在stderr上,但是应用可以通过提供它自己的处理函数来重载这种行为。
33.11. 杂项函数 一如往常,总有一些函数不适合放在任何其他地方。 PQfreemem 释放libpq分配的内存。 void PQfreemem(void *ptr); 释放libpq分配的内存,尤其是PQescapeByteaConn、PQescapeBytea、PQunescapeBytea和PQnotifies分配的内存。
33.10. 控制函数 这些函数控制libpq行为各种各样的细节。 PQclientEncoding 返回客户端编码。 int PQclientEncoding(const PGconn *conn); 请注意,它返回的是编码 ID,而不是一个符号串字符串,如EUC_JP。
33.9. COPY命令相关的函数 33.9.1. 用于发送COPY数据的函数 33.9.2. 用于接收COPY数据的函数 33.9.3. 用于COPY的废弃函数 PostgreSQL中的COPY命令有用于libpq的对网络连接读出或者写入的选项。
33.8. 异步提示 PostgreSQL通过LISTEN和NOTIFY命令提供了异步通知。一个客户端会话用LISTEN命令在一个特定的通知频道中注册它感兴趣的通知(也可以用UNLISTEN命令停止监听)。
33.7. 快速路径接口 PostgreSQL提供一种快速路径接口来向服务器发送简单的函数调用。 提示 这个接口在某种程度上已被废弃,因为我们可以通过创建一个定义该函数调用的预备语句来达到类似或者更强大的功能。
33.6. 取消进行中的查询 一个客户端应用可以使用本节描述的函数请求取消一个仍在被服务器处理的命令。 PQgetCancel 创建一个数据结构,这个数据结构包含取消一个通过特定数据库连接发出的命令所需要的信息。
33.5. 一行一行地检索查询结果 通常,libpq会收集一个 SQL 命令的整个结果并且把它作为单个PGresult返回给应用。这对于返回大量行的命令是行不通的。对于这类情况,应用可以使用PQsendQuery和PQgetResult的单行模式。
33.4. 异步命令处理 PQexec函数对于在普通的同步应用中提交命令是足以胜任的。不过,它的一些缺点可能对某些用户很重要: PQexec会等待命令完成。该应用可能有其他的工作要做(例如维护用户界面),这时它将不希望阻塞等待回应。
33.3. 命令执行函数 33.3.1. 主要函数 33.3.2. 检索查询结果信息 33.3.3. 检索其他结果信息 33.3.4. 用于包含在 SQL 命令中的转移字符串 一旦到一个数据库服务器的连接被成功建立,这里描述的函数可以被用来执行 SQL 查询和命令。
33.2. 连接状态函数 这些函数可以被用来询问一个已有数据库连接对象的状态。 提示 libpq应用程序员应该小心地维护PGconn抽象。使用下面描述的访问函数来理解PGconn的内容。我们不推荐使用libpq-int.h引用内部的PGconn域,因为它们可能在未来改变。
33.1. 数据库连接控制函数 33.1.1. 连接字符串 33.1.2. 参数关键词 下列函数会建立到一个PostgreSQL后端服务器的连接。一个应用程序可以在一个时刻打开多个后端连接(原因之一就是为了访问多个数据库)。
部分 III. 服务器管理 这部份覆盖了PostgreSQL数据库管理员感兴趣的主题。包括软件安装、搭建和配置一个服务器、管理用户和数据库以及维护任务。任何想要运行一个PostgreSQL服务器的人(即使是用于个人用途而不是生产环境),应该熟悉这一部分覆盖的主题。
第 32 章 回归测试 目录 32.1. 运行测试 32.1.1. 在一个临时安装上运行测试 32.1.2. 在一个现有安装上运行测试 32.1.3. 附加测试套件 32.1.4. 区域和编码 32.