301 Moved Permanently

301 Moved Permanently


Powered by Tengine
tengine
  • 关于 自定义时间显示格式 的搜索结果

问题

PublicCMS,关于内容扩展字段中日期的格式显示问题。:报错

kun坤 2020-06-09 22:16:01 0 浏览量 回答数 1

回答

感谢大家积极回答! 目前的解决办法 数据库类型 设置 timestamp类型的length=0 页面输入 2013-02-1408:20改成输入 2013-02-1408:20:00 就可以使用getModel()方法了. postgres什么时间类型才没有.小数秒(毫微秒)      哈哈我说的输入其实就是一个日期控件选择日期,因为需要给用户修改日期。下面是sql:CREATETABLE"public"."tb_aaa"(IDSERIALnotnullPRIMARYKEY,birthdaytimestamp(0))其实一般来说timestamp这类数据一般是数据库直接生成或者java代码生成,而非前端表单输入修改数据库字段定义为timestmp(0)就只显示并精确到秒  想快速解决问题,改一下com.jfinal.core. TypeConverter.java文件中第28行,改成你想要的格式即可,jfinal考虑将来可以设置这个参数 timestamp本来默认格式就是  yyyy-mm-ddhh:mm:ss.fff timestamp(0)withouttimezone不会显示毫秒 至于你不想显示秒看postgreSQL的api 引用来自“JFinal”的答案   想快速解决问题,改一下com.jfinal.core. TypeConverter.java文件中第28行,改成你想要的格式即可,jfinal考虑将来可以设置这个参数 引用来自“JFinal”的答案   想快速解决问题,改一下com.jfinal.core. TypeConverter.java文件中第28行,改成你想要的格式即可,jfinal考虑将来可以设置这个参数 引用来自“本人纯属虚构”的答案 timestamp本来默认格式就是  yyyy-mm-ddhh:mm:ss.fff timestamp(0)withouttimezone不会显示毫秒 至于你不想显示秒看postgreSQL的api @pandyyan正解,自定义格式,表单中不要modelName,用getPara()方式获取再转换

爱吃鱼的程序员 2020-06-22 19:28:08 0 浏览量 回答数 0

问题

怎样导出ECS自定义镜像

boxti 2019-12-01 21:42:05 1814 浏览量 回答数 0

问题

使用向导创建实例

chenchuan 2019-12-01 21:37:01 679 浏览量 回答数 0

问题

使用向导创建实例

chenchuan 2019-12-01 21:33:59 502 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:28 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:28 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:27 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:27 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:27 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:28 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:27 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 本文只介绍如何创建一个实例。如果您想用自己的系统盘快照创建自定义镜像,并用这个自定义镜像创建实例,请参见文档:使用自定义镜像创建实例。 前提条件 在创建ECS实例前,您需要完成以下工作: 注册阿里云账号,并完成实名认证。 如果要购买按量付费实例,账户余额不能少于100元人民币。关于充值,请参见 财务文档 如何充值付款。 如果要创建专有网络(VPC)ECS实例,需要在目标地域 创建一个专有网络和交换机。 如果不使用系统自动创建的默认安全组,需要在目标地域 创建一个安全组 并 添加能满足您业务需求的安全组规则。默认安全组规则的详细信息,请参见 默认安全组规则。 如果创建Linux实例时需要绑定SSH密钥对,需要在目标地域 创建一个SSH密钥对。 如果要设置自定义数据,需要准备 实例自定义数据。 如果要让实例扮演某个角色,需要 创建实例RAM角色,并授予角色相应的权限。 如果您是企业用户,可以 申请资源管理服务的公测资格。 操作步骤 登录 云服务器ECS管理控制台。 在左侧导航栏里,单击 实例。 在 实例列表 页面上,单击 创建实例,进入 创建 页面。 完成 基础配置: 选择 付费方式:包年包月、按量付费 或者 抢占式实例。 说明 如果要创建按周付费的实例,必须选择 包年包月,并将页面底部的 购买周期 设置为 1周。不同付费方式的区别,请参见 创建抢占式实例。 如果要创建抢占式实例,请参见 创建抢占式实例。 选择地域和可用区。系统默认随机分配可用区,您可以选择适用的可用区。如何选择地域和可用区,请参见 地域和可用区。 说明 实例创建完成后,不可更改地域和可用区。 部分实例规格族并不是全地域提供。详细信息,请参见 创建GPU计算型实例、创建f1实例、创建f2实例、创建超级计算集群 SCC 实例 和 创建弹性裸金属服务器。 选择实例规格并设置实例数量:可供选择的实例规格由您所选择的地域决定。不同实例规格适用的应用场景,请参见 实例规格族。 说明 每个账号有限定的按量付费实例或抢占式实例配额。以页面上显示的信息为准。 如果您要创建抢占式实例,必须在这一步骤里设置单台实例规格的价格上限。 如果您使用弹性网卡,企业级实例规格族必须选择不少于2 vCPU核的实例规格,入门级实例规格族必须选择不少于4 vCPU核的实例规格。各种实例规格支持的弹性网卡数量,请参见 实例规格族。 如果您要使用SSD云盘作为存储设备,请选择I/O优化实例。 选择镜像。您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详细信息请参见 实例自定义数据。 选择存储: 系统盘:必选项,用于安装操作系统。指定系统盘的云盘类型和容量: 云盘类型:地域不同会影响可供选择的云盘类型。 容量:系统盘默认容量为40 GiB,最大为500 GiB。如果选择的镜像文件大于40 GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 镜像 系统盘容量范围 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500] GiB其中,公共镜像中,Ubuntu 14.04 32位、Ubuntu 16.04 32位和CentOS 6.8 32位的镜像文件容量为40 GiB CoreOS [max{30, 镜像文件大小}, 500] GiB Windows [max{40, 镜像文件大小}, 500] GiB 数据盘:可选项。如果在此时创建云盘作为数据盘,必须选择云盘类型、容量、数量,并设置是否 加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i1、d1、d1ne等),这里会显示实例规格对应的本地盘信息,不可配置。各种本地盘实例规格对应的本地盘信息,请参见 实例规格族。 单击 下一步:网络和安全组,完成网络和安全组设置: 选择网络类型: 专有网络:必须选择专有网络和交换机。如果您没有创建专有网络和交换机,可以选择默认专有网络和默认交换机。 经典网络:如果您是在2017年6月14日17:00(UTC+8)以后第一次购买ECS实例,不能再选择经典网络。 设置公网带宽: 如果需要为实例分配一个公网IP地址,必须选中 分配公网IP地址,选择 按使用流量 或 按固定带宽 计费公网带宽,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见 公网带宽计费 。 如果您的实例不需要访问公网或者您的VPC类型ECS实例 使用弹性公网IP(EIP)地址访问公网,您不需要分配公网IP地址。EIP地址随时能与实例解绑。 选择安全组。如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见 安全组默认规则。 添加弹性网卡。如果所选实例规格支持弹性网卡,可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以 在ECS控制台 或者使用 DetachNetworkInterface 接口分离实例和网卡。 (可选)单击 下一步:系统配置,完成系统配置项: 选择并设置登录凭证。您可以选择 创建后设置,也可以当前直接设置。根据镜像选择不同的登录凭证: Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称以及显示在操作系统内部的计算机名。 设置高级选项: 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例启动行为或向实例传入数据。 (可选)单击 下一步:分组设置,完成实例分组管理:如果您有多台实例,为了方便管理,建议您为实例添加标签;如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,可以按资源组管理实例。 确认订单: 在 所选配置 部分,确认配置信息。您可以单击 编辑图标重新编辑配置。 (可选)如果计费方式为 按量付费,可以 设置自动释放服务时间。 (可选)如果计费方式为 包年包月,可以设置购买时长,并选择是否开启 自动续费。 确认配置费用。实例和公网带宽的计费方式决定了显示的费用信息,如下表所示。 实例计费方式 公网带宽计费方式 费用估算 按量付费或抢占式实例 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU 和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 包年包月 按固定带宽 配置费用,包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)、本地盘(如果有)和公网带宽的费用。 按使用流量 公网流量费用 + 配置费用。其中,配置费用包括:实例规格(CPU和内存的配置)、系统盘、数据盘(如果有)和本地盘(如果有)的费用。 阅读并确认 云服务器ECS服务条款。 单击 创建实例。 执行结果 实例开通后,单击 管理控制台 回到ECS管理控制台查看新建的ECS实例。在相应地域的 实例列表 里,您能查看新建实例的实例名称、公网IP地址、内网IP地址或私网IP等信息。 下一步 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见 使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见 安全公告和技术 手册中的 Linux操作系统加固。 Windows实例,请参见 安全公告和技术 手册中的 Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见 Linux 格式化和挂载数据盘 或 Windows 格式化数据盘。

2019-12-01 22:57:27 0 浏览量 回答数 0

问题

投递日志到MaxCompute有什么意义?

轩墨 2019-12-01 21:57:02 1275 浏览量 回答数 0

问题

log4j 配置祥解:报错

kun坤 2020-06-14 15:04:10 0 浏览量 回答数 1

回答

AliyunProperties 属性类型 名称 类型 描述 Format AliyunFormatInfo 格式信息。 Streams AliyunStreamsInfo 流信息。 AliyunFormatInfo 格式信息类型 名称 类型 描述 NumStreams String 媒体流总数。 NumPrograms String 节目流总数。 FormatName String 容器、封装格式简述名。 FormatLongName String 容器、封装格式长述名 StartTime String 起始时间。 Duration String 总时长。 Size String 文件大小。 Bitrate String 总码率。 AliyunStreamsInfo 流信息类型 名称 类型 描述 VideoStreamList AliyunVideoStream[] 视频流列表。 AudioStreamList AliyunAudioStream[] 音频流列表。 SubtitleStreamList AliyunSubtitleStream[] 字幕流列表。 AliyunVideoStream 视频流信息类型 名称 类型 描述 Index String 视频流序号,标识视频流在整个媒体流中的位置。 CodecName String 编码格式简述名。 CodecLongName String 编码格式长述名。 Profile String 编码预置。 CodecTimeBase String 编码时基。 CodecTagString String 编码格式标记文本。 CodecTag String 编码格式标记。 Width String 视频分辨率宽,数字。 Height String 视频分辨率长。 HasBFrames String 是否有B帧。 Sar String 编码信号分辨率比。 Dar String 编码显示分辨率比。 PixFmt String 像素格式。 Level String 编码等级。 Fps String 帧率,数字。 AvgFPS String 平均帧率。 Timebase String 时基。 StartTime String 起始时间。 Duration String 时长。 Bitrate String 码率。 NumFrames String 总帧数。 Lang String 语言。 参考FFmpeg语言定义,ISO-639 Rotate String 视频旋转角度。 AliyunAudioStream 音频流信息类型 名称 类型 描述 Index String 音频流序号,标识音频流在整个媒体流中的位置。 CodecName String 编码格式简述名。 CodecLongName String 编码格式长述名。 CodecTimeBase String 编码时基。 CodecTagString String 编码格式标记文本。 CodecTag String 编码格式标记。 SampleFmt String 采样格式。 Samplerate String 采样率。 Channels String 声道数。 ChannelLayout String 声道输出样式。 Timebase String 时基。 StartTime String 起始时间。 Duration String 时长。 Bitrate String 码率。 NumFrames String 总帧数。 Lang String 语言。 参考FFmpeg语言定义,ISO-639 AliyunSubtitleStream 字幕流信息类型 名称 类型 描述 Index String 字幕流序号,标识字幕流在整个媒体流中的位置。 Lang String 语言。 参考FFmpeg语言定义,ISO-639 AliyunTemplate 转码模板类型 名称 类型 描述 Id String 转码模板ID。 Name String 模板名称。 Container AliyunContainer 容器。 Audio AliyunAudioCodec 音频编解码配置。 Video AliyunVideoCodec 视频编解码配置。 TransConfig AliyunTransConfig 转码通用配置。 MuxConfig AliyunMuxConfig 转码封包配置。 State String 模板的状态,分为Normal、Deleted。 AliyunContainer 容器类型 名称 类型 描述 Format String 容器格式。 可选范围flv、mp4、ts、m3u8、gif、mp3、ogg、flac AliyunAudioCodec 音频编解码配置类型 名称 类型 描述 Codec String 音频编解码格式。 支持aac、mp3、vorbis、flac, 默认值:aac Profile String 音频编码预置。 当Codec为aac时可以设置如下范围中的值:aac_low、aac_he、aac_he_v2、aac_ld、aac_eld Samplerate String 采样率。 支持22050、32000、44100、48000、96000, 单位:Hz 默认值:44100 Bitrate String 输出文件的音频码率。 取值范围:[8,1000] 单位:Kbps 默认值:128 Channels String 声道数。 支持1、2、3、4、5、6、7、8 默认值:2 AliyunVideoCodec 视频编解码配置类型 名称 类型 描述 Codec String 编解码格式。 支持H.264、H.265 默认值:H.264 Profile String 编码级别。 支持baseline、main、high。 baseline:针对移动设备, main:针对标准分辨率设备, high:针对高分辨率设备, 默认值:high Bitrate String 视频平均码率。 取值范围:[10,50000] 单位:Kbps Crf String 码率-质量控制因子。 取值范围:[0,51] 默认值:26 如果设置了Crf,则Bitrate的设置失效。 Width String 宽。 取值范围:[128,4096] 单位:px 默认值:视频原始宽度 Height String 高。 取值范围:[128,4096] 单位:px 默认值:视频原始高度 Fps String 帧率。 取值范围:(0,60] 当输入文件帧率超过60时取60 默认值:取输入文件帧率。 Gop String 关键帧间最大帧数。 取值范围:[1,1080000] 默认值:250 Preset String 视频算法器预置。 支持veryfast、fast、medium、slow、slower 默认值:medium ScanMode String 扫描模式。 支持interlaced、progressive Bufsize String 缓冲区大小。 取值范围:[1000,128000] 单位:Kb 默认值:6000 Maxrate String 视频码率峰值。 取值范围:[10,50000] 单位:Kbps BitrateBnd AliyunBitrateBnd 视频平均码率范围。 PixFmt String 视频颜色格式。 范围:yuv420p,yuvj420p等标准颜色格式 AliyunTransConfig 转码通用配置类型 名称 类型 描述 TransMode String 转码模式。 可选范围onepass、twopass、CBR 默认值:onepass AliyunBitrateBnd 平均码率范围 名称 类型 描述 Max String 总码率上限, 取值范围:[10,50000] 单位:Kbps Min String 总码率下限。 取值范围:[10,50000] 单位:Kbps AliyunOSSFile OSS文件类型 名称 类型 描述 Bucket String OSS的Bucket。 3~63字节。 Location String OSS的服务区域。 最大64字节。 Object String OSS的Object。 最大1024字节。 AliyunJob 作业 名称 类型 描述 JobId String 任务ID。 Input AliyunJobInput 作业输入。 Output AliyunOutput 作业输出。 State String 作业状态: Submitted表示作业已提交, Transcoding表示转码中, TranscodeSuccess表示转码成功, TranscodeFail表示转码失败, TranscodeCancelled表示转码取消。 Code String 转码失败时的错误码。 Message String 转码失败时的消息。 Percent String 转码进度。 取值范围:[0,100] UserData String 用户自定义数据。 PipelineId String 管道ID。 CreationTime String 作业添加时间。 MNSMessageResult AliyunMNSMessageResult MNS通知用户作业完成的消息结果。 AliyunJobInput 转码作业输入类型 名称 类型 描述 Bucket String 作业输入OSS的Bucket。 3~63字节。 Location String 作业输入OSS的服务区域。 最大64字节。 Object String 作业输入OSS的Object。 最大1024字节。 Audio AliyunInputAudio 转码源媒体音频配置。 Container AliyunInputContainer 转码源媒体容器配置。 AliyunInputContainer 源媒体容器配置类型。 说明 当输入文件为ADPCM、PCM格式时此参数为必填项。 名称 类型 描述 Format String 源媒体音频格式。 取值:alaw、 f32be、f32le、f64be、f64le、mulaw、s16be、s16le、s24be、s24le、s32be、s32le、s8、u16be、u16le、u24be、u24le、u32be、u32le、u8 AliyunInputAudio 源媒体音频配置类型。 说明 当输入文件为ADPCM、PCM格式时此参数为必填项。 名称 类型 描述 Channels String 源媒体音频声道数。 取值范围:[1,8] Samplerate String 源媒体音频采样率。 取值范围:[0,320000] 单位:Hz AliyunOutput 作业输出类型 名称 类型 描述 OutputFile AliyunOSSFile 输出文件。 TemplateId String 模板ID。 WaterMarkList AliyunWaterMark[ ] 水印列表。 Clip AliyunClip 剪辑片段。 Rotate String 视频旋转角度。 取值范围:[0,360) Properties AliyunProperties 媒体属性。 Priority String 任务在其对应管道内的优先级。 取值范围:[1, 10] 最高优先级:10 默认值:6 Container AliyunContainer 容器。 指定则替换TemplateId所指定模版的AliyunContainer设置。 Video AliyunVideoCodec 视频配置。 指定则替换TemplateId所指定模版的AliyunVideoCodec设置。 Audio AliyunAudioCodec 音频配置。 指定则替换TemplateId所指定模版的AliyunAudioCodec设置。 TransConfig AliyunTransConfig 转码通用配置。 指定则替换TemplateId所指定模版的AliyunTransConfig设置。 MuxConfig AliyunMuxConfig 转码封包配置。 指定则替换TemplateId所指定模版的AliyunMuxConfig设置。 UserData String 用户自定义数据。 AliyunClip 剪辑类型 名称 类型 描述 TimeSpan AliyunTimeSpan 剪辑时间段 AliyunTimeSpan 剪辑时间段类型 名称 类型 描述 Seek String 开始时间。 Duration String 延续时间。 End String 截尾时间。 如5.23,表示尾部的5.23秒会被截掉。 设置此参数会导致Duration参数失效。 AliyunMuxConfig 封包配置类型 名称 类型 描述 Segment AliyunSegment 切片配置。 AliyunSegment 切片配置类型 名称 类型 描述 Duration String 分片时长。 取值范围:[1,60] 单位:秒 AliyunJobResult 提交作业结果类型 名称 类型 描述 Success String 是否成功。 取值为true或者false。 Code String 创建作业失败时错误码。 Message String 创建作业失败时错误消息。 Job AliyunJob 作业。 如果提交失败则不会生成作业ID。 AliyunWaterMark 作业输出类型 名称 类型 描述 InputFile AliyunOSSFile 水印输入文件。 WaterMarkTemplateId String 水印模板ID。 AliyunWaterMarkTemplate 水印模板类型 名称 类型 描述 Id String 水印模板ID。 Name String 水印模板名称。 Width Number 宽。 取值范围:[8,4096] 单位:px Height Number 高。 取值范围:[8,4096] 单位:px Dx Number 水平偏移量。 取值范围:[-4096,4096] 单位:px Dy Number 垂直偏移量。 取值范围:[-4096,4096] 单位:px ReferPos String 水印的位置。 TopRight、TopLeft、BottomRight、BottomLeft Type String 水印类型。 Image、Text 说明 目前仅支持 Image。 State String 水印模板的状态。 Normal、Deleted。 AliyunPipeline 管道类型 名称 类型 描述 Id String 管道ID。 Name String 管道名称。 Speed String 管道类型。 取值:Boost、Standard、NarrowBandHDV2、AIVideoCover、AIVideoRecogni、AIVideoSummary、AIVideoPorn、AIAudioKWS、AIAudioASR 默认值:Standard State String 管道状态。 Active、Paused Active:表示管道内的作业会被调度给转码系统转码, Paused:表示管道暂停,作业不再会被调度到转码系统,管道内的所有作业状态维持在已提交状态,正在执行的作业不受影响,继续进行。 NotifyConfig String MNS通知配置。 AliyunMediaInfoJob 媒体信息分析作业类型 名称 类型 描述 Id String 元信息分析作业ID。 Input AliyunOSSFile 作业输入。 State String 作业状态。 分为Analyzing、Success、Fail Code String 元信息分析失败时错误码。 Message String 元信息分析失败时错误信息。 Properties AliyunProperties 属性。 UserData String 用户自定义数据。 CreationTime String 作业添加时间。 AliyunAnalysisJob 模板分析作业类型 名称 类型 描述 Id String 模板分析作业ID。 Input AliyunOSSFile 作业输入。 AnalysisConfig AliyunAnalysisConfig 作业配置。 TemplateList AliyunTemplate[ ] 作业输出的预置模板列表。 State String 作业状态。 分为Submitted、Analyzing、Success、Fail Code String 分析失败时错误码。 Message String 分析失败时错误信息。 Percent String 转码进度。 取值范围:[0,100] Priority String 任务在其对应管道内的优先级。 取值范围:[1, 10] 最高优先级:10 默认值:10 UserData String 用户自定义数据。 PipelineId String 管道ID。 CreationTime String 作业添加时间。 MNSMessageResult AliyunMNSMessageResult MNS通知用户作业完成的结果。 AliyunSnapshotJob 截图作业类型 名称 类型 描述 Id String 截图作业ID。 Input AliyunOSSFile 作业输入。 SnapshotConfig AliyunSnapshotConfig 截图配置。 Count String 截取图片的数量。 State String 截图状态。 分为Snapshoting、Success、Fail Code String 分析失败时错误码。 Message String 分析失败时错误信息。。 UserData String 用户自定义数据 MNSMessageResult AliyunMNSMessageResult MNS通知用户作业完成的结果。 AliyunSnapshotConfig 截图配置 名称 类型 描述 OutputFile String 截图输出OSS配置。 TileOutputFile String 拼图任务大图的输出OSS配置。 Time String 截图开始时间。 单位:毫秒 Interval String 截图间隔时间。 若指定则表示序列截图,且值必须大于0。 单位:秒 默认值:10 Num String 截图数量。 若指定则表示序列截图。 Width String 截图输出图片宽度。 取值范围:[8,4096] Height String 截图输出图片高度。 取值范围:[8,4096] FrameType String 截图类型。 普通帧:normal I帧:intra 默认值:intra TileOut String 拼图配置。 AliyunFailReason 失败原因类型 名称 类型 描述 Code String 失败时错误码。 Message String 失败时错误信息。 AliyunMNSMessageResult MNS通知用户作业完成结果类型 名称 类型 描述 ErrorCode String 失败时错误码。 ErrorMessage String 失败时错误信息。 MessageId String 成功时消息ID。 Activity 媒体工作流活动 名称 类型 描述 Name String 媒体工作流活动名称。 说明 在同一个工作流中活动的名字是唯一的。 Type String 媒体工作流活动类型。 范围:Start、Snapshot、Transcode、Analysis、Report JobId String 活动执行时生成的作业ID(例如分析作业ID、转码作业ID、截图作业ID)。 State String 状态。 范围:Running、Success、Fail、Skipped。 Skipped表示活动被跳过。 例如分析活动之后有高清、标清两个转码活动,会根据实际分析的结果来决策,如果原视频内容清晰度不够,高清的转码活动就可能被跳过。 StartTime String 活动开始执行时间。 EndTime String 活动结束执行时间。 Code String 错误码。 如果活动状态是Fail时,会给出具体的错误码。 Message String 错误信息。 如果活动状态是Fail时,会给出详细的错误描述信息。 MediaWorkflow 媒体工作流 名称 类型 描述 MediaWorkflowId String 媒体工作流Id。 Name String 媒体工作流名称。 Topology String 媒体工作流拓扑结构。 State String 状态。 范围Inactive、Active、Deleted CreationTime String 创建时间。 InputFile 输入文件 名称 类型 描述 Bucket String OSS Bucket Location String OSS Location Object String OSS Object MediaWorkflowExecutionInput 媒体工作流执行实例输入 名称 类型 描述 InputFile InputFile 媒体工作流的输入文件。 UserData String 用户自定义数据。 MediaWorkflowExecution 媒体工作流执行实例 名称 类型 描述 RunId String 执行实例Id。 Input MediaWorkflowExecutionInput 媒体工作流的输入。 MediaWorkflowId String 媒体工作流ID。 Name String 媒体工作流名称。 MediaId String 媒体ID。 媒体工作流生成的所有信息都属于这个媒体ID。 ActivityList Activity 媒体工作流活动列表。 State String 状态。 范围:Running、Completed、Fail。 Completed仅表示工作流执行完成,每个活动的(转码、截图等)是否成功要看每个活动具体的状态值。 CreationTime String 创建时间。 MediaInfo 属性类型 名称 类型 描述 Format FormatInfo 格式信息。 Streams StreamsInfo 流信息。 FormatInfo 容器及通用信息类型 名称 类型 描述 NumStreams String 媒体流总数。 NumPrograms String 节目流总数。 FormatName String 容器/封装格式简述名。 FormatLongName String 容器/封装格式长述名。 StartTime String 起始时间。 Duration String 总时长。 Size String 文件大小。 Bitrate String 总码率 StreamsInfo 流信息类型 名称 类型 描述 VideoStreamList VideoStream[] 视频流列表。 列表元素至多4个。 AudioStreamList AudioStream[] 音频流列表。 列表元素至多4个。 SubtitleStreamList SubtitleStream[] 字幕流列表。 列表元素至多4个。 VideoStream 视频流信息类型 名称 类型 描述 Index String 视频流序号。 标识视频流在整个媒体流中的位置。 CodecName String 编码格式简述名。 CodecLongName String 编码格式长述名。 Profile String 编码预置。 CodecTimeBase String 编码时基。 CodecTagString String 编码格式标记文本。。 CodecTag String 编码格式标记 Width String 视频分辨率宽 数字。。 Height String 视频分辨率长 HasBFrames String 是否有B帧。 Sar String 编码信号分辨率比。 Dar String 编码显示分辨率比。 PixFmt String 像素格式。 Level String 编码等级。 Fps String 目标帧率。 AvgFPS String 平均帧率。 Timebase String 时基。 StartTime String 起始时间。 Duration String 时长。 NumFrames String 总帧数 Lang String 语言。 NetworkCost NetworkCost 网络带宽消耗。 NetworkCost 视频网络带宽消耗类型 名称 类型 描述 PreloadTime String 预加载时间。 CostBandwidth String 最大消耗带宽。 AvgBitrate String 平均码率。 AudioStream 音频流信息类型 名称 类型 描述 Index String 音频流序号。 标识音频流在整个媒体流中的位置。 CodecName String 编码格式简述名。 CodecLongName String 编码格式长述名。 CodecTimeBase String 编码时基。 CodecTagString String 编码格式标记文本。 CodecTag String 编码格式标记。 SampleFmt String 采样格式。 Samplerate String 采样率。 Channels String 声道数。 ChannelLayout String 声道输出样式。 Timebase String 时基。 StartTime String 起始时间。 Duration String 时长。 Bitrate String 码率。 NumFrames String 总帧数。 Lang String 语言。 SubtitleStream 字幕流信息类型 名称 类型 描述 Index String 字幕流序号。 标识字幕流在整个媒体流中的位置。 Lang String 语言。 Media 媒体 名称 类型 描述 MediaId String 媒体ID。 File File 原文件。 Title String 标题。 Description String 描述。 CateId String 类目Id。 CateName String 类目名称。 Tags String[] 标签列表。 RiskFactor String 风险因子。 取值范围:[0,1] 风险因子越高,涉黄、涉暴等可能性越高。 识别准确率80%。 CoverURL String 封面URL。 PublishState String 媒体发布状态,表示是否对外发布媒体。 取值范围: Initiated:初始, UnPublish:未发布,OSS播放文件权限为Private, Published:已发布,OSS播放文件权限为Default, Deleted:已删除。 RunIdList String[] 媒体工作流列表。 CreationTime String 创建时间。 Duration String 时长。 Format String 格式。 Size String 大小。 Bitrate String 码率。 Fps String 帧率。 Width String 宽。 Height String 高。 PlayList Play[] 播放列表。 SnapshotList Snapshot[] 截图列表。 MediaInfo MediaInfo 媒体信息。 Category 类目 名称 类型 描述 CateId String 类目ID。 ParentId String 父节点ID。 最顶层节点值为-1。 CateName String 类目名称。 Level String 所处层级。 最顶层节点值为0。 File 文件 名称 类型 描述 URL String 文件URL。 State String 文件状态。 范围:Normal、Deleted。 Play 播放信息 名称 类型 描述 MediaWorkflowId String 产生播放文件的工作流ID。 MediaWorkflowName String 产生播放文件的工作流。 ActivityName String 媒体工作流活动名称。 Duration String 时长。 Format String 格式。 Size String 大小。 Bitrate String 码率。 Fps String 帧率。 Width String 宽。 Height String 高。 File File 播放文件。 Snapshot 截图信息 名称 类型 描述 MediaWorkflowId String 产生截图文件的工作流ID。 MediaWorkflowName String 产生截图文件的工作流。 ActivityName String 产生截图文件的工作流活动名称。 File File 截图文件。 Type String 截图类型。 范围:Single、Sequence Count Number 截图张数。 此值只在Type为Sequence时有意义 MediaBucket 媒体Bucket 名称 类型 描述 Bucket String 媒体Bucket名称。 Type String 媒体Bucket类型。 范围:Input 、Output。 AliyunMediaCensorJob 媒体审核作业 名称 类型 描述 Id String 作业ID Input AliyunOSSFile 作业输入 VideoCensorConfig AliyunVideoCensorConfig 视频审查配置 PipelineId String 管道ID State String 作业状态,Submitted、Analyzing、Success、Fail Code String 作业失败时错误码 Message String 作业失败时错误信息 UserData String 用户自定义数据 Result String 作业整体审核结果。取值: Pass:通过; Review:人工重审; Block:拦截。 任何一种类型的审核结果是Review时,整体结果为Review,任何一种类型的审核结果是Block时,整体结果为Block 。 TitleCensorResult AliyunCommonCensorResult 标题审核结果 DescCensorResult AliyunCommonCensorResult 描述审核结果 BarrageCensorResult AliyunCommonCensorResult 弹幕审核结果 ImageCensorCensorResult AliyunImageCensorResult[] 封面审核结果 VideoCensorResult AliyunVideoCensorResult 视频审查结果 AliyunVideoCensorConfig 视频审核配置 名称 类型 必填项 描述 OutputFile String 是 视频截图结果的保存地址。 例如:”{“Bucket”:”test-bucket”,”Location”:”oss-cn-shanghai”,”Object”:”output{Count}.jpg”}”。 其中{Count}是占位符,图片Object依次为output00001.jpg,output00002.jpg等。 VideoCensor String 否 是否需要审核视频内容。 默认值:true。 设置为false时,必须确保相同的媒体输入文件之前提交过作业,并且是执行成功状态,否则这次请求会被拒绝。 BizType String 否 默认common。定制业务类型。 ResultRange String 否 审核结果范围,包括: abnormal:仅包含审核有问题结果, all:包含所有结果。 默认值:abnormal。 AliyunCommonCensorResult 通用审核结果 名称 类型 描述 Score String 分值。 范围:[0,100]。 例如:99.91。 Suggestion String 处理建议。取值: Pass:通过, Review:人工重审, Block:拦截。 Scene String 审核场景。 Antispam:文本反垃圾, Porn:色情, Terrorism:暴恐涉政。 Label String 审核结果的标签。 Normal:普通, Spam:含垃圾信息, Ad:广告, Politics:涉政, Terrorism:暴恐, Abuse:辱骂, Flood:灌水, Contraband:违禁, Meaningless:无意义, Porn:色情, Sexy: 性感, Outfit:特殊装束, Logo:特殊标识, Weapon:武器, Politic:渉政, Others:其它。 AliyunImageCensorResult 封面(图片)审核结果 名称 类型 描述 Location String 视频封面OSS Location Bucket String 视频封面OSS Bucket Object String 视频封面OSS Object Result AliyunCommonCensorResult 审核结果 AliyunVideoCensorResult 视频审核结果 名称 类型 描述 CensorResult AliyunCommonCensorResult[] 审核结果集合,包含各种场景(黄、恐、暴、政)的概要信息。 VideoTimelines AliyunTimelineCensorResult[] 详细时间点的审核结果,按照时间从小到大排序。 NextPageToken String 下一页标识,32位UUID。 MaximumPageSize String 每页最大返回数。 默认值:30 取值范围:[1,300] AliyunTimelineCensorResult 时间线审核结果 名称 类型 描述 Timestamp String 视频中的位置。 格式:hh:mm:ss[.SSS]。 示例: 00:02:59.999 Object String 截图OSS存储路径。 CensorResult AliyunCommonCensorResult[] 包含多种类型审核结果的标签、分值等。 AliyunCensorJobNotify 内容审核作业通知 名称 类型 描述 Type String 通知类型,MediaCensor:媒体审核作业。 UserData Stromg 用户提交作业时的UserData,用于回传参数。 JobId String 作业ID Input AliyunOSSFile 作业输入 State String 作业状态,Success、Fail Code String 作业失败时错误码 Message String 作业失败时错误信息 Result String 作业整体审核结果。取值: Pass:通过, Review:人工重审, Block:拦截。 任何一种类型的审核结果是Review时,整体结果为Review,任何一种类型的审核结果是Block时,整体结果为Block 。 TitleCensorResult AliyunCommonCensorResult 标题审核结果 DescCensorResult AliyunCommonCensorResult 描述审核结果 BarrageCensorResult AliyunCommonCensorResult 弹幕审核结果 ImageCensorCensorResult AliyunImageCensorResult[] 封面审核结果 TopVideoCensorResult AliyunVideoCensorResult 包括视频中每种审核类型分数最高的TOP结果,对应的Timelines最多包含10条数据,如果没有则Timelines为空。

保持可爱mmm 2020-03-30 11:55:30 0 浏览量 回答数 0

回答

当您拥有一台或多台DDH时,您可以在DDH上创建对应规格的ECS实例。 前提条件 在指定的DDH上创建ECS实例前,您必须先完成以下工作。 创建DDH。详细步骤,请参见创建DDH。 完成实名认证。 如果要创建按量付费ECS实例,账户余额不能少于100元人民币。充值详情,请参见如何充值付款。 在DDH所在地域里,搭建IPv4专有网络,详情请参见搭建IPv4专有网络。 如果不使用系统自动创建的默认安全组,必须在目标地域创建一个安全组并添加满足您业务需求的安全组规则。具体步骤,请参见创建安全组和添加安全组规则。 创建Linux实例时如果要绑定SSH密钥对,必须在目标地域创建一个SSH密钥对,详情请参见创建SSH密钥对。 如果要设置自定义数据,必须准备实例自定义数据,详情请参见实例自定义数据。 如果要让实例扮演某个角色,必须创建实例RAM角色并授权,详情请参见通过控制台使用实例 RAM 角色。 背景信息 在DDH上只能创建VPC类型ECS实例。DDH上的ECS实例与共享宿主机上ECS实例的功能差异,请参见ECS实例功能对比。 操作步骤 登录ECS管理控制台。 在左侧导航栏,单击实例与镜像 > 专有宿主机 DDH。 在顶部状态栏处,选择地域。 找到待创建ECS实例的DDH,在操作列,单击创建实例。 完成基础配置。 选择专有宿主机。 默认是您选中的DDH。您可以更换专有宿主机。 设置关联宿主机。 选中关联宿主机:已停机释放资源的实例再次启动时,依然会部署在当前DDH上。若当前DDH可用资源不足,则实例启动失败。 取消勾选关联宿主机:已停机释放资源的实例再次启动时,若当前DDH可用资源不足,则系统自动选择您账号下其他满足自动部署条件的DDH部署实例。更多详情,请参见关联宿主机功能介绍。 选择计费方式。 根据DDH的计费方式选择ECS实例的计费方式。您可以在包年包月DDH上创建包年包月或者按量付费的ECS实例。 说明 如果要创建按周付费的ECS实例,必须选择包年包月,并将页面底部的购买周期设置为1周。ECS实例各计费方式的区别,请参见计费对比。 确认地域。 ECS实例的地域及可用区与DDH相同。 选择实例规格并设置实例数量。 可供选择的实例规格由DDH的主机规格及剩余资源决定。宿主机规格详情,请参见宿主机规格。 选择镜像。 您可以选择公共镜像、自定义镜像、共享镜像或从镜像市场选择镜像。如何选择镜像,请参见选择镜像。 说明 如果您要使用SSH密钥对,必须选择Linux系统。 如果您要设置实例自定义数据,只能选择特定的镜像,详情请参见实例自定义数据支持的镜像。 选择存储。 系统盘(必选):用于安装操作系统。请指定系统盘的云盘类型和容量。 云盘类型:当前地域可供选择的所有云盘类型。 容量:系统盘默认容量为40GiB,最大为500GiB。如果选择的镜像文件大于40GiB,则默认为镜像文件大小。系统盘的容量范围由镜像决定,如下表所示。 操作系统 系统盘容量 Linux(不包括CoreOS)FreeBSD [max{20, 镜像文件大小}, 500]GiB CoreOS [max{30, 镜像文件大小}, 500]GiB Windows [max{40, 镜像文件大小}, 500]GiB 数据盘:若添加数据盘,必须选择云盘类型、容量、数量,并选择是否加密。您可以创建空云盘,也可以使用快照创建云盘。最多可以添加16块云盘作数据盘。 说明 此时创建的云盘有以下特点: 计费方式与实例相同。 包年包月数据盘只能随实例一起释放,按量付费的数据盘可以设置为随实例一起释放。 如果您选择的是带本地盘的实例规格族(比如i2),这里会显示实例规格对应的本地盘信息,不可配置。本地盘实例规格对应的本地盘信息,请参见实例规格族。 单击下一步:网络和安全组。 完成网络和安全组设置。 选择网络。 只能选择专有网络,并选择一个专有网络和交换机。如果您没有创建专有网络和交换机,可以使用默认专有网络和默认交换机。 设置公网带宽。 如果要为实例分配一个公网IP地址,必须选中分配公网IP地址,再选择按使用流量或按固定带宽 进行公网带宽计费,并指定带宽。通过这种方式分配的公网IP地址不能与实例解绑。关于如何选择公网带宽计费方式,请参见公网带宽计费。 如果您的实例不需要访问公网或者要使用弹性公网IP(EIP)地址访问公网,不能选择分配公网IP地址。 选择安全组。 所选安全组中的规则必须满足您的业务需求。 说明 如果您自己没有创建安全组,可以使用默认安全组。默认安全组的规则,请参见默认安全组规则。 添加弹性网卡。 如果所选实例规格支持弹性网卡,您可以添加弹性网卡,并为网卡选择交换机。 说明 这里添加的弹性网卡默认会随实例一起释放,您可以在ECS控制台或者使用DetachNetworkInterface接口分离实例和网卡。 单击下一步:系统配置。 可选: 完成系统配置。 选择并设置登录凭证。 您可以直接设置,也可以选择创建后设置。根据镜像的操作系统,选择登录凭证。 Linux系统:可以选择使用密钥对或密码作为登录凭证。 Windows系统:只能使用密码作为登录凭证。 设置实例名称及主机名。 设置高级选项。 实例RAM角色:为实例授予一个RAM角色。 实例自定义数据:自定义实例的启动行为或者向实例传入数据。 单击下一步:分组设置。 可选: 完成分组设置。 如果您有多台实例,为了方便管理,建议您为实例添加标签。 如果您是企业用户,已经开通了资源管理服务,而且已经创建了资源组,您可以按资源组管理实例。 确认订单并创建实例。 在所选配置区域,确认配置信息。 您可以单击图标重新编辑配置。 如果ECS实例计费方式为按量付费,可以设置自动释放服务时间。 如果ECS实例计费方式为包年包月,可以设置购买时长,并选择是否开启自动续费。 说明 包年包月ECS实例的购买时长终点不能晚于包年包月DDH计费时长的终点。 确认配置费用。这时显示的费用包括系统盘、数据盘(如果有)和公网带宽的费用。 阅读并确认云服务器ECS服务条款。 单击创建实例。 执行结果 实例创建后,单击管理控制台回到ECS管理控制台查看新建的ECS实例。在相应地域的实例列表中,您能查看新建实例的实例ID、公网IP地址、私有IP地址等信息。如果您已经设置了实例列表的自定义列表项,您还可以看到ECS实例的宿主机信息。 说明 设置自定义列表项的步骤,请参见在不同DDH之间迁移ECS实例。 后续步骤 您可以通过FTP服务上传本地文件到ECS实例。关于部署FTP服务的详细操作,请参见使用ECS实例创建FTP站点。 创建实例后,建议您对操作系统做安全合规性检查和加固: Linux实例,请参见Linux操作系统加固。 Windows实例,请参见Windows操作系统安全加固。 如果您随实例创建了数据盘,只有分区格式化后您才能正常使用数据盘,具体操作,请参见Linux格式化数据盘或Windows格式化数据盘。

1934890530796658 2020-03-30 15:00:18 0 浏览量 回答数 0

回答

Django代码注意 1、模板标签里面 extend和include是冲突的,有了extend,include无法生效,原因:是底层渲染独立机制设计导致。 2、#coding:utf-8 这句只有放在代码文件第一行才能生效,放在注释字符串后面可能会失效。 3、由于前端发展而导致的Post请求Rest化和Django原生的技术设施层简化还有事务封装前移,由此产生的结果是业务层完全可以放在views里面。同事Restful化的好处就是可以把跨业务模块调用放在前端,保证了后端模块之间的正切 4、有用户自生成富文本内容的页面上最好不要放置带XSRF的POST表单,前者可能会窃取后者的Token信息。 5、在template里面的==这一类比较逻辑运算符号两边必须有空格,否则影响模板解析 6、form.is_valid内部逻辑中的Clean_data处理中抛出的异常不会向外传递,只会变成form.is_valid()返回false. 7、Django的业务层和View层怎么切分这个问题,一个简单的方法就是给业务层传递什么层级的参数,个人觉得传递验证过的form比较合适。 8、多级if else的两个简化技巧:1是直接用except处理;2是该半路return的直接return掉,这样做虽然不符合过程编程函数设计原则,但是代码相对简洁了很多。 9、Ubuntu生产环境下不能Print Unicode中文,否则会导致error. 10、因为DJango的500机制和事务机制,所以Django的View层对异常处理代码的依赖比较弱。 11、model form定义:没有在前端页面出现的字段,一定要exclude掉或者Null了,不过Null会影响默认值,所以最好的方法是Exclude掉,否则即便blank掉,也会导致form存储时出错。因为表单中字段不出现会把默认值覆盖成Null。 比exclude更方便的定义方式是定义fields元信息,这样model添加不用的字段不用跑来重新更新form定义 12、数据库存时区性数据的格式化显示一定要放在template里面用date之类的过滤器操作,如果用datetime的striftime直接格式化,会导致时区性数据丢失,出来的时间成了格林威治时间值了,如果在代码中strifttime处理,可以先用django.utils.timezone.localtime方法处理一下,这样出来的时间才是正常的 13、Django调试中的一个问题:众所周知,runserver启动,改动代码,服务会重启,但是改动自定义标签代码,服务是不会重启的。 14、form验证的errors在比较旧的版本里面是没有文本信息,前一段时间看文档,发现新版本有对errors有所加强,比较好用的比如as_json()和as_text(),两个方法,我在比较旧的版本中是自己写个函数对errors对象做解析生成反馈文本信息。 15、ManyToMany字段的through不能add or remove,为了扩展性的考虑,建议默认都加上through,可以为中间关系表加个date_added字段,顺便都加上unique_together约束,不过用through是有缺陷的:写操作略麻烦。那么如果你没加through,准备改成加through的,应该怎样最小改动的操作哪,应该是先把这个ManyToMany字段删除掉,并且migrate生效,然后再加一个有through的ManyToMany字段,当然了后台的数据还的备份重生效一次。这应该算是目前Django Migration特性的一个缺陷。 答案来源网络,供参考,希望对您有帮助

问问小秘 2019-12-02 03:02:13 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:17 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:16 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:17 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:15 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:16 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:18 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:17 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:15 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:16 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:16 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:17 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 投递日志到 MaxCompute 是日志服务的一个功能,能够帮助您最大化数据价值。您可以自己决定对某个日志库是否启用该功能。一旦启用该功能,日志服务后台会定时把写入到该日志库内的日志投递到 MaxCompute 对应的表格中。 使用限制 数加控制台创建、修改投递配置必须由主账号完成,不支持子账号操作。 投递MaxCompute是批量任务,请谨慎设置分区列:保证一个同步任务内处理的数据分区数小于512个;用作分区列的字段值不能包括/等MaxCompute保留字段 。配置细节请参考下文投递配置说明。 不支持海外Region的MaxCompute投递,海外Region的MaxCompute请使用dataworks进行数据同步。国内Region投递支持如下: 日志服务Region MaxCompute Region 华北1 华东2 华北2 华北2、华东2 华北3 华东2 华北5 华东2 华东1 华东2 华东2 华东2 华南1 华南1、华东2 香港 华东2 功能优势 日志服务收集的日志除了可以被实时查询外,还可以把日志数据投递到大数据计算服务MaxCompute(原ODPS),进一步进行个性化BI分析及数据挖掘。通过日志服务投递日志数据到MaxCompute具有如下优势: 使用便捷 您只需要完成2步配置即可以把日志服务Logstore的日志数据迁移到MaxCompute中。 避免重复收集工作 由于日志服务的日志收集过程已经完成不同机器上的日志集中化,无需重复在不同机器上收集一遍日志数据后再导入到MaxCompute。 充分复用日志服务内的日志分类管理工作 用户可让日志服务中不同类型的日志(存在不同Logstore中)、不同Project的日志自动投递到不同的MaxCompute表格,方便管理及分析MaxCompute内的日志数据。 说明 一般情况下日志数据在写入Logstore后的1个小时导入到MaxCompute,您可以在控制台投递任务管理查看导入状态。导入成功后即可在MaxCompute内查看到相关日志数据。判断数据是否已完全投递请参考文档。 结合日志服务的实时消费,投递日志数据到MaxCompute的数据通道以及日志索引功能,可以让用户按照不同的场景和需求、以不同的方式复用数据,充分发挥日志数据的价值。 配置流程 举例日志服务的一条日志如下: 16年01月27日20时50分13秒 10.10.*.* ip:10.10.*.* status:200 thread:414579208 time:27/Jan/2016:20:50:13 +0800 url:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1 user-agent:aliyun-sdk-java 日志左侧的ip、status、thread、time、url、user-agent等是日志服务数据的字段名称,需要在下方配置中应用到。 步骤1 初始化数加平台 在日志服务的控制台Logstore列表单击日志投递列的MaxCompute。 自动跳转到初始化数加平台的页面。MaxCompute默认为按量付费模式,具体参见MaxCompute文档说明。 查看服务协议和条款后单击确定,初始化数加平台。 初始化开通需10~20秒左右,请耐心等待。如果已经开通数加及大数据计算服务MaxCompute(原ODPS),将直接跳过该步骤。 步骤2 数据模型映射在日志服务和大数据计算服务MaxCompute(原ODPS)之间同步数据,涉及两个服务的数据模型映射问题。您可以参考日志服务日志数据结构了解数据结构。 将样例日志导入MaxCompute,分别定义MaxCompute数据列、分区列与日志服务字段的映射关系: MaxCompute 列类型 MaxCompute 列名(可自定义) MaxCompute 列类型(可自定义) 日志服务字段名(投递配置里填写) 日志服务字段类型 日志服务字段语义 数据列 log_source string __source__ 系统保留字段 日志来源的机器 IP。 log_time bigint __time__ 系统保留字段 日志的 Unix 时间戳(是从1970 年 1 月 1 日开始所经过的秒数),由用户日志的 time 字段计算得到。 log_topic string __topic__ 系统保留字段 日志主题。 time string time 日志内容字段 解析自日志。 ip string ip 日志内容字段 解析自日志。 thread string thread 日志内容字段 解析自日志。 log_extract_others string __extract_others__ 系统保留字段 未在配置中进行映射的其他日志内字段会通过 key-value 序列化到json,该 json 是一层结构,不支持字段内部 json 嵌套。 分区列 log_partition_time string __partition_time__ 系统保留字段 由日志的 time 字段对齐计算而得,分区粒度可配置,在配置项部分详述。 status string status 日志内容字段 解析自日志,该字段取值应该是可以枚举的,保证分区数目不会超出上限。 MaxCompute 表至少包含一个数据列、一个分区列。 系统保留字段中建议使用 __partition_time__,__source__,__topic__。 MaxCompute 单表有分区数目 6 万的限制,分区数超出后无法再写入数据,所以日志服务导入 MaxCompute表至多支持3个分区列。请谨慎选择自定义字段作为分区列,保证其值是可枚举的。 系统保留字段 __extract_others__ 历史上曾用名 _extract_others_,填写后者也是兼容的。 MaxCompute 分区列的值不支持”/“等特殊字符,这些是 MaxCompute 的保留字段。 MaxCompute 分区列取值不支持空,所以映射到分区列的字段必须要在日志里存在,空分区列的日志会在投递中被丢弃。 步骤3 配置投递规则 开启投递。 初始化数加平台之后,根据页面提示进入LogHub —— 数据投递页面,选择需要投递的Logstore,并单击开启投递。 您也可以在MaxCompute(原ODPS)投递管理页面选择需要投递的Logstore,并单击开启投递以进入LogHub —— 数据投递页面。 图 1. 开启投递 配置投递规则。 在 LogHub —— 数据投递页面配置 字段关联等相关内容。 图 2. 配置投递规则 配置项含义: 参数 语义 投递名称 自定义一个投递的名称,方便后续管理。 MaxCompute Project MaxCompute项目名称,该项默认为新创建的Project,如果已经是MaxCompute老客户,可以下拉选择已创建其他Project。 MaxCompute Table MaxCompute表名称,请输入自定义的新建的MaxCompute表名称或者选择已有的MaxCompute表。 MaxCompute 普通列 按序,左边填写与MaxCompute表数据列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 MaxCompute 分区列 按序,左边填写与MaxCompute表分区列相映射的日志服务字段名称,右边填写或选择MaxCompute表的普通字段名称及字段类型。 分区时间格式 __partition_time__输出的日期格式,参考 Java SimpleDateFormat。 导入MaxCompute间隔 MaxCompute数据投递间隔,默认1800,单位:秒。 该步会默认为客户创建好新的MaxCompute Project和Table,其中如果已经是MaxCompute老客户,可以下拉选择其他已创建Project。 日志服务投递MaxCompute功能按照字段与列的顺序进行映射,修改MaxCompute表列名不影响数据导入,如更改MaxCompute表schema,请重新配置字段与列映射关系。 日志服务数据的一个字段最多允许映射到一个MaxCompute表的列(数据列或分区列),不支持字段冗余。 参考信息 __partition_time__ 格式 将日志时间作为分区字段,通过日期来筛选数据是MaxCompute常见的过滤数据方法。 __partition_time__ 是根据日志time字段值计算得到(不是日志写入服务端时间,也不是日志投递时间),结合分区时间格式,向下取整(为避免触发MaxCompute单表分区数目的限制,日期分区列的值会按照导入MaxCompute间隔对齐)计算出日期作为分区列。 举例来说,日志提取的time字段是“27/Jan/2016:20:50:13 +0800”,日志服务据此计算出保留字段__time__为1453899013(Unix时间戳),不同配置下的时间分区列取值如下: 导入MaxCompute间隔 分区时间格式 __partition_time__ 1800 yyyy_MM_dd_HH_mm_00 2016_01_27_20_30_00 1800 yyyy-MM-dd HH:mm 2016-01-27 20:30 1800 yyyyMMdd 20160127 3600 yyyyMMddHHmm 201601272000 3600 yyyy_MM_dd_HH 2016_01_27_20 请勿使用精确到秒的日期格式:1. 很容易导致单表的分区数目超过限制(6万);2. 单次投递任务的数据分区数目必须在512以内。 以上分区时间格式是测试通过的样例,您也可以参考Java SimpleDateFormat自己定义日期格式,但是该格式不得包含斜线字符”/“(这是MaxCompute的保留字段)。 __partition_time__ 使用方法 使用MaxCompute的字符串比较筛选数据,可以避免全表扫描。比如查询2016年1月26日一天内日志数据: select * from {ODPS_TABLE_NAME} where log_partition_time >= "2015_01_26" and log_partition_time < "2016_01_27"; __extract_others__使用方法 log_extract_others为一个json字符串,如果想获取该字段的user-agent内容,可以进行如下查询: select get_json_object(sls_extract_others, "$.user-agent") from {ODPS_TABLE_NAME} limit 10; 说明 get_json_object是MaxCompute提供的标准UDF。请联系MaxCompute团队开通使用该标准UDF的权限。 示例供参考,请以MaxCompute产品建议为最终标准。 其他操作 编辑投递配置 在Logstore列表投递项,单击“修改”即可针对之前的配置信息进行编辑。其中如果想新增列,可以在大数据计算服务MaxCompute(原ODPS)修改投递的数据表列信息,则点击“修改”后会加载最新的数据表信息。 投递任务管理 在启动投递功能后,日志服务后台会定期启动离线投递任务。用户可以在控制台上看到这些投递任务的状态和错误信息。具体请参考管理日志投递任务。 如果投递任务出现错误,控制台上会显示相应的错误信息: 错误信息 建议方案 MaxCompute项目空间不存在 在MaxCompute控制台中确认配置的MaxCompute项目是否存在,如果不存在则需要重新创建或配置。 MaxCompute表不存在 在MaxCompute控制台中确认配置的MaxCompute表是否存在,如果不存在则需要重新创建或配置。 MaxCompute项目空间或表没有向日志服务授权 在MaxCompute控制台中确认授权给日志服务账号的权限是否还存在,如果不存在则需要重新添加上相应权限。 MaxCompute错误 显示投递任务收到的MaxCompute错误,请参考MaxCompute相关文档或联系MaxCompute团队解决。日志服务会自动重试最近两天时间的失败任务。 日志服务导入字段配置无法匹配MaxCompute表的列 重新配置MaxCompute表格的列与日志服务数据字段的映射配置。 当投递任务发生错误时,请查看错误信息,问题解决后可以通过云控制台中“日志投递任务管理”或SDK来重试失败任务。 MaxCompute中消费日志 MaxCompute用户表中示例数据如下: | log_source | log_time | log_topic | time | ip | thread | log_extract_others | log_partition_time | status | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ | 10.10.*.* | 1453899013 | | 27/Jan/2016:20:50:13 +0800 | 10.10.*.* | 414579208 | {"url":"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1","user-agent":"aliyun-sdk-java"} | 2016_01_27_20_50 | 200 | +------------+------------+-----------+-----------+-----------+-----------+------------------+--------------------+-----------+ 同时,我们推荐您直接使用已经与MaxCompute绑定的大数据开发Data IDE来进行可视化的BI分析及数据挖掘,这将提高数据加工的效率。 授予MaxCompute数据投递权限 如果在数加平台执行表删除重建动作,会导致默认授权失效。请手动重新为日志服务投递数据授权。 在MaxCompute项目空间下添加用户: ADD USER aliyun$shennong_open@aliyun.com; shennong_open@aliyun.com 是日志服务系统账号(请不要用自己的账号),授权目的是为了能将数据写入到MaxCompute MaxCompute项目空间Read/List权限授予: GRANT Read, List ON PROJECT {ODPS_PROJECT_NAME} TO USER aliyun$shennong_open@aliyun.com; MaxCompute项目空间的表Describe/Alter/Update权限授予: GRANT Describe, Alter, Update ON TABLE {ODPS_TABLE_NAME} TO USER aliyun$shennong_open@aliyun.com; 确认MaxCompute授权是否成功: SHOW GRANTS FOR aliyun$shennong_open@aliyun.com; A projects/{ODPS_PROJECT_NAME}: List | Read A projects/{ODPS_PROJECT_NAME}/tables/{ODPS_TABLE_NAME}: Describe | Alter | Update

2019-12-01 23:11:17 0 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 SSL证书 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站 2020中国云原生 阿里云云栖号