• 关于

    3ds 网络设置

    的搜索结果

回答

调用CreateScalingConfiguration创建一个伸缩配置。 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 调试 请求参数 名称 类型 是否必选 示例值 描述 Action String 否 CreateScalingConfiguration 系统规定参数。取值: CreateScalingConfiguration。 ScalingGroupId String 是 asg-bp14wlu85wrpchm0**** 伸缩配置所属的伸缩组的ID。 ImageId String 否 centos6u5_64_20G_aliaegis****.vhd 镜像文件ID,自动创建实例时使用的镜像资源。 ImageName String 否 myimage 镜像文件名称,同一个地域内镜像名称唯一。如果设置了ImageId, ImageName将被忽略。 不支持通过ImageName设置镜像市场镜像。 InstanceType String 否 ecs.t1.xsmall ECS实例的实例规格,更多信息请参见实例规格族。 Cpu Integer 否 2 vCPU个数。 同时指定CPU和Memory可以定义实例规格范围,例如,CPU=2且Memory=16可以定义配置为2 vCPU和16 GiB的所有实例规格。弹性伸缩会结合IO优化、可用区等因素确定可用实例规格集合,并根据价格排序为您创建价格最低的实例。 说明 该区间配置效果仅在成本优化模式下且伸缩配置未设置实例规格时生效。 Memory Integer 否 16 内存大小。 同时指定CPU和Memory可以定义实例规格范围,例如,CPU=2且Memory=16可以定义配置为2 vCPU和16 GiB的所有实例规格。弹性伸缩会结合IO优化、可用区等因素确定可用实例规格集合,并根据价格排序为您创建价格最低的实例。 说明 该区间配置效果仅在成本优化模式下且伸缩配置未设置实例规格时生效。 DeploymentSetId String 否 ds-bp1frxuzdg87zh4pz**** ECS实例所属的部署集的ID。 InstanceTypes.N RepeatList 否 ecs.t1.xsmall.1 多实例规格参数。如果使用了InstanceTypes.N,InstanceType将被忽略,其中N的取值范围:1~10,即一个伸缩配置内最多可以设置10种实例规格。 N代表当前伸缩配置中实例规格的优先级,编号为1的实例规格优先级最高,实例规格优先级随着编号的增大依次降低。当无法根据优先级较高的实例规格创建出实例时,弹性伸缩服务会自动选择下一优先级的实例规格来创建实例。 SecurityGroupId String 否 sg-280ih**** ECS实例所属的安全组的ID,同一个安全组内的ECS实例可以互相访问。 IoOptimized String 否 optimized 是否为I/O优化实例。已停售的实例规格实例默认值是none,其他实例规格默认值是optimized。取值范围: none:非I/O优化实例。 optimized:I/O优化实例。 InternetChargeType String 否 PayByTraffic 网络计费类型,取值范围: PayByBandwidth:按带宽计费。此时InternetMaxBandwidthOut即为所选的固定带宽值。 PayByTraffic:按流量计费。此时InternetMaxBandwidthOut只是一个带宽上限,计费以实际产生的网络流量为依据。 如果未指定该参数,经典网络下默认值为PayByBandwidth,专有网络VPC下默认值为PayByTraffic。 InternetMaxBandwidthIn Integer 否 100 公网入带宽最大值,单位为Mbps (Mega bit per second),取值范围:1~200。 如果您没有指定该参数,则入带宽将自动被设置为200Mbps。实例的入数据流量免费,该参数在任何情况下都不涉及计费。 InternetMaxBandwidthOut Integer 否 50 公网出带宽最大值,单位为Mbps (Mega bit per second),取值范围: 按带宽计费:0~100,如果您没有指定该参数,则出带宽将自动被设置为0Mbps。 按流量计费:0~100,如果您没有指定该参数,则会出现报错。 SystemDisk.Category String 否 cloud_ssd 系统盘的磁盘种类。取值范围: cloud:普通云盘 cloud_efficiency:高效云盘 cloud_ssd:SSD云盘 ephemeral_ssd:本地SSD盘 cloud_essd:ESSD云盘 InstanceType为系列I的实例规格且实例属于非I/O优化实例时,默认值:cloud。否则,默认值:cloud_efficiency。 SystemDisk.Size Integer 否 100 系统盘的大小,单位:GiB。取值范围: cloud:20~500 cloud_efficiency:20~500 cloud_ssd:20~500 cloud_essd:20~500 ephemeral_ssd:20~500 默认值:max{40, ImageSize}。 指定该参数后,系统盘大小必须大于等于max{20, ImageSize}。 SystemDisk.DiskName String 否 cloud_ssdSystem 系统盘的名称。长度为2~128个英文或中文字符。必须以大小字母或中文开头,不能以 http:// 和 https:// 开头。可以包含数字、半角冒号(:)、下划线(_)或者连字符(-)。 默认值:空。 SystemDisk.Description String 否 FinanceDept 系统盘的描述。长度为2~256个英文或中文字符,不能以 http:// 和 https:// 开头。 SystemDisk.AutoSnapshotPolicyId String 否 sp-bp12m37ccmxvbmi5**** 系统盘使用的自动快照策略ID。 ScalingConfigurationName String 否 test-sc 伸缩配置的名称,2~64英文或中文字符,以数字、大小写字母或中文开头,可包含数字、下划线(_)、连字符(-)或点号(.)。 在同一地域下同一伸缩组内伸缩配置名称唯一。如果您没有指定该参数,则默认使用伸缩配置的ID。 DataDisk.N.Size Integer 否 100 数据盘N的磁盘大小,N的取值范围:1~16,内存单位为GiB。取值范围: cloud:5~2000 cloud_efficiency:20~32768 cloud_ssd:20~32768 cloud_essd:20~32768 ephemeral_ssd:5~800 指定该参数后,磁盘大小必须大于等于快照大小(快照通过SnapshotId指定)。 DataDisk.N.SnapshotId String 否 s-280s7**** 创建数据盘时使用的快照,N的取值范围:1~16。指定该参数后,DataDisk.N.Size会被忽略,实际创建的磁盘大小为指定快照的大小。 如果该快照创建于2013年7月15日或之前,调用会被拒绝,返回参数中会提示InvalidSnapshot.TooOld。 DataDisk.N.Category String 否 cloud_ssd 数据盘N的磁盘种类,N的取值范围:1~16。该参数取值范围: cloud:普通云盘。随实例创建的普通云盘的DeleteWithInstance属性为true。 cloud_efficiency:高效云盘 cloud_ssd:SSD云盘 ephemeral_ssd:本地SSD盘 cloud_essd:ESSD云盘 对于I/O优化实例,默认值为cloud_efficiency。对于非I/O优化实例,默认值为cloud。 DataDisk.N.Device String 否 /dev/xvdb 数据盘挂载点,N的取值范围:1~16。如果您没有指定该参数,则默认在自动创建ECS实例时由系统分配,从/dev/xvdb开始,到/dev/xvdz结束。 DataDisk.N.DeleteWithInstance Boolean 否 true 指定数据盘是否随实例释放,N的取值范围:1~16。该参数取值范围: true:释放实例时,该磁盘随实例一起释放。 false:释放实例时,该磁盘保留不释放。 默认值:true。 该参数只可对独立云盘设置(DataDisk.N.Category为cloud、cloud_efficiency、cloud_ssd或cloud_essd),否则会出现报错。 DataDisk.N.Encrypted String 否 false 数据盘N是否加密,N的取值范围:1~16。该参数取值范围: true:加密 false:不加密 默认值:false。 DataDisk.N.KMSKeyId String 否 0e478b7a-4262-4802-b8cb-00d3fb40**** 数据盘对应的KMS密钥的ID,N的取值范围:1~16。 DataDisk.N.DiskName String 否 cloud_ssdData 数据盘的名称,N的取值范围:1~16。长度为2~128个英文或中文字符。必须以大小字母或中文开头,不能以 http:// 和 https:// 开头。可以包含数字、半角冒号(:)、下划线(_)或者连字符(-)。 默认值:空。 DataDisk.N.Description String 否 FinanceDept 数据盘的描述,N的取值范围:1~16。长度为2~256个英文或中文字符,不能以 http:// 和 https:// 开头。 DataDisk.N.AutoSnapshotPolicyId String 否 sp-bp19nq9enxqkomib**** 数据盘使用的自动快照策略ID,N的取值范围:1~16。 LoadBalancerWeight Integer 否 50 后端服务器的权重,取值范围:1~100。 默认值:50。 Tags String 否 {"key1":"value1","key2":"value2", ... "key5":"value5"} ECS实例的标签。标签以键值对方式传入,最多可以使用5组标签。Key和Value的使用要求如下: Key最多支持64个字符,不能以aliyun和acs:开头,不能包含 http:// 或者 https:// 。一旦使用标签,Key不允许为空字符串。 Value最多支持128个字符,不能以aliyun和acs:开头,不能包含 http:// 或者 https:// 。Value可以为空字符串。 UserData String 否 echo hello ecs! ECS实例的自定义数据,需要以Base64方式编码,编码前的原始数据最多为16KB。 KeyPairName String 否 KeyPairTest 登录ECS实例时使用的密钥对的名称。 对Windows实例,该参数将被忽略,默认为空。 对Linux实例,密码登录方式会被初始化成禁止。 RamRoleName String 否 RamRoleTest ECS实例的RAM角色名称。RAM角色名称由RAM提供和维护,您可调用ListRoles查询可用的RAM角色。创建RAM角色的方法请参见CreateRole。 SecurityEnhancementStrategy String 否 Active 是否开启安全加固。取值范围: Active:启用安全加固,只对公共镜像生效。 Deactive:不启用安全加固,对所有镜像类型生效。 InstanceName String 否 Instance**** 使用本伸缩配置自动创建的ECS实例的名称。 HostName String 否 Host**** 云服务器的主机名。点号(.)或连字符(-)不能作为首尾字符,不能连续使用点号(.)或连字符(-)。另外,不同类型实例的命名要求如下: Windows实例:主机名长度为2~15,可以包含大小写字母、数字和连字符(-)。不能包含点号(.),不能全是数字。 其他类型实例(Linux等):主机名长度为2~64,可以包含多个点号(.)。两个点号(.)之间为一段,每段可以包含大小写字母、数字和连字符(-)。 SpotStrategy String 否 NoSpot 后付费实例的抢占策略。取值范围: NoSpot:普通的按量付费实例。 SpotWithPriceLimit:设置上限价格的抢占式实例。 SpotAsPriceGo:系统自动出价,跟随当前市场实际价格。 默认值:NoSpot。 PasswordInherit Boolean 否 false 是否使用镜像预设的密码。使用该参数时,您需要确保使用的镜像已经设置了密码。 SpotPriceLimit.N.InstanceType String 否 ecs.t1.xsmall 抢占式实例的实例规格,N的取值范围:1~10。SpotStrategy取值为SpotWithPriceLimit时生效。 SpotPriceLimit.N.PriceLimit Float 否 0.5 抢占式实例对应的出价,N的取值范围:1~10。SpotStrategy取值为SpotWithPriceLimit时生效。 Password String 否 123-abcABC ECS实例的密码。长度为8至30个字符,必须同时包含大小写英文字母、数字和特殊符号中的三类字符。特殊符号可以是: ()` ~!@#$%^&*-_+=|{}[]:;'<>,.?/ 其中,Windows实例不能以斜线号(/)为密码首字符。 说明 如果传入Password参数,建议您使用HTTPS协议发送请求,避免密码泄露。 ResourceGroupId String 否 rg-resource**** ECS实例所属资源组的ID。 SecurityGroupIds.N RepeatList 否 sg-bp18kz60mefs**** 将ECS实例同时加入多个安全组。N的取值范围与实例能够加入安全组上限有关。更多详情,请参见使用限制下的安全组章节。 说明 不支持同时指定SecurityGroupId和SecurityGroupIds.N。 HpcClusterId String 否 hpc-clusterid ECS实例所属的EHPC集群的ID。 InstanceDescription String 否 FinaceDept ECS实例的描述。长度为2~256个英文或中文字符,不能以 http:// 和 https:// 开头。 ClientToken String 否 123e4567-e89b-12d3-a456-42665544**** 保证请求幂等性。从您的客户端生成一个参数值,确保不同请求间该参数值唯一。只支持ASCII字符,且不能超过64个字符。更多详情,请参见如何保证幂等性。 Ipv6AddressCount Integer 否 1 为弹性网卡指定随机生成的IPv6地址数量。 返回数据 名称 类型 示例值 描述 ScalingConfigurationId String asc-bp1ffogfdauy0nu5**** 伸缩配置ID。 RequestId String 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E 请求ID。 示例 请求示例 http(s)://[Endpoint]/?Action=CreateScalingConfiguration &ScalingGroupId=asg-bp14wlu85wrpchm0**** &SecurityGroupId=sg-280ih**** &<公共请求参数> 正常返回示例 XML 格式 asc-bp1ffogfdauy0nu5**** 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E JSON 格式 { "RequestId": "473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E", "ScalingConfigurationId": "asc-bp1ffogfdauy0nu5****" } 错误码 访问错误中心查看更多错误码。 HttpCode 错误码 错误信息 描述 400 InstanceType.Mismatch The specified scaling configuration and existing active scaling configuration have different instance type. 指定的伸缩配置的实例规格与当前的伸缩配置的实例规格不匹配。 404 InvalidDataDiskSnapshotId.NotFound Snapshot “XXX” does not exist. 不存在指定的快照。 400 InvalidDataDiskSnapshotId.SizeNotSupported The capacity of snapshot “XXX” exceeds the size limit of the specified disk category. 指定快照的大小超过了磁盘大小的限制。 403 InvalidDevice.InUse Device “XXX” has been occupied. 数据盘挂载点重复。 400 InvalidImageId.InstanceTypeMismatch The specified image does not support the specified instance type. 不允许在指定的实例规格下使用该镜像。 404 InvalidImageId.NotFound The specified image does not exist. 该账号下不存在指定的镜像。 400 InvalidKeyPairName.NotFound The specified KeyPairName does not exist in our records. 指定的KeyPairName不存在。 400 InvalidNetworkType.ForRAMRole RAMRole can't be used For classic instance. 经典网络实例不支持RamRoleName参数。 400 InvalidParameter The specified value of parameter KeyPairName is not valid. Windows系统不支持KeyPairName参数。 400 InvalidParameter.Conflict The value of parameter SystemDisk.Category and parameter DataDisk.N.Category are conflict. 指定的系统盘类型和数据盘类型冲突。 400 InvalidRamRole.NotFound The specified RamRoleName does not exist. 不存在指定的RamRoleName。 400 InvalidScalingConfigurationName.Duplicate The specified value of parameter ScalingConfigurationName is duplicated. 已存在相同伸缩配置名。 404 InvalidScalingGroupId.NotFound The specified scaling group does not exist. 该账号下不存在指定的伸缩组。 400 InvalidSecurityGroupId.IncorrectNetworkType The network type of specified security Group does not support this action. 指定的安全组与伸缩组指定网络类型不一致。 404 InvalidSecurityGroupId.NotFound The specified security group does not exist. 该账号下不存在指定的安全组。 400 InvalidSecurityGroupId.VPCMismatch The specified security group and the specified virtual switch are not in the same VPC. 指定的安全组和虚拟交换机不属于同一个虚拟专有网络。 403 InvalidSnapshot.TooOld This operation is denied because the specified snapshot is created before 2013-07-15. 该快照创建于2013年7月15日或之前,调用被拒绝。 403 InvalidSystemDiskCategory.ValueUnauthorized The system disk category is not authorized. 没有创建临时磁盘系统盘的权限。 400 InvalidUserData.Base64FormatInvalid The specified parameter UserData must be base64 encoded. UserData不符合Base64编码规范。 400 InvalidUserData.SizeExceeded The specified parameter UserData exceeds the size. 指定的UserData过长。 403 QuotaExceeded.EphemeralDiskSize Ephemeral disk size quota exceeded. 临时磁盘数据盘总容量超过2TiB(2048GiB)。 400 QuotaExceeded.ScalingConfiguration Scaling configuration quota exceeded in the specified scaling group. 您目前拥有的伸缩配置个数已经达到上限。 400 QuotaExceeded.SecurityGroupInstance Instance quota exceeded in the specified security group. 指定的安全组中添加的ECS实例个数已经达到上限。 调用DescribeScalingConfigurations查询现有的伸缩配置。 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 调试 请求参数 名称 类型 是否必选 示例值 描述 Action String 否 DescribeScalingConfigurations 系统规定参数,取值:DescribeScalingConfigurations。 RegionId String 是 cn-qingdao 伸缩配置所属伸缩组的地域ID。 PageNumber Integer 否 1 伸缩配置列表的页码。起始值:1。 默认值:1 。 PageSize Integer 否 50 分页查询时设置的每页行数。最大值:50。 默认值:10。 ScalingGroupId String 否 asg-bp17pelvl720x3v7**** 伸缩组的ID,您可以查询该伸缩组下所有的伸缩配置。 ScalingConfigurationId.1 String 否 asc-bp17pelvl720x5ub**** ScalingConfigurationId.N为待查询伸缩配置的ID,N的取值范围:1~10。查询结果包括生效和失效的伸缩配置,并通过返回参数LifecycleState进行标识。 ScalingConfigurationName.1 String 否 c1908dd1-690f-4c9b-ab73-350f1f06**** ScalingConfigurationName.N为待查询伸缩配置的名称,N的取值范围:1~10。查询结果会忽略失效的伸缩配置名称,并且不报错。 返回数据 名称 类型 示例值 描述 TotalCount Integer 1 伸缩配置的总数。 PageNumber Integer 1 当前页码。 PageSize Integer 50 每页行数。 RequestId String 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E 请求ID。 ScalingConfigurations Array 伸缩配置信息的集合。 示例 请求示例 http(s)://[Endpoint]/?Action=DescribeScalingConfigurations &RegionId=cn-qingdao &<公共请求参数> 正常返回示例 XML 格式 804F240A-8D3E-40A1-BD68-6B333DEA2CA8 1 1 50 2014-08-14T10:58Z centos6u5_64_20G_aliaegis_20140703.vhd ecs.t1.xsmall PayByTraffic 200 0 Active asc-bp1ezrfgoyn5kijl**** c1908dd1-690f-4c9b-ab73-350f1f06**** sg-280ih**** sg-bp18kz60mefs**** cloud 200 cloud s-280s7**** /dev/xvdb JSON 格式 { "RequestId": "804F240A-8D3E-40A1-BD68-6B333DEA2CA8", "TotalCount": "1", "PageNumber": "1", "PageSize": "50", "ScalingConfigurations": { "ScalingConfiguration": { "CreationTime": "2014-08-14T10:58Z", "ImageId": "centos6u5_64_20G_aliaegis_20140703.vhd", "InstanceType": "ecs.t1.xsmall", "InternetChargeType": "PayByTraffic", "InternetMaxBandwidthIn": "200", "InternetMaxBandwidthOut": "0", "LifecycleState": "Active", "ScalingConfigurationId": "asc-bp1ezrfgoyn5kijl****", "ScalingConfigurationName": "c1908dd1-690f-4c9b-ab73-350f1f06****", "ScalingGroupId": "sg-280ih****", "SecurityGroupId": "sg-bp18kz60mefs****", "SystemDiskCategory": "cloud", "DataDisks": { "DataDisk": { "Size": "200", "Category": "cloud", "SnapshotId": "s-280s7****", "Device": "/dev/xvdb" } } } } } 错误码 访问错误中心查看更多错误码。调用DeleteScalingConfiguration删除一个伸缩配置。 接口说明 以下情况不能删除伸缩配置: 伸缩配置在伸缩组中处于生效状态。 伸缩组中仍然存在使用该伸缩配置创建的ECS实例。 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 调试 请求参数 名称 类型 是否必选 示例值 描述 ScalingConfigurationId String 是 eOs27Kb0oXvQcUYjEGel**** 待删除伸缩配置的ID。 Action String 否 DeleteScalingConfiguration 系统规定参数,取值:DeleteScalingConfiguration。 返回数据 名称 类型 示例值 描述 RequestId String 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E 请求 ID。无论调用接口成功与否,我们都会返回请求 ID。 示例 请求示例 http://ess.aliyuncs.com/?Action=DeleteScalingConfiguration &ScalingConfigurationId=eOs27Kb0oXvQcUYjEGel**** &<公共请求参数> 正常返回示例 XML 格式 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E JSON 格式 { "RequestId":"473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E" } 错误码 访问错误中心查看更多错误码。 HttpCode 错误码 错误信息 描述 404 InvalidScalingConfigurationId.NotFound The specified scaling configuration does not exist. 指定的伸缩配置在该用户账号下不存在。 400 IncorrectScalingConfigurationLifecycleState The current lifecycle state of specified scaling configuration does not support this action. 指定的伸缩配置未处于Inactive状态。 400 InstanceInUse You cannot delete a scaling configuration or scaling group while there is an instance associated with it. 指定的伸缩配置还有关联的ECS实例未被删除。调用ModifyScalingConfiguration修改一个伸缩配置。 接口说明 如果修改伸缩配置的名称,请注意同一伸缩组下不能存在名称相同的伸缩配置。 调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。 调试 请求参数 名称 类型 是否必选 示例值 描述 ScalingConfigurationId String 是 asc-**** 待修改伸缩配置的ID。 Action String 否 ModifyScalingConfiguration 系统规定参数,取值: ModifyScalingConfiguration。 Cpu Integer 否 2 vCPU个数。 同时指定CPU和Memory可以定义实例规格范围,例如,CPU=2且Memory=16可以定义配置为2 vCPU和16 GiB的所有实例规格。弹性伸缩会结合IO优化、可用区等因素确定可用实例规格集合,并根据价格排序为您创建价格最低的实例。 说明 该区间配置效果仅在成本优化模式下且伸缩配置未设置实例规格时生效。 DataDisk.N.AutoSnapshotPolicyId String 否 sp-bp19nq9enxqkomib**** 数据盘使用的自动快照策略ID,N的取值范围:1~16。 DataDisk.N.Category String 否 cloud_ssd 数据盘N的磁盘种类,N的取值范围:1~16。该参数取值范围: cloud:普通云盘。随实例创建的普通云盘的DeleteWithInstance属性为true。 cloud_efficiency:高效云盘 cloud_ssd:SSD云盘 cloud_essd:ESSD云盘 ephemeral_ssd:本地SSD盘 DataDisk.N.DeleteWithInstance Boolean 否 true 指定数据盘是否随实例释放,N的取值范围:1~16。该参数取值范围: true:释放实例时,该磁盘随实例一起释放。 false:释放实例时,该磁盘保留不释放。 该参数只可对独立云盘设置(DataDisk.N.Category为cloud、cloud_efficiency、cloud_ssd或cloud_essd),否则会出现报错。 DataDisk.N.Description String 否 FinanceDept 数据盘的描述,N的取值范围:1~16。长度为2~256个英文或中文字符,不能以 http:// 和 https:// 开头。 DataDisk.N.Device String 否 /dev/xvdb 数据盘挂载点,N的取值范围:1~16。如果您没有指定该参数,则默认在自动创建ECS实例时由系统分配,从/dev/xvdb开始,到/dev/xvdz结束。 DataDisk.N.DiskName String 否 cloud_ssdData 数据盘的名称,N的取值范围:1~16。长度为2~128个英文或中文字符。必须以大小字母或中文开头,不能以 http:// 和 https:// 开头。可以包含数字、半角冒号(:)、下划线(_)或者连字符(-)。 DataDisk.N.Encrypted String 否 false 数据盘N是否加密,N的取值范围:1~16。该参数取值范围: true:加密 false:不加密 DataDisk.N.KMSKeyId String 否 0e478b7a-4262-4802-b8cb-00d3fb40**** 数据盘对应的KMS密钥的ID,N的取值范围:1~16。 DataDisk.N.Size Integer 否 100 数据盘N的磁盘大小,N的取值范围:1~16,内存单位为GiB。取值范围: cloud:5~2000 cloud_efficiency:20~32768 cloud_ssd:20~32768 cloud_essd:20~32768 ephemeral_ssd:5~800 指定该参数后,磁盘大小必须大于等于快照大小(快照通过SnapshotId指定)。 DataDisk.N.SnapshotId String 否 s-snapshot**** 创建数据盘时使用的快照,N的取值范围:1~16。指定该参数后,DataDisk.N.Size会被忽略,实际创建的磁盘大小为指定快照的大小。 如果该快照创建于2013年7月15日或之前,调用会被拒绝,返回参数中会提示InvalidSnapshot.TooOld。 DeploymentSetId String 否 ds-bp13v7bjnj9gis**** ECS实例所属的部署集的ID。 HostName String 否 Joshu**** 云服务器的主机名。点号(.)或连字符(-)不能作为首尾字符,不能连续使用点号(.)或连字符(-)。另外,不同类型实例的命名要求如下: Windows实例:主机名长度为2~15,可以包含大小写字母、数字和连字符(-)。不能包含点号(.),不能全是数字。 其他类型实例(Linux等):主机名长度为2~64,可以包含多个点号(.)。两个点号(.)之间为一段,每段可以包含大小写字母、数字和连字符(-)。 HpcClusterId String 否 hpc-clusterid ECS实例所属的EHPC集群的ID。 ImageId String 否 centos6u5_64_20G_aliaegis_20140703.vhd 镜像文件ID,自动创建实例时使用的镜像资源。 ImageName String 否 suse11sp3_64_20G_aliaegis_20150428.vhd 镜像文件名称,同一个地域内镜像名称唯一。如果设置了ImageId, ImageName将被忽略。 不支持通过ImageName设置镜像市场镜像。 InstanceDescription String 否 FinaceDept ECS实例的描述。长度为2~256个英文或中文字符,不能以 http:// 和 https:// 开头。 InstanceName String 否 Joshu**** 使用本伸缩配置自动创建的ECS实例的名称。 InstanceTypes.N RepeatList 否 ecs.t1.xsmall 多实例规格参数。如果使用了InstanceTypes.N,InstanceType将被忽略,其中N的取值范围:1~10,即一个伸缩配置内最多可以设置10种实例规格。 N代表当前伸缩配置中实例规格的优先级,编号为1的实例规格优先级最高,实例规格优先级随着编号的增大依次降低。当无法根据优先级较高的实例规格创建出实例时,弹性伸缩服务会自动选择下一优先级的实例规格来创建实例。 InternetChargeType String 否 PayByBandwidth 网络计费类型,取值范围: PayByBandwidth:按带宽计费。此时InternetMaxBandwidthOut即为所选的固定带宽值。 PayByTraffic:按流量计费。此时InternetMaxBandwidthOut只是一个带宽上限,计费以实际产生的网络流量为依据。 InternetMaxBandwidthOut Integer 否 50 公网出带宽最大值,单位为Mbps (Mega bit per second),取值范围: 按带宽计费:0~100,如果您没有指定该参数,则出带宽将自动被设置为0Mbps。 按流量计费:0~100,如果您没有指定该参数,则会出现报错。 IoOptimized String 否 none 是否为I/O优化实例。取值范围: none:非I/O优化实例。 optimized:I/O优化实例。 KeyPairName String 否 null 登录ECS实例时使用的密钥对的名称。 对Windows实例,该参数将被忽略,默认为空。 对Linux实例,密码登录方式会被初始化成禁止。 LoadBalancerWeight Integer 否 50 后端服务器的权重,取值范围:0~100。 Memory Integer 否 16 内存大小。 同时指定CPU和Memory可以定义实例规格范围,例如,CPU=2且Memory=16可以定义配置为2 vCPU和16 GiB的所有实例规格。弹性伸缩会结合IO优化、可用区等因素确定可用实例规格集合,并根据价格排序为您创建价格最低的实例。 说明 该区间配置效果仅在成本优化模式下且伸缩配置未设置实例规格时生效。 Override Boolean 否 true 是否覆盖。取值范围: true false PasswordInherit Boolean 否 false 是否使用镜像预设的密码。使用该参数时,您需要确保使用的镜像已经设置了密码。 RamRoleName String 否 RamRoleTest ECS实例的RAM角色名称。RAM角色名称由RAM提供和维护,您可调用ListRoles查询可用的RAM角色。创建RAM角色的方法请参见CreateRole。 ResourceGroupId String 否 abcd1234abcd**** ECS实例所属资源组的ID。 ScalingConfigurationName String 否 test-modify 伸缩配置的名称,2~64个英文或中文字符,以数字、大小写字母或中文开头,可包含数字、下划线(_)、连字符(-)或点号(.)。 在同一地域下同一伸缩组内伸缩配置名称唯一。如果您没有指定该参数,则默认使用伸缩配置的ID。 SecurityGroupId String 否 sg-F876F**** ECS实例所属的安全组的ID,同一个安全组内的ECS实例可以互相访问。 SecurityGroupIds.N RepeatList 否 sg-bp18kz60mefs**** 将ECS实例同时加入多个安全组。N的取值范围与实例能够加入安全组上限有关。更多详情,请参见使用限制下的安全组章节。 说明 不支持同时指定SecurityGroupId和SecurityGroupIds.N。 SpotPriceLimit.N.InstanceType String 否 ecs.t1.small 抢占式实例的实例规格,N的取值范围:1~10。SpotStrategy取值为SpotWithPriceLimit时生效。 SpotPriceLimit.N.PriceLimit Float 否 0.125 抢占式实例对应的出价,N的取值范围:1~10。SpotStrategy取值为SpotWithPriceLimit时生效。 SpotStrategy String 否 NoSpot 后付费实例的抢占策略。取值范围: NoSpot:普通的按量付费实例。 SpotWithPriceLimit:设置上限价格的抢占式实例。 SpotAsPriceGo:系统自动出价,跟随当前市场实际价格。 SystemDisk.AutoSnapshotPolicyId String 否 sp-bp12m37ccmxvbmi5**** 系统盘使用的自动快照策略ID。 SystemDisk.Category String 否 cloud_efficiency 系统盘的磁盘种类。取值范围: cloud:普通云盘 cloud_efficiency:高效云盘 cloud_ssd:SSD云盘 cloud_essd:ESSD云盘 ephemeral_ssd:本地SSD盘 SystemDisk.Description String 否 FinanceDept 系统盘的描述。长度为2~256个英文或中文字符,不能以 http:// 和 https:// 开头。 SystemDisk.DiskName String 否 cloud_ssdSystem 系统盘的名称。长度为2~128个英文或中文字符。必须以大小字母或中文开头,不能以 http:// 和 https:// 开头。可以包含数字、半角冒号(:)、下划线(_)或者连字符(-)。 SystemDisk.Size Integer 否 50 系统盘的大小,单位:GiB。取值范围: cloud:20~500 cloud_efficiency:20~500 cloud_ssd:20~500 cloud_essd:20~500 ephemeral_ssd:20~500 指定该参数后,系统盘大小必须大于等于max{20, ImageSize}。 Tags String 否 “key1”:”value1” ECS实例的标签。标签以键值对方式传入,最多可以使用5组标签。Key和Value的使用要求如下: Key最多支持64个字符,不能以aliyun和acs:开头,不能包含 http:// 或者 https:// 。一旦使用标签,Key不允许为空字符串。 Value最多支持128个字符,不能以aliyun和acs:开头,不能包含 http:// 或者 https:// 。Value可以为空字符串。 UserData String 否 echo hello ecs! ECS实例的自定义数据,需要以Base64方式编码,编码前的原始数据最多为16KB。 返回数据 名称 类型 示例值 描述 RequestId String 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E 请求ID。 示例 请求示例 http(s)://[Endpoint]/?Action=ModifyScalingConfiguration &ScalingConfigurationId=asc-**** &<公共请求参数> 正常返回示例 XML 格式 473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E JSON 格式 { "requestId":"473469C7-AA6F-4DC5-B3DB-A3DC0DE3C83E" } 错误码 访问错误中心查看更多错误码。 HttpCode 错误码 错误信息 描述 403 Forbidden.Unauthorized A required authorization for the specified action is not supplied. 未授权操作当前Action。 404 InvalidDataDiskSnapshotId.NotFound Snapshot “XXX” does not exist. 不存在指定的快照。 400 InvalidDataDiskSnapshotId.SizeNotSupported The capacity of snapshot “XXX” exceeds the size limit of the specified disk category. 指定快照的大小超过了磁盘大小的限制。 404 InvalidImageId.NotFound The specified image does not exist. 指定的镜像不存在。 400 InvalidKeyPairName.NotFound The specified KeyPairName does not exist in our records. 指定的KeyPairName不存在。 400 InvalidNetworkType.ForRAMRole RAMRole can’t be used For classic instance. 经典网络实例不支持RamRoleName参数。 400 InvalidParamter The specified value of parameter is not valid. 指定的参数值无效。 400 InvalidScalingConfigurationName.Duplicate The specified value of parameter is duplicated. 伸缩配置名已存在。 400 InvalidSecurityGroupId.IncorrectNetworkType The network type of specified Security Group does not support this action. 指定的安全组与伸缩组指定网络类型不一致。 400 InvalidSecurityGroupId.VPCMismatch The specified security group and the specified virtual switch are not in the same VPC. 指定的安全组和虚拟交换机不属于同一个虚拟专有网络。 400 InvalidTags.KeyValue The specified tags key/value cannot be empty. 必须指定Tags参数。 400 InvalidTags.ListSize The specified tags list size cannot be more than “5”. Tags列表长度超过限制长度。 400 InvalidUserData.Base64FormatInvalid The specified parameter UserData must be base64 encoded. UserData不符合Base64编码规范。 400 InvalidUserData.SizeExceeded The specified parameter UserData exceeds the size. 指定的UserData过长。

1934890530796658 2020-03-25 10:04:36 0 浏览量 回答数 0

回答

配置你的 csh/tcsh 选择 csh/tcsh 和许多刚从 Linux 转到 BSD 的人不同,我并没有装完 BSD 就顺手安装 bash,因为之前除了打命令,我没有用到额外的功能,bash 也好,csh 也罢,在我眼里都是当做 shell 来用。但是渐渐地,我发现 csh 真的挺好用,它小巧、简单、开放,不需要额外依赖。可能有人要拿脚本能力来作对比,比如bash脚本支持函数,csh不支持等。对我来说,其实我从未像模像样地写过一个脚本,我的工作是 C++ 程序员。从我的角度来看,论脚本能力,其实bash、csh、zsh都比不上Python,论兼容性,bash、csh、zsh都比不上sh,论强大,bash、csh、zsh都比不上C/C++,甚至asm。再看易学程度,bash、csh、zsh可能还是要输给Python。综上,脚本能力忽略不计。:-x好了,说了这么多大不敬的话,我们开始切入正题。8-) 配置文件 全局配置文件 /etc/csh.cshrc个人配置文件 ~/.cshrc或~/.tcshrc为了方便,建议修改全局性的配置文件,这样每个账号都可以享受便利。按键绑定 通常,我们不设置按键绑定也能很好地工作,但是对于远程登录,可能需要一些额外的配置。比如,为了避免putty登录后,Home、End、Delete等变成~,你需要如下配置: bindkey '\e[1~' beginning-of-line # Home bindkey '\e[3~' delete-char # Delete bindkey '\e[4~' end-of-line # End bindkey "^W" backward-delete-word # Delete bindkey -k up history-search-backward # PageUp bindkey -k down history-search-forward # PageDown 提示符 设置一个漂亮使用的的提示符可以让工作变得更愉快高效。 以下是一个合理的配置方案: if ( $?prompt ) then #如果$prompt变量尚未设置,则做如下设置 if ( "$uid" == "0" ) then #判断用户的uid set prompt = "%U%n%u@%m [%l] %B%~%b # " #对于root,我们显示“#”号 else set prompt = "%U%n%u@%m [%l] %B%~%b % " #对于普通用户,显示“%”号。 endif endif Konsole中的效果如下: prompt2_img 一种彩色的配置方案如下: set cr = "%{\e[31m%}" #开始红色 set cg = "%{\e[32m%}" #开始绿色 set c0 = "%{\e[0m%}" #恢复为默认色彩 # Set some variables for interactive shells if ( $?prompt ) then if ( "$uid" == "0" ) then set prompt = "%B%U%n%u@%m.$cr%l$c0%b %c2 %B%#%b " else set prompt = "%B%U%n%u@%m.$cg%l$c0%b %c2 %B%%%b " endif endif Konsole中的效果如下: prompt3.png 颜色代码: 1 for brighter colors 4 for underlined text 5 for flashing text 30 for black foreground 31 for red foreground 32 for green foreground 33 for yellow (or brown) foreground 34 for blue foreground 35 for purple foreground 36 for cyan foreground 37 for white (or gray) foreground 40 for black background 41 for red background 42 for green background 43 for yellow (or brown) background 44 for blue background 45 for purple background 46 for cyan background 47 for white (or gray) background 查看更多参数,及其作用: man tcsh #查看man手册 /%/ #搜索到“%/”开始的地方 环境变量等 你在抱怨 FreeBSD下的 ls 没有显示颜色, grep 出来的东西没有高亮吗? 那么你需要如下的配置: 让 ls 鲜艳些 setenv LSCOLORS ExGxFxdxCxegedabagExExsetenv CLICOLOR yes 让 grep 匹配到的字符高亮 setenv GREP_OPTIONS --color=auto对于在KDE下使用fcitx的人,需要如下三行设置,其实就是fcitx安装完后所提示的内容,如果你够细心的话。setenv XMODIFIERS @im=fcitxsetenv QT_IM_MODULE ximsetenv GTK_IM_MODULE xim嗯, ls 有颜色了,但是等等,为何 tab 不能补全?你需要如下配置:set autolist若要在补全时也将历史记录(即命令history的输出)纳入参考范围,可以添加如下配置:set autoexpand而对与命令history本身,则提供了以下两项配置:set history = 100set savehist = 10第一项设置了历史记录暂存条数,默认为100;第二项设置了退出当前Shell时会将多少条最新的暂存条数写入~/.history,其取值显然不能大于set history。需要说明的是,在savehist的设置中,还可以使用类似set savehist = (10 merge)的写法;这里merge表示保存时合并历史记录中的相同命令,合并后的序列号、时间则与其中最新者相同。如果命令输错了,让csh/tcsh 为你纠正:set correct = cmd为了在命令行启动某个游戏,或者kde程序,例如dolphin、kcalc,你需要加两个路径到$path中去:/usr/games /usr/local/kde4/bin/ set path = (/sbin /bin /usr/sbin /usr/local/bin /usr/games /usr/local/sbin /usr/bin $HOME/bin /usr/local/kde4/bin/) 黑魔法防御术 重定向防御 重定向很强大,我们有时候会运行诸如“date » b.txt”,“ls -l > files.txt”等命令。然而如果一不小心,把“»”输成“>”会造成什么后果呢?为此,tcsh提供了noclobber这个选项:set noclobber有了它,悲剧就不会发生。如果“>”的目标文件已存在,tcsh会拒绝重定向。覆盖防御 是否遇到过“mv a b”,从而把有用的b文件覆盖掉了?为此,我们要让mv和cp的行为更谨慎:alias mv 'mv -i'alias cp 'cp -i'如果目标文件已存在,mv和cp会拒绝操作,除非使用参数“-f”。误删防御 rm这个命令自从诞生起,就一直是个危险的操作。我们可以让rm更温和:alias rm 'rm -i'这样rm之前,会要求再次确认。一切皆alias 前面,我们在黑魔法防御术中已经初步见识了alias。alias不仅可以避免危险操作,还可以简化命令,自创命令。除非极短,否则良好的alias命名,应当以某个统一的单词或字母开头,例如下面即将展示的reload/edit系列、update系列、show系列等。先展示最基本的alias,并逐条解释。alias .. 'cd ..' #两点即可回到上级目录alias - 'cd -' #一杠返回上次的目录alias q 'exit' #退出登录alias rm 'rm -i' #误删防御alias del 'rm -r' #删除整个目录alias mv 'mv -i' #覆盖防御alias cp 'cp -i' #覆盖防御alias ls 'ls -I' #root状态下,默认不显示隐藏文件(.*)。BSD的ls很特殊,root默认显示所有文件。alias la 'ls -a' #显示所有文件alias ll 'ls -h -l' #显示文件权限和大小(以合理的单位)alias lr 'ls -R' #递归显示目录alias dh 'df -h -a -T' #以合适的单位显示所有磁盘的剩余空间,以及文件系统类型(如ufs、devfs、procfs)。alias ds 'du -sh' #以合适的单位显示查看每个文件/文件夹的大小find/wc系列。快速查找当前目录下的所有c/cxx/python源码文件。结合wc可以统计行数。alias find-c 'find . -name ".h" -o -name ".c"'alias find-x 'find . -name ".h" -o -name ".hpp" -o -name ".cpp" -o -name ".cxx"'alias find-py 'find . -name ".py"'alias wc-c 'find . -name ".h" -o -name ".c" | xargs wc | sort -k 4'alias wc-x 'find . -name ".h" -o -name ".hpp" -o -name ".cpp" -o -name ".cxx" | xargs wc | sort -k 4'alias wc-py 'find . -name ".py" | xargs wc | sort -k 4'reload/edit系列。实现快速修改,载入配置文件。alias reload-rc.conf 'sh /etc/rc'alias reload-cshrc 'unalias * && source /etc/csh.cshrc'alias edit-xorg.conf 'vim /etc/xorg.conf'alias edit-csh.cshrc 'vim /etc/csh.cshrc'alias edit-make.conf 'vim /etc/make.conf'alias edit-kern.conf 'vim /etc/kernconf/thinkpad'alias edit-rc.conf 'vim /etc/rc.conf'alias edit-vimrc 'vim /usr/local/share/vim/vimrc'set系列。快速设置locale。 alias setlocale-zhcn 'setenv LC_ALL zh_CN.UTF-8 && setenv LANG zh_CN.UTF-8'alias setlocale-c 'setenv LC_ALL C'startx专用。保持命令行下为英文locale(避免date等命令出现乱码),而让x环境为中文,适合手动startx而不是kdm的人。 alias sx 'setenv LC_ALL zh_CN.UTF-8 && setenv LANG zh_CN.UTF-8 && startx && setenv LC_ALL C'make系列。快速编译kernel/world。 alias make-world 'cd /usr/src && make buildworld && cd -'alias make-kernel 'cd /usr/src && make kernel KERNCONF=thinkpad && cd -'alias make-installworld 'cd /usr/src && make installworld && make delete-old && cd -'show系列。查看状态或某些信息。 alias show-ifstat 'systat -ifstat' #查看网络接口的数据流量alias show-geom 'gstat' #查看I/O状态alias show-thermal 'sysctl dev.acpi_ibm.0.thermal' #查看ThinkPad笔记本的各部分温度alias show-cpufreq 'sysctl dev.cpu.0.freq' #查看当前cpu频率alias show-cpulevels 'sysctl dev.cpu.0.freq_levels' #查看可用的cpu频率alias show-battery 'sysctl hw.acpi.battery.life && sysctl hw.acpi.battery.time' #查看电力alias show-smartctl 'smartctl -a /dev/ad4' #需要安装smartmontools,查看磁盘smart参数alias show-alldep 'make all-depends-list' #需要在ports的安装目录下执行,显示所有依赖alias show-dep 'portmaster --show-work ./ | sort' #同上,且需要安装portmaster,只显示尚未安装的依赖alias show-ver 'pkg_version -v' #查看是否有软件可更新update系列。顾名思义,更新嘛。alias update-locatedb '/usr/libexec/locate.updatedb' #更新locate数据库alias update-kernsrc 'csup -L 2 /etc/supfiles/stable-supfile' #同步kernel treealias update-ports 'portsnap fetch update' #同步ports treealias update-apps 'portmaster -a --force-config' #需要安装portmaster,更新所有软件,提示配置选项杂项,均需要安装第三方软件才能用。 alias lt 'tree -N -C' #需要安装tree。树状显示目录,-N可以保证中文显示,-C使用彩色alias l3 'tree -N -C -L 3' #目录最多递归三级alias l4 'tree -N -C -L 4' #四级alias l5 'tree -N -C -L 5' #五级alias l6 'tree -N -C -L 6' #六级alias v 'vim' #不用说,我懒alias m 'mocp' #控制台下的cs架构播放器alias getdir 'wget -c -r -np -k' #递归下载目录alias ssh-home 'ssh raphael.vicp.cc -l root' #用root账号登录,结合key可以免输密码alias ftp-home 'ftp ftp://syh:syh@raphael.vicp.cc' #BSD自带的ftp,免输账号密码。主机已被电信和工信部和谐,勿再试alias lft-phome 'lftp raphael.vicp.cc -u syh,syh' #lftp的免输账号密码。alias scons 'scons -Q -j 4' #构建工具,默认4个线程进行alias valgrind-checkmem 'valgrind --tool=memcheck --leak-check=full' #检查内存泄漏

小旋风柴进 2019-12-02 02:35:10 0 浏览量 回答数 0

回答

标题应该改一下呢?加上PostgreSQL吧。 有几篇更详细的讲PostgreSQL性能优化的http://yq.aliyun.com/articles/214http://yq.aliyun.com/articles/215还有专门讲参数优化的视频 PostgreSQL 性能优化视频(18集全) : 18. 性能优化培训 - 综合优化案例 http://www.tudou.com/programs/view/UeXudDhDaHU/ 17. 性能优化培训 - 性能分析工具3, pg_statsinfo的使用(与DBA培训同集) http://www.tudou.com/programs/view/5SUCgb7_hsY/ 16. 性能优化培训 - 性能分析工具2, pg_stat_statements http://www.tudou.com/listplay/JW66CCxpr-s/xkOD3u8kQkE.html (注意,里面有一些描述有问题。pg_stat_statements是在数据库启动时加载。 运行过程有write操作(和PG版本有个,以前的版本可以不持久化,没有write操作,现在的版本都有write操作),数据库关闭时fsync。) (在run到hook处时加载。) 15. 性能优化培训 - 性能分析工具1, sar http://www.tudou.com/listplay/JW66CCxpr-s/qX8HOgBZu2M.html 14. 性能优化培训 - PostgreSQL压力测试工具pgbench讲解 http://www.tudou.com/listplay/JW66CCxpr-s/OUl0DLhiJwg.html 13. 性能优化培训 - 如何让数据库输出好的执行计划, 访问开关, 指定表关联顺序, 遗传算法 http://www.tudou.com/listplay/JW66CCxpr-s/dS2x85nosBw.html 12. 性能优化培训 - PostgreSQL锁的详解 http://www.tudou.com/listplay/JW66CCxpr-s/OsRGPcGEL9M.html 11. 性能优化培训 - PostgreSQL事务隔离级别讲解 http://www.tudou.com/listplay/JW66CCxpr-s/2sqzjiuqKFY.html 10. 性能优化培训 - 函数的三种稳定性状态对优化器的影响分解讲解 http://www.tudou.com/programs/view/p6E3oQEsZv0/ 9. 性能优化培训 - PostgreSQL trace & debug (跟踪和调试) http://www.tudou.com/programs/view/SbglCp2T3t4/ 8. 性能优化培训 - 执行计划缓存管理, 绑定变量接口 http://www.tudou.com/programs/view/kwmilXD7JEw/ 7. 性能优化培训 - auto_explain插件, 索引扫描引发的heap page scan被放大的实例讲解 http://www.tudou.com/programs/view/LwMWC4ZpOhU/ 6. PostgreSQL 性能优化培训 - 执行计划成本因子(page scan cost, cpu cost)的校准方法实例讲解 http://www.tudou.com/programs/view/yQ0SzBqx_4w/ 5. PostgreSQL 性能优化培训 - 行评估算法讲解, 成本计算实例讲解 http://www.tudou.com/programs/view/3zgOuh7kbfs/ 4. PostgreSQL 性能优化培训 - explain 实例讲解 http://www.tudou.com/programs/view/QztOh_hCFKw 3. PostgreSQL 性能优化培训 - explain输出结构信息详解 http://www.tudou.com/programs/view/OZSUbOFZ0U4 2. PostgreSQL 性能优化培训 - 统计信息详解, 成本因子介绍 http://www.tudou.com/programs/view/oA1v5sDFq3Q/ 1. PostgreSQL 性能优化培训 - 授课环境搭建讲解 http://www.tudou.com/programs/view/AVCbdfl9rH8/ 建议的参数项 echo "----->>>---->>> 获取postgresql.conf配置: " grep '^\ *[a-z]' $PGDATA/postgresql.conf|awk -F "#" '{print $1}' echo "建议: " echo " 主备配置尽量保持一致, 配置合理的参数值." echo -e " 建议修改的参数列表如下 ( 假设操作系统内存为128GB, 数据库独占操作系统, 数据库版本9.4.x ) : echo "" listen_addresses = '0.0.0.0' # 监听所有IPV4地址 port = 1921 # 监听非默认端口 max_connections = 4000 # 最大允许连接数 superuser_reserved_connections = 20 # 为超级用户保留的连接 unix_socket_directories = '.' # unix socket文件目录最好放在$PGDATA中, 确保安全 unix_socket_permissions = 0700 # 确保权限安全 tcp_keepalives_idle = 30 # 间歇性发送TCP心跳包, 防止连接被网络设备中断. tcp_keepalives_interval = 10 tcp_keepalives_count = 10 shared_buffers = 16GB # 数据库自己管理的共享内存大小 huge_pages = try # 尽量使用大页, 需要操作系统支持, 配置vm.nr_hugepages*2MB大于shared_buffers. maintenance_work_mem = 512MB # 可以加速创建索引, 回收垃圾(假设没有设置autovacuum_work_mem) autovacuum_work_mem = 512MB # 可以加速回收垃圾 shared_preload_libraries = 'auth_delay,passwordcheck,pg_stat_statements,auto_explain' # 建议防止暴力破解, 密码复杂度检测, 开启pg_stat_statements, 开启auto_explain, 参考 http://blog.163.com/digoal@126/blog/static/16387704020149852941586 bgwriter_delay = 10ms # bgwriter process间隔多久调用write接口(注意不是fsync)将shared buffer中的dirty page写到文件系统. bgwriter_lru_maxpages = 1000 # 一个周期最多写多少脏页 max_worker_processes = 20 # 如果要使用worker process, 最多可以允许fork 多少个worker进程. wal_level = logical # 如果将来打算使用logical复制, 最后先配置好, 不需要停机再改. synchronous_commit = off # 如果磁盘的IOPS能力一般, 建议使用异步提交来提高性能, 但是数据库crash或操作系统crash时, 最多可能丢失2*wal_writer_delay时间段产生的事务日志(在wal buffer中). wal_sync_method = open_datasync # 使用pg_test_fsync测试wal所在磁盘的fsync接口, 使用性能好的. wal_buffers = 16MB wal_writer_delay = 10ms checkpoint_segments = 1024 # 等于shared_buffers除以单个wal segment的大小. checkpoint_timeout = 30min checkpoint_completion_target = 0.2 archive_mode = on # 最好先开启, 否则需要重启数据库来修改 archive_command = '/bin/date' # 最好先开启, 否则需要重启数据库来修改, 将来修改为正确的命令例如, test ! -f /home/postgres/archivedir/pg_root/%f && cp %p /home/postgres/archivedir/pg_root/%f max_wal_senders = 32 # 最多允许多少个wal sender进程. wal_keep_segments = 2048 # 在pg_xlog目录中保留的WAL文件数, 根据流复制业务的延迟情况和pg_xlog目录大小来预估. max_replication_slots = 32 # 最多允许多少个复制插槽 hot_standby = on max_standby_archive_delay = 300s # 如果备库要被用于只读, 有大的查询的情况下, 如果遇到conflicts, 可以考虑调整这个值来避免conflict造成cancel query. max_standby_streaming_delay = 300s # 如果备库要被用于只读, 有大的查询的情况下, 如果遇到conflicts, 可以考虑调整这个值来避免conflict造成cancel query. wal_receiver_status_interval = 1s hot_standby_feedback = on random_page_cost = 2 # 根据IO能力调整 effective_cache_size = 100GB # 调整为与内存一样大, 或者略小(减去shared_buffer). 用来评估OS PAGE CACHE可以用到的内存大小. log_destination = 'csvlog' logging_collector = on log_truncate_on_rotation = on log_rotation_size = 10MB log_min_duration_statement = 1s log_checkpoints = on log_connections = on log_disconnections = on log_error_verbosity = verbose # 在日志中输出代码位置 log_lock_waits = on log_statement = 'ddl' autovacuum = on log_autovacuum_min_duration = 0 autovacuum_max_workers = 10 autovacuum_naptime = 30s # 快速唤醒, 防止膨胀 autovacuum_vacuum_scale_factor = 0.02 # 当垃圾超过比例时, 启动垃圾回收工作进程 autovacuum_analyze_scale_factor = 0.1 auth_delay.milliseconds = 5000 # 认证失败, 延迟多少毫秒反馈 auto_explain.log_min_duration = 5000 # 记录超过多少毫秒的SQL当时的执行计划 auto_explain.log_analyze = true auto_explain.log_verbose = true auto_explain.log_buffers = true auto_explain.log_nested_statements = true pg_stat_statements.track_utility=off

德哥 2019-12-02 01:29:26 0 浏览量 回答数 0

万券齐发助力企业上云,爆款产品低至2.2折起!

限量神券最高减1000,抢完即止!云服务器ECS新用户首购低至0.95折!

问题

EMR 常见问题?

nicenelly 2019-12-01 21:19:58 2355 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 功能简介 您可以通过客户端提供的Tunnel命令实现原有Dship工具的功能。 Tunnel命令主要用于数据的上传和下载等功能。 Upload:支持文件或目录(指一级目录)的上传,每一次上传只支持数据上传到一张表或表的一个分区,有分区的表一定要指定上传的分区,多级分区一定要指定到末级分区。tunnel upload log.txt test_project.test_table/p1="b1",p2="b2"; -- 将log.txt中的数据上传至项目空间test_project的表test_table(二级分区表)中的p1="b1",p2="b2"分区 tunnel upload log.txt test_table --scan=only; -- 将log.txt中的数据上传至表 test_table 中。--scan参数表示需要扫描log.txt中的数据是否符合 test_table 的定义,如果不符合报错,并停止上传数据。 Download:只支持下载到单个文件,每一次下载只支持下载一张表或一个分区到一个文件,有分区的表一定要指定下载的分区,多级分区一定要指定到末级分区。tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt; -- 将test_project.test_table表(二级分区表)中的数据下载到 test_table.txt 文件中 Resume:因为网络或tunnel服务的原因出错,支持文件或目录的续传。可以继续上一次的数据上传操作,但Resume命令暂时没有对下载操作的支持。tunnel resume; Show:显示历史任务信息。tunnel show history -n 5; --显示前5次上传/下载数据的详细命令 tunnel show log; --显示最后一次上传/下载数据的日志 Purge:清理session目录,默认清理3天内的。tunnel purge 5; --清理前5天的日志 Tunnel上传下载限制 Tunnel命令不支持上传下载Array、Map和Struct类型的数据。 每个Tunnel的Session 在服务端的生命周期为 24 小时,创建后 24 小时内均可使用,也可以跨进程/线程共享使用,但是必须保证同一个 BlockId 没有重复使用。 Tunnel命令使用说明 Tunnel命令支持在客户端通过help子命令获取帮助信息,每个命令和选择支持短命令格式。 odps@ project_name>tunnel help; Usage: tunnel <subcommand> [options] [args] Type 'tunnel help <subcommand>' for help on a specific subcommand. Available subcommands: upload (u) download (d) resume (r) show (s) purge (p) help (h) tunnel is a command for uploading data to / downloading data from ODPS. 参数说明: upload:上传数据到MaxCompute的表中。 download:从MaxCompute的表中下载数据。 resume:如果上传数据失败,通过resume命令进行断点续传,目前仅支持上传数据的续传。每次上传、下载数据被称为一个session。在resume命令后指定session id完成续传。 show:查看历史运行信息。 purge:清理session目录。 help:输出tunnel帮助信息。 Upload 将本地文件的数据导入MaxCompute的表中,以追加模式导入。子命令使用提示: odps@ project_name>tunnel help upload; usage: tunnel upload [options] <path> <[project.]table[/partition]> upload data from local file -acp,-auto-create-partition <ARG> auto create target partition if not exists, default false -bs,-block-size <ARG> block size in MiB, default 100 -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -cp,-compress <ARG> compress, default true -dbr,-discard-bad-records <ARG> specify discard bad records action(true|false), default false -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss; -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -mbr,-max-bad-records <ARG> max bad records, default 1000 -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -s,-scan <ARG> specify scan file action(true|false|only), default true -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\ds hip -ss,-strict-schema <ARG> specify strict schema mode. If false, extra data will be abandoned and insufficient field will be filled with null. Default true -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai Example: tunnel upload log.txt test_project.test_table/p1="b1",p2="b2" 参数说明: -acp:如果不存在,自动创建目标分区,默认关闭。 -bs:每次上传至Tunnel的数据块大小,默认100MiB(1MiB=1024*1024B)。 -c:指定本地数据文件编码,默认为UTF-8。不设定,默认下载源数据。 -cp:指定是否在本地压缩后再上传,减少网络流量,默认开启。 -dbr:是否忽略脏数据(多列、少列、列数据类型不匹配等情况)。 值为true时,将全部不符合表定义的数据忽略。 值为false时,若遇到脏数据,则给出错误提示信息,目标表内的原始数据不会被污染。 -dfp:DateTime类型数据格式,默认为yyyy-MM-dd HH:mm:ss。如果您想指定时间格式到毫秒级别,可以使用tunnel upload -dfp 'yyyy-MM-dd HH:mm:ss.SSS',有关DateTime数据类型的详情请参见数据类型。 -fd:本地数据文件的列分割符,默认为逗号。 -h:数据文件是否包括表头,如果为true,则dship会跳过表头从第二行开始上传数据。 -mbr:默认情况下,当上传的脏数据超过1000条时,上传动作终止。通过此参数,可以调整可容忍的脏数据量。 -ni:NULL数据标志符,默认为“ ”(空字符串)。 -rd:本地数据文件的行分割符,默认为\r\n。 -s:是否扫描本地数据文件,默认值为false。 值为true时,先扫描数据,若数据格式正确,再导入数据。 值为false时,不扫描数据,直接进行数据导入。 值为only时,仅进行扫描本地数据,扫描结束后不继续导入数据。 -sd:设置session目录。 -te:指定tunnel的Endpoint。 -threads:指定threads的数量,默认为1。 -tz:指定时区。默认为本地时区:Asia/Shanghai。 示例如下: 创建目标表,如下所示: CREATE TABLE IF NOT EXISTS sale_detail( shop_name STRING, customer_id STRING, total_price DOUBLE) PARTITIONED BY (sale_date STRING,region STRING); 添加分区,如下所示:alter table sale_detail add partition (sale_date='201312', region='hangzhou'); 准备数据文件data.txt,其内容如下所示:shopx,x_id,100 shopy,y_id,200 shopz,z_id这份文件的第三行数据与sale_detail的表定义不符。sale_detail定义了三列,但数据只有两列。 导入数据,如下所示:odps@ project_name>tunnel u d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false Upload session: 20150610xxxxxxxxxxx70a002ec60c Start upload:d:\data.txt Total bytes:41 Split input to 1 blocks 2015-06-10 16:39:22 upload block: '1' ERROR: column mismatch -,expected 3 columns, 2 columns found, please check data or delimiter由于data.txt中有脏数据,数据导入失败。并给出session id及错误提示信息。 数据验证,如下所示:odps@ odpstest_ay52c_ay52> select * from sale_detail where sale_date='201312'; ID = 20150610xxxxxxxxxxxvc61z5 +-----------+-------------+-------------+-----------+--------+ | shop_name | customer_id | total_price | sale_date | region | +-----------+-------------+-------------+-----------+--------+ +-----------+-------------+-------------+-----------+--------+由于有脏数据,数据导入失败,表中无数据。 Show 显示历史记录。子命令使用提示: odps@ project_name>tunnel help show; usage: tunnel show history [options] show session information -n,-number <ARG> lines Example: tunnel show history -n 5 tunnel show log 参数说明: -n:指定显示行数。 示例如下: odps@ project_name>tunnel show history; 20150610xxxxxxxxxxx70a002ec60c failed 'u --config-file /D:/console/conf/odps_config.ini --project odpstest_ay52c_ay52 --endpoint http://service.odps.aliyun.com/api --id UlxxxxxxxxxxxrI1 --key 2m4r3WvTxxxxxxxxxx0InVke7UkvR d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false' 说明 20150610xxxxxxxxxxx70a002ec60c是上节中导入数据失败时的运行ID。 Resume 修复执行历史记录,仅对上传数据有效。子命令使用提示: odps@ project_name>tunnel help resume; usage: tunnel resume [session_id] [-force] resume an upload session -f,-force force resume Example: tunnel resume 示例如下: 修改data.txt文件为如下内容: shop9,97,100 shop10,10,200 修复执行上传数据,如下所示: odps@ project_name>tunnel resume 20150610xxxxxxxxxxx70a002ec60c --force; start resume 20150610xxxxxxxxxxx70a002ec60c Upload session: 20150610xxxxxxxxxxx70a002ec60c Start upload:d:\data.txt Resume 1 blocks 2015-06-10 16:46:42 upload block: '1' 2015-06-10 16:46:42 upload block complete, blockid=1 upload complete, average speed is 0 KB/s OK 说明 20150610xxxxxxxxxxx70a002ec60c为上传失败的session ID。 数据验证,如下所示: odps@ project_name>select * from sale_detail where sale_date='201312'; ID = 20150610xxxxxxxxxxxa741z5 +-----------+-------------+-------------+-----------+--------+ | shop_name | customer_id | total_price | sale_date | region | +-----------+-------------+-------------+-----------+--------+ | shopx | x_id | 100.0 | 201312 | hangzhou| | shopy | y_id | 200.0 | 201312 | hangzhou| +-----------+-------------+-------------+-----------+--------+ Download 子命令使用提示: odps@ project_name>tunnel help download; usage:tunnel download [options] <[project.]table[/partition]> <path> download data to local file -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -ci,-columns-index <ARG> specify the columns index(starts from 0) to download, use comma to split each index -cn,-columns-name <ARG> specify the columns name to download, use comma to split each name -cp,-compress <ARG> compress, default true -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss -e,-exponential <ARG> When download double values, use exponential express if necessary. Otherwise at most 20 digits will be reserved. Default false -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -limit <ARG> specify the number of records to download -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\dshi p -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai usage: tunnel download [options] instance://<[project/]instance_id> <path> download instance result to local file -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -ci,-columns-index <ARG> specify the columns index(starts from 0) to download, use comma to split each index -cn,-columns-name <ARG> specify the columns name to download, use comma to split each name -cp,-compress <ARG> compress, default true -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss -e,-exponential <ARG> When download double values, use exponential express if necessary. Otherwise at most 20 digits will be reserved. Default false -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -limit <ARG> specify the number of records to download -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\dshi p -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai Example: tunnel download test_project.test_table/p1="b1",p2="b2" log.txt tunnel download instance://test_project/test_instance log.txt 参数说明: -c:本地数据文件编码,默认为UTF-8。 -ci:指定列索引(从0)下载,使用逗号分隔。 -cn:指定要下载的列名称,使用逗号分隔每个名称。 -cp,-compress:指定是否压缩后再下载,减少网络流量,默认开启。 -dfp:DateTime类型数据格式,默认为yyyy-MM-dd HH:mm:ss。 -e:当下载double值时,如果需要,使用指数函数表示,否则最多保留20位。 -fd:本地数据文件的列分割符,默认为逗号。 -h:数据文件是否包括表头,如果为true,则dship会跳过表头从第二行开始下载数据。 说明 -h=true和threads>1即多线程不能一起使用。 -limit:指定要下载的文件数量。 -ni:NULL数据标志符,默认为“ ”(空字符串)。 -rd:本地数据文件的行分割符,默认为\r\n。 -sd:设置session目录。 -te:指定tunnel endpoint。 -threads:指定threads的数量,默认为1。 -tz:指定时区。默认为本地时区:Asia/Shanghai。 示例如下: 下载数据到 result.txt文件中,如下所示: $ ./tunnel download sale_detail/sale_date=201312,region=hangzhou result.txt; Download session: 20150610xxxxxxxxxxx70a002ed0b9 Total records: 2 2015-06-10 16:58:24 download records: 2 2015-06-10 16:58:24 file size: 30 bytes OK 验证 result.txt的文件内容,如下所示: shopx,x_id,100.0 shopy,y_id,200.0 Purge 清除session目录,默认清除距离当前日期3天内的。子命令使用提示: odps@ project_name>tunnel help purge; usage: tunnel purge [n] force session history to be purged.([n] days before, default 3 days) Example: tunnel purge 5 数据类型说明: 类型 描述 STRING 字符串类型,长度不能超过8MB。 BOOLEN 上传值只支持true、false、0和1。下载值为true/false且不区分大小写。 BIGINT 取值范围[-9223372036854775807,9223372036854775807]。 DOUBLE 有效位数16位 上传支持科学计数法表示 下载仅使用数字表示 最大值:1.7976931348623157E308 最小值:4.9E-324 无穷大:Infinity 无穷小:-Infinity DATETIME Datetime类型默认支持时区为GMT+8的数据上传,可以通过命令行指定用户数据日期格式的format pattern。 如果您上传DATETIME类型的数据,需要指定时间日期格式,具体格式请参见SimpleDateFormat。 "yyyyMMddHHmmss": 数据格式"20140209101000" "yyyy-MM-dd HH:mm:ss"(默认):数据格式"2014-02-09 10:10:00" "yyyy年MM月dd日": 数据格式"2014年09月01日" 示例如下: tunnel upload log.txt test_table -dfp "yyyy-MM-dd HH:mm:ss" 空值:所有数据类型都可以有空值。 默认空字符串为空值。 可在命令行下通过-null-indicator参数来指定空值的字符串。 tunnel upload log.txt test_table -ni "NULL" 字符编码:您可以指定文件的字符编码,默认为UTF-8。 tunnel upload log.txt test_table -c "gbk" 分隔符:tunnel命令支持您自定义的文件分隔符,行分隔符选项为-record-delimiter,列分隔符选项为-field-delimiter。 分隔符说明如下: 支持多个字符的行列分隔符。 列分隔符不能够包含行分隔符。 转义字符分隔符,在命令行方式下只支持\r、\n和\t。 示例如下: tunnel upload log.txt test_table -fd "||" -rd "\r\n"

2019-12-01 23:10:57 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 功能简介 您可以通过客户端提供的Tunnel命令实现原有Dship工具的功能。 Tunnel命令主要用于数据的上传和下载等功能。 Upload:支持文件或目录(指一级目录)的上传,每一次上传只支持数据上传到一张表或表的一个分区,有分区的表一定要指定上传的分区,多级分区一定要指定到末级分区。tunnel upload log.txt test_project.test_table/p1="b1",p2="b2"; -- 将log.txt中的数据上传至项目空间test_project的表test_table(二级分区表)中的p1="b1",p2="b2"分区 tunnel upload log.txt test_table --scan=only; -- 将log.txt中的数据上传至表 test_table 中。--scan参数表示需要扫描log.txt中的数据是否符合 test_table 的定义,如果不符合报错,并停止上传数据。 Download:只支持下载到单个文件,每一次下载只支持下载一张表或一个分区到一个文件,有分区的表一定要指定下载的分区,多级分区一定要指定到末级分区。tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt; -- 将test_project.test_table表(二级分区表)中的数据下载到 test_table.txt 文件中 Resume:因为网络或tunnel服务的原因出错,支持文件或目录的续传。可以继续上一次的数据上传操作,但Resume命令暂时没有对下载操作的支持。tunnel resume; Show:显示历史任务信息。tunnel show history -n 5; --显示前5次上传/下载数据的详细命令 tunnel show log; --显示最后一次上传/下载数据的日志 Purge:清理session目录,默认清理3天内的。tunnel purge 5; --清理前5天的日志 Tunnel上传下载限制 Tunnel命令不支持上传下载Array、Map和Struct类型的数据。 每个Tunnel的Session 在服务端的生命周期为 24 小时,创建后 24 小时内均可使用,也可以跨进程/线程共享使用,但是必须保证同一个 BlockId 没有重复使用。 Tunnel命令使用说明 Tunnel命令支持在客户端通过help子命令获取帮助信息,每个命令和选择支持短命令格式。 odps@ project_name>tunnel help; Usage: tunnel <subcommand> [options] [args] Type 'tunnel help <subcommand>' for help on a specific subcommand. Available subcommands: upload (u) download (d) resume (r) show (s) purge (p) help (h) tunnel is a command for uploading data to / downloading data from ODPS. 参数说明: upload:上传数据到MaxCompute的表中。 download:从MaxCompute的表中下载数据。 resume:如果上传数据失败,通过resume命令进行断点续传,目前仅支持上传数据的续传。每次上传、下载数据被称为一个session。在resume命令后指定session id完成续传。 show:查看历史运行信息。 purge:清理session目录。 help:输出tunnel帮助信息。 Upload 将本地文件的数据导入MaxCompute的表中,以追加模式导入。子命令使用提示: odps@ project_name>tunnel help upload; usage: tunnel upload [options] <path> <[project.]table[/partition]> upload data from local file -acp,-auto-create-partition <ARG> auto create target partition if not exists, default false -bs,-block-size <ARG> block size in MiB, default 100 -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -cp,-compress <ARG> compress, default true -dbr,-discard-bad-records <ARG> specify discard bad records action(true|false), default false -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss; -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -mbr,-max-bad-records <ARG> max bad records, default 1000 -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -s,-scan <ARG> specify scan file action(true|false|only), default true -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\ds hip -ss,-strict-schema <ARG> specify strict schema mode. If false, extra data will be abandoned and insufficient field will be filled with null. Default true -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai Example: tunnel upload log.txt test_project.test_table/p1="b1",p2="b2" 参数说明: -acp:如果不存在,自动创建目标分区,默认关闭。 -bs:每次上传至Tunnel的数据块大小,默认100MiB(1MiB=1024*1024B)。 -c:指定本地数据文件编码,默认为UTF-8。不设定,默认下载源数据。 -cp:指定是否在本地压缩后再上传,减少网络流量,默认开启。 -dbr:是否忽略脏数据(多列、少列、列数据类型不匹配等情况)。 值为true时,将全部不符合表定义的数据忽略。 值为false时,若遇到脏数据,则给出错误提示信息,目标表内的原始数据不会被污染。 -dfp:DateTime类型数据格式,默认为yyyy-MM-dd HH:mm:ss。如果您想指定时间格式到毫秒级别,可以使用tunnel upload -dfp 'yyyy-MM-dd HH:mm:ss.SSS',有关DateTime数据类型的详情请参见数据类型。 -fd:本地数据文件的列分割符,默认为逗号。 -h:数据文件是否包括表头,如果为true,则dship会跳过表头从第二行开始上传数据。 -mbr:默认情况下,当上传的脏数据超过1000条时,上传动作终止。通过此参数,可以调整可容忍的脏数据量。 -ni:NULL数据标志符,默认为“ ”(空字符串)。 -rd:本地数据文件的行分割符,默认为\r\n。 -s:是否扫描本地数据文件,默认值为false。 值为true时,先扫描数据,若数据格式正确,再导入数据。 值为false时,不扫描数据,直接进行数据导入。 值为only时,仅进行扫描本地数据,扫描结束后不继续导入数据。 -sd:设置session目录。 -te:指定tunnel的Endpoint。 -threads:指定threads的数量,默认为1。 -tz:指定时区。默认为本地时区:Asia/Shanghai。 示例如下: 创建目标表,如下所示: CREATE TABLE IF NOT EXISTS sale_detail( shop_name STRING, customer_id STRING, total_price DOUBLE) PARTITIONED BY (sale_date STRING,region STRING); 添加分区,如下所示:alter table sale_detail add partition (sale_date='201312', region='hangzhou'); 准备数据文件data.txt,其内容如下所示:shopx,x_id,100 shopy,y_id,200 shopz,z_id这份文件的第三行数据与sale_detail的表定义不符。sale_detail定义了三列,但数据只有两列。 导入数据,如下所示:odps@ project_name>tunnel u d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false Upload session: 20150610xxxxxxxxxxx70a002ec60c Start upload:d:\data.txt Total bytes:41 Split input to 1 blocks 2015-06-10 16:39:22 upload block: '1' ERROR: column mismatch -,expected 3 columns, 2 columns found, please check data or delimiter由于data.txt中有脏数据,数据导入失败。并给出session id及错误提示信息。 数据验证,如下所示:odps@ odpstest_ay52c_ay52> select * from sale_detail where sale_date='201312'; ID = 20150610xxxxxxxxxxxvc61z5 +-----------+-------------+-------------+-----------+--------+ | shop_name | customer_id | total_price | sale_date | region | +-----------+-------------+-------------+-----------+--------+ +-----------+-------------+-------------+-----------+--------+由于有脏数据,数据导入失败,表中无数据。 Show 显示历史记录。子命令使用提示: odps@ project_name>tunnel help show; usage: tunnel show history [options] show session information -n,-number <ARG> lines Example: tunnel show history -n 5 tunnel show log 参数说明: -n:指定显示行数。 示例如下: odps@ project_name>tunnel show history; 20150610xxxxxxxxxxx70a002ec60c failed 'u --config-file /D:/console/conf/odps_config.ini --project odpstest_ay52c_ay52 --endpoint http://service.odps.aliyun.com/api --id UlxxxxxxxxxxxrI1 --key 2m4r3WvTxxxxxxxxxx0InVke7UkvR d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false' 说明 20150610xxxxxxxxxxx70a002ec60c是上节中导入数据失败时的运行ID。 Resume 修复执行历史记录,仅对上传数据有效。子命令使用提示: odps@ project_name>tunnel help resume; usage: tunnel resume [session_id] [-force] resume an upload session -f,-force force resume Example: tunnel resume 示例如下: 修改data.txt文件为如下内容: shop9,97,100 shop10,10,200 修复执行上传数据,如下所示: odps@ project_name>tunnel resume 20150610xxxxxxxxxxx70a002ec60c --force; start resume 20150610xxxxxxxxxxx70a002ec60c Upload session: 20150610xxxxxxxxxxx70a002ec60c Start upload:d:\data.txt Resume 1 blocks 2015-06-10 16:46:42 upload block: '1' 2015-06-10 16:46:42 upload block complete, blockid=1 upload complete, average speed is 0 KB/s OK 说明 20150610xxxxxxxxxxx70a002ec60c为上传失败的session ID。 数据验证,如下所示: odps@ project_name>select * from sale_detail where sale_date='201312'; ID = 20150610xxxxxxxxxxxa741z5 +-----------+-------------+-------------+-----------+--------+ | shop_name | customer_id | total_price | sale_date | region | +-----------+-------------+-------------+-----------+--------+ | shopx | x_id | 100.0 | 201312 | hangzhou| | shopy | y_id | 200.0 | 201312 | hangzhou| +-----------+-------------+-------------+-----------+--------+ Download 子命令使用提示: odps@ project_name>tunnel help download; usage:tunnel download [options] <[project.]table[/partition]> <path> download data to local file -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -ci,-columns-index <ARG> specify the columns index(starts from 0) to download, use comma to split each index -cn,-columns-name <ARG> specify the columns name to download, use comma to split each name -cp,-compress <ARG> compress, default true -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss -e,-exponential <ARG> When download double values, use exponential express if necessary. Otherwise at most 20 digits will be reserved. Default false -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -limit <ARG> specify the number of records to download -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\dshi p -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai usage: tunnel download [options] instance://<[project/]instance_id> <path> download instance result to local file -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -ci,-columns-index <ARG> specify the columns index(starts from 0) to download, use comma to split each index -cn,-columns-name <ARG> specify the columns name to download, use comma to split each name -cp,-compress <ARG> compress, default true -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss -e,-exponential <ARG> When download double values, use exponential express if necessary. Otherwise at most 20 digits will be reserved. Default false -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -limit <ARG> specify the number of records to download -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\dshi p -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai Example: tunnel download test_project.test_table/p1="b1",p2="b2" log.txt tunnel download instance://test_project/test_instance log.txt 参数说明: -c:本地数据文件编码,默认为UTF-8。 -ci:指定列索引(从0)下载,使用逗号分隔。 -cn:指定要下载的列名称,使用逗号分隔每个名称。 -cp,-compress:指定是否压缩后再下载,减少网络流量,默认开启。 -dfp:DateTime类型数据格式,默认为yyyy-MM-dd HH:mm:ss。 -e:当下载double值时,如果需要,使用指数函数表示,否则最多保留20位。 -fd:本地数据文件的列分割符,默认为逗号。 -h:数据文件是否包括表头,如果为true,则dship会跳过表头从第二行开始下载数据。 说明 -h=true和threads>1即多线程不能一起使用。 -limit:指定要下载的文件数量。 -ni:NULL数据标志符,默认为“ ”(空字符串)。 -rd:本地数据文件的行分割符,默认为\r\n。 -sd:设置session目录。 -te:指定tunnel endpoint。 -threads:指定threads的数量,默认为1。 -tz:指定时区。默认为本地时区:Asia/Shanghai。 示例如下: 下载数据到 result.txt文件中,如下所示: $ ./tunnel download sale_detail/sale_date=201312,region=hangzhou result.txt; Download session: 20150610xxxxxxxxxxx70a002ed0b9 Total records: 2 2015-06-10 16:58:24 download records: 2 2015-06-10 16:58:24 file size: 30 bytes OK 验证 result.txt的文件内容,如下所示: shopx,x_id,100.0 shopy,y_id,200.0 Purge 清除session目录,默认清除距离当前日期3天内的。子命令使用提示: odps@ project_name>tunnel help purge; usage: tunnel purge [n] force session history to be purged.([n] days before, default 3 days) Example: tunnel purge 5 数据类型说明: 类型 描述 STRING 字符串类型,长度不能超过8MB。 BOOLEN 上传值只支持true、false、0和1。下载值为true/false且不区分大小写。 BIGINT 取值范围[-9223372036854775807,9223372036854775807]。 DOUBLE 有效位数16位 上传支持科学计数法表示 下载仅使用数字表示 最大值:1.7976931348623157E308 最小值:4.9E-324 无穷大:Infinity 无穷小:-Infinity DATETIME Datetime类型默认支持时区为GMT+8的数据上传,可以通过命令行指定用户数据日期格式的format pattern。 如果您上传DATETIME类型的数据,需要指定时间日期格式,具体格式请参见SimpleDateFormat。 "yyyyMMddHHmmss": 数据格式"20140209101000" "yyyy-MM-dd HH:mm:ss"(默认):数据格式"2014-02-09 10:10:00" "yyyy年MM月dd日": 数据格式"2014年09月01日" 示例如下: tunnel upload log.txt test_table -dfp "yyyy-MM-dd HH:mm:ss" 空值:所有数据类型都可以有空值。 默认空字符串为空值。 可在命令行下通过-null-indicator参数来指定空值的字符串。 tunnel upload log.txt test_table -ni "NULL" 字符编码:您可以指定文件的字符编码,默认为UTF-8。 tunnel upload log.txt test_table -c "gbk" 分隔符:tunnel命令支持您自定义的文件分隔符,行分隔符选项为-record-delimiter,列分隔符选项为-field-delimiter。 分隔符说明如下: 支持多个字符的行列分隔符。 列分隔符不能够包含行分隔符。 转义字符分隔符,在命令行方式下只支持\r、\n和\t。 示例如下: tunnel upload log.txt test_table -fd "||" -rd "\r\n"

2019-12-01 23:10:56 0 浏览量 回答数 0

回答

详细解答可以参考官方帮助文档 功能简介 您可以通过客户端提供的Tunnel命令实现原有Dship工具的功能。 Tunnel命令主要用于数据的上传和下载等功能。 Upload:支持文件或目录(指一级目录)的上传,每一次上传只支持数据上传到一张表或表的一个分区,有分区的表一定要指定上传的分区,多级分区一定要指定到末级分区。tunnel upload log.txt test_project.test_table/p1="b1",p2="b2"; -- 将log.txt中的数据上传至项目空间test_project的表test_table(二级分区表)中的p1="b1",p2="b2"分区 tunnel upload log.txt test_table --scan=only; -- 将log.txt中的数据上传至表 test_table 中。--scan参数表示需要扫描log.txt中的数据是否符合 test_table 的定义,如果不符合报错,并停止上传数据。 Download:只支持下载到单个文件,每一次下载只支持下载一张表或一个分区到一个文件,有分区的表一定要指定下载的分区,多级分区一定要指定到末级分区。tunnel download test_project.test_table/p1="b1",p2="b2" test_table.txt; -- 将test_project.test_table表(二级分区表)中的数据下载到 test_table.txt 文件中 Resume:因为网络或tunnel服务的原因出错,支持文件或目录的续传。可以继续上一次的数据上传操作,但Resume命令暂时没有对下载操作的支持。tunnel resume; Show:显示历史任务信息。tunnel show history -n 5; --显示前5次上传/下载数据的详细命令 tunnel show log; --显示最后一次上传/下载数据的日志 Purge:清理session目录,默认清理3天内的。tunnel purge 5; --清理前5天的日志 Tunnel上传下载限制 Tunnel命令不支持上传下载Array、Map和Struct类型的数据。 每个Tunnel的Session 在服务端的生命周期为 24 小时,创建后 24 小时内均可使用,也可以跨进程/线程共享使用,但是必须保证同一个 BlockId 没有重复使用。 Tunnel命令使用说明 Tunnel命令支持在客户端通过help子命令获取帮助信息,每个命令和选择支持短命令格式。 odps@ project_name>tunnel help; Usage: tunnel <subcommand> [options] [args] Type 'tunnel help <subcommand>' for help on a specific subcommand. Available subcommands: upload (u) download (d) resume (r) show (s) purge (p) help (h) tunnel is a command for uploading data to / downloading data from ODPS. 参数说明: upload:上传数据到MaxCompute的表中。 download:从MaxCompute的表中下载数据。 resume:如果上传数据失败,通过resume命令进行断点续传,目前仅支持上传数据的续传。每次上传、下载数据被称为一个session。在resume命令后指定session id完成续传。 show:查看历史运行信息。 purge:清理session目录。 help:输出tunnel帮助信息。 Upload 将本地文件的数据导入MaxCompute的表中,以追加模式导入。子命令使用提示: odps@ project_name>tunnel help upload; usage: tunnel upload [options] <path> <[project.]table[/partition]> upload data from local file -acp,-auto-create-partition <ARG> auto create target partition if not exists, default false -bs,-block-size <ARG> block size in MiB, default 100 -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -cp,-compress <ARG> compress, default true -dbr,-discard-bad-records <ARG> specify discard bad records action(true|false), default false -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss; -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -mbr,-max-bad-records <ARG> max bad records, default 1000 -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -s,-scan <ARG> specify scan file action(true|false|only), default true -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\ds hip -ss,-strict-schema <ARG> specify strict schema mode. If false, extra data will be abandoned and insufficient field will be filled with null. Default true -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai Example: tunnel upload log.txt test_project.test_table/p1="b1",p2="b2" 参数说明: -acp:如果不存在,自动创建目标分区,默认关闭。 -bs:每次上传至Tunnel的数据块大小,默认100MiB(1MiB=1024*1024B)。 -c:指定本地数据文件编码,默认为UTF-8。不设定,默认下载源数据。 -cp:指定是否在本地压缩后再上传,减少网络流量,默认开启。 -dbr:是否忽略脏数据(多列、少列、列数据类型不匹配等情况)。 值为true时,将全部不符合表定义的数据忽略。 值为false时,若遇到脏数据,则给出错误提示信息,目标表内的原始数据不会被污染。 -dfp:DateTime类型数据格式,默认为yyyy-MM-dd HH:mm:ss。如果您想指定时间格式到毫秒级别,可以使用tunnel upload -dfp 'yyyy-MM-dd HH:mm:ss.SSS',有关DateTime数据类型的详情请参见数据类型。 -fd:本地数据文件的列分割符,默认为逗号。 -h:数据文件是否包括表头,如果为true,则dship会跳过表头从第二行开始上传数据。 -mbr:默认情况下,当上传的脏数据超过1000条时,上传动作终止。通过此参数,可以调整可容忍的脏数据量。 -ni:NULL数据标志符,默认为“ ”(空字符串)。 -rd:本地数据文件的行分割符,默认为\r\n。 -s:是否扫描本地数据文件,默认值为false。 值为true时,先扫描数据,若数据格式正确,再导入数据。 值为false时,不扫描数据,直接进行数据导入。 值为only时,仅进行扫描本地数据,扫描结束后不继续导入数据。 -sd:设置session目录。 -te:指定tunnel的Endpoint。 -threads:指定threads的数量,默认为1。 -tz:指定时区。默认为本地时区:Asia/Shanghai。 示例如下: 创建目标表,如下所示: CREATE TABLE IF NOT EXISTS sale_detail( shop_name STRING, customer_id STRING, total_price DOUBLE) PARTITIONED BY (sale_date STRING,region STRING); 添加分区,如下所示:alter table sale_detail add partition (sale_date='201312', region='hangzhou'); 准备数据文件data.txt,其内容如下所示:shopx,x_id,100 shopy,y_id,200 shopz,z_id这份文件的第三行数据与sale_detail的表定义不符。sale_detail定义了三列,但数据只有两列。 导入数据,如下所示:odps@ project_name>tunnel u d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false Upload session: 20150610xxxxxxxxxxx70a002ec60c Start upload:d:\data.txt Total bytes:41 Split input to 1 blocks 2015-06-10 16:39:22 upload block: '1' ERROR: column mismatch -,expected 3 columns, 2 columns found, please check data or delimiter由于data.txt中有脏数据,数据导入失败。并给出session id及错误提示信息。 数据验证,如下所示:odps@ odpstest_ay52c_ay52> select * from sale_detail where sale_date='201312'; ID = 20150610xxxxxxxxxxxvc61z5 +-----------+-------------+-------------+-----------+--------+ | shop_name | customer_id | total_price | sale_date | region | +-----------+-------------+-------------+-----------+--------+ +-----------+-------------+-------------+-----------+--------+由于有脏数据,数据导入失败,表中无数据。 Show 显示历史记录。子命令使用提示: odps@ project_name>tunnel help show; usage: tunnel show history [options] show session information -n,-number <ARG> lines Example: tunnel show history -n 5 tunnel show log 参数说明: -n:指定显示行数。 示例如下: odps@ project_name>tunnel show history; 20150610xxxxxxxxxxx70a002ec60c failed 'u --config-file /D:/console/conf/odps_config.ini --project odpstest_ay52c_ay52 --endpoint http://service.odps.aliyun.com/api --id UlxxxxxxxxxxxrI1 --key 2m4r3WvTxxxxxxxxxx0InVke7UkvR d:\data.txt sale_detail/sale_date=201312,region=hangzhou -s false' 说明 20150610xxxxxxxxxxx70a002ec60c是上节中导入数据失败时的运行ID。 Resume 修复执行历史记录,仅对上传数据有效。子命令使用提示: odps@ project_name>tunnel help resume; usage: tunnel resume [session_id] [-force] resume an upload session -f,-force force resume Example: tunnel resume 示例如下: 修改data.txt文件为如下内容: shop9,97,100 shop10,10,200 修复执行上传数据,如下所示: odps@ project_name>tunnel resume 20150610xxxxxxxxxxx70a002ec60c --force; start resume 20150610xxxxxxxxxxx70a002ec60c Upload session: 20150610xxxxxxxxxxx70a002ec60c Start upload:d:\data.txt Resume 1 blocks 2015-06-10 16:46:42 upload block: '1' 2015-06-10 16:46:42 upload block complete, blockid=1 upload complete, average speed is 0 KB/s OK 说明 20150610xxxxxxxxxxx70a002ec60c为上传失败的session ID。 数据验证,如下所示: odps@ project_name>select * from sale_detail where sale_date='201312'; ID = 20150610xxxxxxxxxxxa741z5 +-----------+-------------+-------------+-----------+--------+ | shop_name | customer_id | total_price | sale_date | region | +-----------+-------------+-------------+-----------+--------+ | shopx | x_id | 100.0 | 201312 | hangzhou| | shopy | y_id | 200.0 | 201312 | hangzhou| +-----------+-------------+-------------+-----------+--------+ Download 子命令使用提示: odps@ project_name>tunnel help download; usage:tunnel download [options] <[project.]table[/partition]> <path> download data to local file -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -ci,-columns-index <ARG> specify the columns index(starts from 0) to download, use comma to split each index -cn,-columns-name <ARG> specify the columns name to download, use comma to split each name -cp,-compress <ARG> compress, default true -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss -e,-exponential <ARG> When download double values, use exponential express if necessary. Otherwise at most 20 digits will be reserved. Default false -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -limit <ARG> specify the number of records to download -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\dshi p -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai usage: tunnel download [options] instance://<[project/]instance_id> <path> download instance result to local file -c,-charset <ARG> specify file charset, default ignore. set ignore to download raw data -ci,-columns-index <ARG> specify the columns index(starts from 0) to download, use comma to split each index -cn,-columns-name <ARG> specify the columns name to download, use comma to split each name -cp,-compress <ARG> compress, default true -dfp,-date-format-pattern <ARG> specify date format pattern, default yyyy-MM-dd HH:mm:ss -e,-exponential <ARG> When download double values, use exponential express if necessary. Otherwise at most 20 digits will be reserved. Default false -fd,-field-delimiter <ARG> specify field delimiter, support unicode, eg \u0001. default "," -h,-header <ARG> if local file should have table header, default false -limit <ARG> specify the number of records to download -ni,-null-indicator <ARG> specify null indicator string, default ""(empty string) -rd,-record-delimiter <ARG> specify record delimiter, support unicode, eg \u0001. default "\r\n" -sd,-session-dir <ARG> set session dir, default D:\software\odpscmd_public\plugins\dshi p -te,-tunnel_endpoint <ARG> tunnel endpoint -threads <ARG> number of threads, default 1 -tz,-time-zone <ARG> time zone, default local timezone: Asia/Shanghai Example: tunnel download test_project.test_table/p1="b1",p2="b2" log.txt tunnel download instance://test_project/test_instance log.txt 参数说明: -c:本地数据文件编码,默认为UTF-8。 -ci:指定列索引(从0)下载,使用逗号分隔。 -cn:指定要下载的列名称,使用逗号分隔每个名称。 -cp,-compress:指定是否压缩后再下载,减少网络流量,默认开启。 -dfp:DateTime类型数据格式,默认为yyyy-MM-dd HH:mm:ss。 -e:当下载double值时,如果需要,使用指数函数表示,否则最多保留20位。 -fd:本地数据文件的列分割符,默认为逗号。 -h:数据文件是否包括表头,如果为true,则dship会跳过表头从第二行开始下载数据。 说明 -h=true和threads>1即多线程不能一起使用。 -limit:指定要下载的文件数量。 -ni:NULL数据标志符,默认为“ ”(空字符串)。 -rd:本地数据文件的行分割符,默认为\r\n。 -sd:设置session目录。 -te:指定tunnel endpoint。 -threads:指定threads的数量,默认为1。 -tz:指定时区。默认为本地时区:Asia/Shanghai。 示例如下: 下载数据到 result.txt文件中,如下所示: $ ./tunnel download sale_detail/sale_date=201312,region=hangzhou result.txt; Download session: 20150610xxxxxxxxxxx70a002ed0b9 Total records: 2 2015-06-10 16:58:24 download records: 2 2015-06-10 16:58:24 file size: 30 bytes OK 验证 result.txt的文件内容,如下所示: shopx,x_id,100.0 shopy,y_id,200.0 Purge 清除session目录,默认清除距离当前日期3天内的。子命令使用提示: odps@ project_name>tunnel help purge; usage: tunnel purge [n] force session history to be purged.([n] days before, default 3 days) Example: tunnel purge 5 数据类型说明: 类型 描述 STRING 字符串类型,长度不能超过8MB。 BOOLEN 上传值只支持true、false、0和1。下载值为true/false且不区分大小写。 BIGINT 取值范围[-9223372036854775807,9223372036854775807]。 DOUBLE 有效位数16位 上传支持科学计数法表示 下载仅使用数字表示 最大值:1.7976931348623157E308 最小值:4.9E-324 无穷大:Infinity 无穷小:-Infinity DATETIME Datetime类型默认支持时区为GMT+8的数据上传,可以通过命令行指定用户数据日期格式的format pattern。 如果您上传DATETIME类型的数据,需要指定时间日期格式,具体格式请参见SimpleDateFormat。 "yyyyMMddHHmmss": 数据格式"20140209101000" "yyyy-MM-dd HH:mm:ss"(默认):数据格式"2014-02-09 10:10:00" "yyyy年MM月dd日": 数据格式"2014年09月01日" 示例如下: tunnel upload log.txt test_table -dfp "yyyy-MM-dd HH:mm:ss" 空值:所有数据类型都可以有空值。 默认空字符串为空值。 可在命令行下通过-null-indicator参数来指定空值的字符串。 tunnel upload log.txt test_table -ni "NULL" 字符编码:您可以指定文件的字符编码,默认为UTF-8。 tunnel upload log.txt test_table -c "gbk" 分隔符:tunnel命令支持您自定义的文件分隔符,行分隔符选项为-record-delimiter,列分隔符选项为-field-delimiter。 分隔符说明如下: 支持多个字符的行列分隔符。 列分隔符不能够包含行分隔符。 转义字符分隔符,在命令行方式下只支持\r、\n和\t。 示例如下: tunnel upload log.txt test_table -fd "||" -rd "\r\n"

2019-12-01 23:10:57 0 浏览量 回答数 0

问题

MaxCompute百问集锦(持续更新20171011)

隐林 2019-12-01 20:19:23 38430 浏览量 回答数 18

问题

MaxCompute用户指南:数据上传下载:Tunnel命令操作

行者武松 2019-12-01 22:01:53 2602 浏览量 回答数 0
阿里云大学 云服务器ECS com域名 网站域名whois查询 开发者平台 小程序定制 小程序开发 国内短信套餐包 开发者技术与产品 云数据库 图像识别 开发者问答 阿里云建站 阿里云备案 云市场 万网 阿里云帮助文档 免费套餐 开发者工具 企业信息查询 小程序开发制作 视频内容分析 企业网站制作 视频集锦 代理记账服务 2020阿里巴巴研发效能峰会 企业建站模板 云效成长地图 高端建站