备案控制台

努力增长_个人页

个人头像照片 努力增长
文章
0
问答
20
视频
0

个人介绍

暂无个人介绍

擅长的技术

获得更多能力
通用技术能力：

暂时未有相关通用技术能力~

云产品技术能力：

暂时未有相关云产品技术能力~

阿里云技能认证

详细说明
暂无更多信息

2021年03月

正在加载, 请稍后...
暂无更多信息
  • 回答了问题 2021-03-31

    请教ODPS上多张表join的性能优化问题

    1.如果某些join的关联key相同，需按顺序放在一起，提高效率 2. 分析join是否有倾斜，有的话考虑切分热点数据，最后进行union all合并 3. 还可以看看时间是否可切分，不做全表关联，增量关联近xx天数据，补历史数据的情况下，每次运行只刷新近xx天数据

    踩0 评论0
  • 回答了问题 2021-03-31

    ODPS中，实现两表关联，但能关联的字段为包含关系，怎么实现，谢谢

    你好，你可以通过TRANS_ARRAY列转行函数，将一行数据转化为多行，将关联的key打开后再进行关联，使用如下，谢谢

    +----------+----------+------------+
| login_id | login_ip | login_time |
+----------+----------+------------+
| wangwangA | 192.168.0.1,192.168.0.2 | 20120101010000,20120102010000 |
| wangwangB | 192.168.45.10,192.168.67.22,192,168.6.3 | 20120111010000,20120112010000,20120223080000 |
执行sql：
select trans_array(1, ",", login_id, login_ip, login_time) as (login_id,login_ip,login_time) from t_table;
产生的数据是
+----------+----------+------------+
| login_id | login_ip | login_time |
+----------+----------+------------+
| wangwangB | 192.168.45.10 | 20120111010000 |
| wangwangB | 192.168.67.22 | 20120112010000 |
| wangwangB | 192.168.6.3 | 20120223080000 |
| wangwangA | 192.168.0.1 | 20120101010000 |
| wangwangA | 192.168.0.2 | 20120102010000 |
    踩0 评论0
  • 回答了问题 2021-03-31

    关于mapjoin的问题

    1.max聚合函数，需把select中其他不聚合的字段，放到group by里 2. datediff的字段，需转换为datetime类型

    踩0 评论0
  • 回答了问题 2021-03-31

    今天我在ODPS中执行一个简单的SQL ： select * from dxlus； 这个表大概1万多条数据，一致处于Job Quening...状态，无法执行，使用show p查看任务时，发现什么任务都没执行，请问是什么原因导致我无法执行操作？并且我将执行很多任务，这样一来就会导致我的任务无法正常执行。

    应该是当时排队的作业太多，资源一直处于等待状态，杀掉任务，等资源不紧张后重试

    踩0 评论0
  • 回答了问题 2021-03-31

    ODPS统计订单数据，有的日期没有订单数据，想在统计时显示0，有没有什么办法补齐日期？

    建立日历表，以日历表为主表left outer join您的订单事实表，key为日期，通过coalesce(counts,0)将未关联出的订单则置为0，谢谢

    踩0 评论0
  • 回答了问题 2021-03-31

    dataworks参数

    你好，可以检查一下两边变量配置的计算逻辑是否相同，谢谢

    踩0 评论0
  • 回答了问题 2021-03-31

    Quick BI加载MaxCompute数据时报错

    你好，物理执行计划生成失败，原因是全表所有分区扫描，数据量太大，请指定具体分区

    踩0 评论0
  • 回答了问题 2021-03-31

    《ODPS权威指南 阿里大数据平台应用开发实践》现在还适用吗？

    你好，框架都还适用，平台功能、函数大部分都适用，原理没有大改，可以买来入门学习

    踩0 评论0
  • 回答了问题 2021-03-31

    我在使用MaxCompute提供的聚合函数，median 进行求中值的时候，报如下错： FAILED: ODPS-0123049:buffer overflow - in median func the number of row exceeds the max limitation 请问如何解决？

    median函数目前限制在一个组内不超过100万行数据

    踩0 评论0
  • 回答了问题 2021-03-31

    请问一列能放的最大数据长度是多少？

    你好，根据您字段类型不同而不同，以下参考：

    类型                   	是否新类型          	常量定义                	描述
TINYINT	是	1Y，-127Y	8 位有符号整形，范围 -128 到 127
SMALLINT	是	32767S， -100S	16 位有符号整形， 范围 -32768 到 32767
INT	是	1000，-15645787（注释1）	32位有符号整形，范围-231到231 -1
BIGINT	否	100000000000L， -1L	64位有符号整形, 范围-263 + 1到263 - 1
FLOAT	是	无	32位二进制浮点型
DOUBLE	否	3.1415926 1E+7	8字节双精度浮点数,64位二进制浮点型
DECIMAL	否	3.5BD， 99999999999.9999999BD(注释4)	10 进制精确数字类型，整形部分范围-1036+1到1036-1, 小数部分精确到 10-18 。
VARCHAR(n)	是	无 ( 注释2 )	变长字符类型，n为长度，取值范围 1 到 65535
STRING	否	“abc”，’bcd’，”alibaba” ‘inc’ ( 注释3 )	字符串类型，目前长度限制为 8M
BINARY	是	无	二进制数据类型，目前长度限制为 8M
DATETIME	否	DATETIME ‘2017-11-11 00:00:00’	日期时间类型，使用东八区时间作为系统标准时间。范围从0000年1月1日到9999年12月31日，精确到毫秒 。（注释5）
TIMESTAMP	是	TIMESTAMP ‘2017-11-11 00:00:00.123456789’	范围从0000年1月1日到9999年12月31日 23.59:59.999999999, 精确到纳秒。注意：timestamp类型本身与时区无关，在任何时区，timestamp类型存储的都是从epoch（UTC 1970-01-01 00:00:00)开始的一个偏移量。您可以通过一些内置函数对timestamp类型数据进行与时区相关的计算，如cast(< a timestamp > as string)将timestamp类型数据按照当前时区值转换成string类型。
BOOLEAN	否	TRUE，FALSE	boolean 类型, 取值 TRUE 或 FALSE
    踩0 评论0
  • 回答了问题 2021-03-31

    odps怎么实现分组排序后合并呢，wm_concat()能支持排序吗？

    你好，wm_concat()可以支持分组排序后合并，具体使用方式：

    
    string wm_concat(string separator, string str)
用途：用指定的spearator做分隔符，链接str中的值。

参数说明：

separator：String类型常量，分隔符。其他类型或非常量将引发异常。

str：String类型，若输入为bigint，double或者datetime类型会隐式转换为string后参与运算，其它类型报异常。

返回值：String类型。

备注:

对语句”select wm_concat(‘,’,name) from test_src;”，若test_src为空集合，这MaxCompute SQL条语句返回NULL值。
    踩0 评论0
  • 回答了问题 2021-03-31

    Flink反压问题

    调大资源和并发

    踩0 评论0
  • 回答了问题 2021-03-31

    odps 的 MapReduce 必须指定输入表或分区吗

    输入、输出表是必须需要指定的。如果读全表可不指定分区

    踩0 评论0
  • 回答了问题 2019-07-17

    你好，我们想用MaxCompute 查询最近多少条的分区，但是不知道怎么写 ，${bdp.system.bizdate}' 减7天怎么写 ds =$[${bdp.system.bizdate}' -7*N ] 大概这种格式吗？日期转换会报错。

    select * from table where ds >= to_char(dateadd(to_date('${bizdate}', 'yyyymmdd'), -7, 'dd'),'yyyymmdd')

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute 中double类型的字段 sum之后，结果小数点后出现十多位，请问怎么解决

    可以用round函数四舍五入计算到任意小数点后的位置

    踩0 评论0
  • 回答了问题 2019-07-17

    MaxCompute不支持更新，请问如何实现？

    将A系统和B系统的表都抽入到MaxCompute里面的，如果是需要A系统和B系统的表关联加工来更新C表的话，可以通过数据开发，编写SQL脚本，一次性insert overwriteC表，进行更新。
    如果insert overwrite分别更新的话，那么只保留最后一次更新的数据，前一次的就被覆盖掉了。

    踩0 评论0
  • 回答了问题 2019-07-17

    我想请教下Maxcompute的MR程序里面reduce阶段可以输出到mysql之类的关系型数据库吗？

    你好，由于ODPS的所有数据都被存放在表中，因此ODPS MapReduce的输入、输出只能是表，不允许用户自定义输出格式，不提供类似文件系统的接口，谢谢

    踩0 评论0
  • 回答了问题 2019-07-17

    东南亚节点，使用MaxCompute odpscmd工具，通过tunnel功能上传数据，设置了经典网络的endpoint，但是却连接到外网的tunnel endpoint。

    你好，odpscmd中有一个conf文件，里面有一个odps_config.ini，在里面设置endpoint即可，谢谢。

    踩0 评论0
  • 回答了问题 2019-07-17

    maxcompute left outer join 不等值On 连接条件查询

    把不等值放在关联之后的where中过滤，把b、c表中的过滤条件提到子查询中提前过滤数据量，减少join的数据量，望采纳，谢谢！

    select a.*
from 
(select * from tmp_t_mz_ry_jhdj)a
left join 
(select * from t_jztp_gx_sum where gxxl like '1104%' and zgxr is null)b 
on ((a.zgxr = b.zgxr and a.cgxr = b.cgxr) or
    (a.zgxr = b.cgxr and a.cgxr = b.zgxr))
left join 
(select * from tmp_t_mz_ry_lhdj where zgxr is null)c 
on a.zgxr = c.zgxr
   and a.cgxr = c.cgxr
 where a.gxfssj < c.gxfssj;
    踩0 评论0
  • 回答了问题 2019-07-17

    mysql 关键字

    A

    ACCESSIBLE (R)

    ACTION

    ADD (R)

    AFTER

    AGAINST

    AGGREGATE

    ALGORITHM

    ALL (R)

    ALTER (R)

    ANALYZE (R)

    AND (R)

    ANY

    AS (R)

    ASC (R)

    ASCII

    ASENSITIVE (R)

    AT

    AUTHORS

    AUTOEXTEND_SIZE

    AUTO_INCREMENT

    AVG

    AVG_ROW_LENGTH

    B

    BACKUP

    BEFORE (R)

    BEGIN

    BETWEEN (R)

    BIGINT (R)

    BINARY (R)

    BINLOG

    BIT

    BLOB (R)

    BLOCK

    BOOL

    BOOLEAN

    BOTH (R)

    BTREE

    BY (R)

    BYTE

    C

    CACHE

    CALL (R)

    CASCADE (R)

    CASCADED

    CASE (R)

    CATALOG_NAME

    CHAIN

    CHANGE (R)

    CHANGED

    CHAR (R)

    CHARACTER (R)

    CHARSET

    CHECK (R)

    CHECKSUM

    CIPHER

    CLASS_ORIGIN

    CLIENT

    CLOSE

    COALESCE

    CODE

    COLLATE (R)

    COLLATION

    COLUMN (R)

    COLUMNS

    COLUMN_NAME

    COMMENT

    COMMIT

    COMMITTED

    COMPACT

    COMPLETION

    COMPRESSED

    CONCURRENT

    CONDITION (R)

    CONNECTION

    CONSISTENT

    CONSTRAINT (R)

    CONSTRAINT_CATALOG

    CONSTRAINT_NAME

    CONSTRAINT_SCHEMA

    CONTAINS

    CONTEXT

    CONTINUE (R)

    CONTRIBUTORS

    CONVERT (R)

    CPU

    CREATE (R)

    CROSS (R)

    CUBE

    CURRENT_DATE (R)

    CURRENT_TIME (R)

    CURRENT_TIMESTAMP (R)

    CURRENT_USER (R)

    CURSOR (R)

    CURSOR_NAME

    D

    DATA

    DATABASE (R)

    DATABASES (R)

    DATAFILE

    DATE

    DATETIME

    DAY

    DAY_HOUR (R)

    DAY_MICROSECOND (R)

    DAY_MINUTE (R)

    DAY_SECOND (R)

    DEALLOCATE

    DEC (R)

    DECIMAL (R)

    DECLARE (R)

    DEFAULT (R)

    DEFINER

    DELAYED (R)

    DELAY_KEY_WRITE

    DELETE (R)

    DESC (R)

    DESCRIBE (R)

    DES_KEY_FILE

    DETERMINISTIC (R)

    DIRECTORY

    DISABLE

    DISCARD

    DISK

    DISTINCT (R)

    DISTINCTROW (R)

    DIV (R)

    DO

    DOUBLE (R)

    DROP (R)

    DUAL (R)

    DUMPFILE

    DUPLICATE

    DYNAMIC

    E

    EACH (R)

    ELSE (R)

    ELSEIF (R)

    ENABLE

    ENCLOSED (R)

    END

    ENDS

    ENGINE

    ENGINES

    ENUM

    ERROR added in 5.5.3 (nonreserved)

    ERRORS

    ESCAPE

    ESCAPED (R)

    EVENT

    EVENTS

    EVERY

    EXECUTE

    EXISTS (R)

    EXIT (R)

    EXPANSION

    EXPLAIN (R)

    EXTENDED

    EXTENT_SIZE

    F

    FALSE (R)

    FAST

    FAULTS

    FETCH (R)

    FIELDS

    FILE

    FIRST

    FIXED

    FLOAT (R)

    FLOAT4 (R)

    FLOAT8 (R)

    FLUSH

    FOR (R)

    FORCE (R)

    FOREIGN (R)

    FOUND

    FRAC_SECOND removed in 5.5.3

    FROM (R)

    FULL

    FULLTEXT (R)

    FUNCTION

    G

    GENERAL added in 5.5.3 (reserved); became nonreserved in 5.5.8

    GEOMETRY

    GEOMETRYCOLLECTION

    GET_FORMAT

    GLOBAL

    GRANT (R)

    GRANTS

    GROUP (R)

    H

    HANDLER

    HASH

    HAVING (R)

    HELP

    HIGH_PRIORITY (R)

    HOST

    HOSTS

    HOUR

    HOUR_MICROSECOND (R)

    HOUR_MINUTE (R)

    HOUR_SECOND (R)

    I

    IDENTIFIED

    IF (R)

    IGNORE (R)

    IGNORE_SERVER_IDS became nonreserved in 5.5.8

    IMPORT

    IN (R)

    INDEX (R)

    INDEXES

    INFILE (R)

    INITIAL_SIZE

    INNER (R)

    INNOBASE removed in 5.5.3

    INNODB removed in 5.5.3

    INOUT (R)

    INSENSITIVE (R)

    INSERT (R)

    INSERT_METHOD

    INSTALL

    INT (R)

    INT1 (R)

    INT2 (R)

    INT3 (R)

    INT4 (R)

    INT8 (R)

    INTEGER (R)

    INTERVAL (R)

    INTO (R)

    INVOKER

    IO

    IO_THREAD

    IPC

    IS (R)

    ISOLATION

    ISSUER

    ITERATE (R)

    J

    JOIN (R)

    K

    KEY (R)

    KEYS (R)

    KEY_BLOCK_SIZE

    KILL (R)

    L

    LANGUAGE

    LAST

    LEADING (R)

    LEAVE (R)

    LEAVES

    LEFT (R)

    LESS

    LEVEL

    LIKE (R)

    LIMIT (R)

    LINEAR (R)

    LINES (R)

    LINESTRING

    LIST

    LOAD (R)

    LOCAL

    LOCALTIME (R)

    LOCALTIMESTAMP (R)

    LOCK (R)

    LOCKS

    LOGFILE

    LOGS

    LONG (R)

    LONGBLOB (R)

    LONGTEXT (R)

    LOOP (R)

    LOW_PRIORITY (R)

    M

    MASTER

    MASTER_CONNECT_RETRY

    MASTER_HEARTBEAT_PERIOD became nonreserved in 5.5.8

    MASTER_HOST

    MASTER_LOG_FILE

    MASTER_LOG_POS

    MASTER_PASSWORD

    MASTER_PORT

    MASTER_SERVER_ID

    MASTER_SSL

    MASTER_SSL_CA

    MASTER_SSL_CAPATH

    MASTER_SSL_CERT

    MASTER_SSL_CIPHER

    MASTER_SSL_KEY

    MASTER_SSL_VERIFY_SERVER_CERT (R)

    MASTER_USER

    MATCH (R)

    MAXVALUE (R)

    MAX_CONNECTIONS_PER_HOUR

    MAX_QUERIES_PER_HOUR

    MAX_ROWS

    MAX_SIZE

    MAX_UPDATES_PER_HOUR

    MAX_USER_CONNECTIONS

    MEDIUM

    MEDIUMBLOB (R)

    MEDIUMINT (R)

    MEDIUMTEXT (R)

    MEMORY

    MERGE

    MESSAGE_TEXT

    MICROSECOND

    MIDDLEINT (R)

    MIGRATE

    MINUTE

    MINUTE_MICROSECOND (R)

    MINUTE_SECOND (R)

    MIN_ROWS

    MOD (R)

    MODE

    MODIFIES (R)

    MODIFY

    MONTH

    MULTILINESTRING

    MULTIPOINT

    MULTIPOLYGON

    MUTEX

    MYSQL_ERRNO

    N

    NAME

    NAMES

    NATIONAL

    NATURAL (R)

    NCHAR

    NDB

    NDBCLUSTER

    NEW

    NEXT

    NO

    NODEGROUP

    NONE

    NOT (R)

    NO_WAIT

    NO_WRITE_TO_BINLOG (R)

    NULL (R)

    NUMERIC (R)

    NVARCHAR

    O

    OFFSET

    OLD_PASSWORD

    ON (R)

    ONE

    ONE_SHOT

    OPEN

    OPTIMIZE (R)

    OPTION (R)

    OPTIONALLY (R)

    OPTIONS

    OR (R)

    ORDER (R)

    OUT (R)

    OUTER (R)

    OUTFILE (R)

    OWNER

    P

    PACK_KEYS

    PAGE

    PARSER

    PARTIAL

    PARTITION

    PARTITIONING

    PARTITIONS

    PASSWORD

    PHASE

    PLUGIN

    PLUGINS

    POINT

    POLYGON

    PORT

    PRECISION (R)

    PREPARE

    PRESERVE

    PREV

    PRIMARY (R)

    PRIVILEGES

    PROCEDURE (R)

    PROCESSLIST

    PROFILE

    PROFILES

    PROXY added in 5.5.7 (nonreserved)

    PURGE (R)

    Q

    QUARTER

    QUERY

    QUICK

    R

    RANGE (R)

    READ (R)

    READS (R)

    READ_ONLY

    READ_WRITE (R)

    REAL (R)

    REBUILD

    RECOVER

    REDOFILE

    REDO_BUFFER_SIZE

    REDUNDANT

    REFERENCES (R)

    REGEXP (R)

    RELAY added in 5.5.3 (nonreserved)

    RELAYLOG

    RELAY_LOG_FILE

    RELAY_LOG_POS

    RELAY_THREAD

    RELEASE (R)

    RELOAD

    REMOVE

    RENAME (R)

    REORGANIZE

    REPAIR

    REPEAT (R)

    REPEATABLE

    REPLACE (R)

    REPLICATION

    REQUIRE (R)

    RESET

    RESIGNAL (R)

    RESTORE

    RESTRICT (R)

    RESUME

    RETURN (R)

    RETURNS

    REVOKE (R)

    RIGHT (R)

    RLIKE (R)

    ROLLBACK

    ROLLUP

    ROUTINE

    ROW

    ROWS

    ROW_FORMAT

    RTREE

    S

    SAVEPOINT

    SCHEDULE

    SCHEMA (R)

    SCHEMAS (R)

    SCHEMA_NAME

    SECOND

    SECOND_MICROSECOND (R)

    SECURITY

    SELECT (R)

    SENSITIVE (R)

    SEPARATOR (R)

    SERIAL

    SERIALIZABLE

    SERVER

    SESSION

    SET (R)

    SHARE

    SHOW (R)

    SHUTDOWN

    SIGNAL (R)

    SIGNED

    SIMPLE

    SLAVE

    SLOW added in 5.5.3 (reserved); became nonreserved in 5.5.8

    SMALLINT (R)

    SNAPSHOT

    SOCKET

    SOME

    SONAME

    SOUNDS

    SOURCE

    SPATIAL (R)

    SPECIFIC (R)

    SQL (R)

    SQLEXCEPTION (R)

    SQLSTATE (R)

    SQLWARNING (R)

    SQL_BIG_RESULT (R)

    SQL_BUFFER_RESULT

    SQL_CACHE

    SQL_CALC_FOUND_ROWS (R)

    SQL_NO_CACHE

    SQL_SMALL_RESULT (R)

    SQL_THREAD

    SQL_TSI_DAY

    SQL_TSI_FRAC_SECOND removed in 5.5.3

    SQL_TSI_HOUR

    SQL_TSI_MINUTE

    SQL_TSI_MONTH

    SQL_TSI_QUARTER

    SQL_TSI_SECOND

    SQL_TSI_WEEK

    SQL_TSI_YEAR

    SSL (R)

    START

    STARTING (R)

    STARTS

    STATUS

    STOP

    STORAGE

    STRAIGHT_JOIN (R)

    STRING

    SUBCLASS_ORIGIN

    SUBJECT

    SUBPARTITION

    SUBPARTITIONS

    SUPER

    SUSPEND

    SWAPS

    SWITCHES

    T

    TABLE (R)

    TABLES

    TABLESPACE

    TABLE_CHECKSUM

    TABLE_NAME

    TEMPORARY

    TEMPTABLE

    TERMINATED (R)

    TEXT

    THAN

    THEN (R)

    TIME

    TIMESTAMP

    TIMESTAMPADD

    TIMESTAMPDIFF

    TINYBLOB (R)

    TINYINT (R)

    TINYTEXT (R)

    TO (R)

    TRAILING (R)

    TRANSACTION

    TRIGGER (R)

    TRIGGERS

    TRUE (R)

    TRUNCATE

    TYPE

    TYPES

    U

    UNCOMMITTED

    UNDEFINED

    UNDO (R)

    UNDOFILE

    UNDO_BUFFER_SIZE

    UNICODE

    UNINSTALL

    UNION (R)

    UNIQUE (R)

    UNKNOWN

    UNLOCK (R)

    UNSIGNED (R)

    UNTIL

    UPDATE (R)

    UPGRADE

    USAGE (R)

    USE (R)

    USER

    USER_RESOURCES

    USE_FRM

    USING (R)

    UTC_DATE (R)

    UTC_TIME (R)

    UTC_TIMESTAMP (R)

    V

    VALUE

    VALUES (R)

    VARBINARY (R)

    VARCHAR (R)

    VARCHARACTER (R)

    VARIABLES

    VARYING (R)

    VIEW

    W

    WAIT

    WARNINGS

    WEEK

    WHEN (R)

    WHERE (R)

    WHILE (R)

    WITH (R)

    WORK

    WRAPPER

    WRITE (R)

    X

    X509

    XA

    XML

    XOR (R)

    Y

    YEAR

    YEAR_MONTH (R)

    Z

    ZEROFILL (R)

    MySQL 5.5 New Keywords and Reserved Words
    The following list shows the keywords and reserved words that are added in MySQL 5.5, compared to MySQL 5.1. Reserved keywords are marked with (R).

    C

    CATALOG_NAME

    CLASS_ORIGIN

    COLUMN_NAME

    CONSTRAINT_CATALOG

    CONSTRAINT_NAME

    CONSTRAINT_SCHEMA

    CURSOR_NAME

    E

    ERROR

    G

    GENERAL

    I

    IGNORE_SERVER_IDS

    M

    MASTER_HEARTBEAT_PERIOD

    MESSAGE_TEXT

    MYSQL_ERRNO

    P

    PROXY

    R

    RELAY

    RELAYLOG

    RESIGNAL (R)

    S

    SCHEMA_NAME

    SIGNAL (R)

    SLOW

    SUBCLASS_ORIGIN

    T

    TABLE_NAME

    X

    XML

    MySQL 5.5 Removed Keywords and Reserved Words
    The following list shows the keywords and reserved words that are removed in MySQL 5.5, compared to MySQL 5.1. Reserved keywords are marked with (R).

    FRAC_SECOND

    INNOBASE

    INNODB

    SQL_TSI_FRAC_SECOND

    原文：https://blog.csdn.net/u011479200/article/details/78664625

    踩0 评论0
正在加载, 请稍后...
滑动查看更多
正在加载, 请稍后...
暂无更多信息