AI 助理
备案控制台
开发者社区 大数据与机器学习 大数据计算 MaxCompute 文章 正文

MaxCompute上如何处理非结构化数据

2016-10-12 13050
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
本文涉及的产品
云原生大数据计算服务 MaxCompute，5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute，500CU*H 100GB 3个月
简介： 0. 前言 MaxCompute作为阿里云大数据平台的核心计算组件，拥有强大的计算能力，能够调度大量的节点做并行计算，同时对分布式计算中的failover，重试等均有一套行之有效的处理管理机制。 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑，在集团内外更是广为应用，在其上实现

0. 前言

MaxCompute作为阿里云大数据平台的核心计算组件，拥有强大的计算能力，能够调度大量的节点做并行计算，同时对分布式计算中的failover，重试等均有一套行之有效的处理管理机制。 而MaxCompute SQL能在简明的语义上实现各种数据处理逻辑，在集团内外更是广为应用，在其上实现与各种数据源的互通，对于打通整个阿里云的数据生态具有重要意义。基于这一点，最近MaxCompute团队依托MaxCompute2.0系统架构，引入了非结构化数据处理框架：通过外部表，为各种数据在MaxCompute上的计算处理提供了入口。这里以MaxCompute处理存储在OSS上的数据为例，介绍这些新功能。

现阶段MaxCompute SQL面对的主要是以cfile列格式，存储在内部MaxCompute表格中的结构化数据。而对于MaxCompute表外的各种用户数据（包括文本以及各种非结构化的数据），需要首先通过各种工具导入MaxCompute表，才能在其上面进行计算。这个数据导入的过程，具有较大的局限性。以OSS为例子，想要在MaxCompute里处理OSS上的数据，通常有两种做法：

  1. 通过OSS SDK或者其他工具从OSS下载数据，然后再通过MaxCompute Tunnel将数据导入表里。
  2. 写UDF，在UDF里直接调用OSS SDK访问OSS数据。

但这两种做法都不够好。#1需要在MaxCompute系统外部做一次中转，如果OSS数据量太大，还需要考虑如何并发来加速，无法充分利用MaxCompute大规模计算的能力；#2通常需要申请UDF网络访问权限，还要开发者自己控制作业并发数和数据如何分片的问题。

本文介绍了一种外部表的功能 ，支持旨在提供处理除了MaxCompute现有表格以外的其他数据的能力。在这个框架中，通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联，提供各种数据的接入和输出能力。创建好的外部表可以像普通的MaxCompute表一样使用（大部分场景），充分利用MaxCompute SQL的强大计算功能。

这里的“各种数据”涵盖两个维度：

  1. 多样的数据存储介质

插件式的框架可以对接多种数据存储介质，比如OSS、OTS

  1. 多样的数据格式：MaxCompute表是结构化的数据，而外部表可以不限于结构化数据

    1. 完全无结构数据；比如图像，音频，视频文件，raw binaries等
    2. 半结构化数据；比如csv,tsv等隐含一定schema的文本文件
    3. 非cfile的结构化数据； 比如orc/parquet文件，甚至hbase/OTS数据

下面通过一个简单例子，来演示如何在MaxCompute上轻松访问OSS上的数据。

1. 使用内置extractor读取OSS数据

使用MaxCompute内置的extractor，可以非常方便的读取按照约定格式存储的OSS数据。我们只需要创建一个外部表，就能以这张表为源表做查询。假设有一份csv数据存在OSS上，endpoint为oss-cn-hangzhou-zmf.aliyuncs.com，bucket为oss-odps-test，数据文件放在/demo/SampleData/CSV/AmbulanceData/vehicle.csv。

1.1 创建外部表

首先需要在RAM中授权MaxCompute访问OSS的权限。登录RAM控制台，创建角色AliyunODPSDefaultRole，并将策略内容设置为：

{
  "Statement": [
    {
      "Action": "sts:AssumeRole",
      "Effect": "Allow",
      "Principal": {
        "Service": [
          "odps.aliyuncs.com"
        ]
      }
    }
  ],
  "Version": "1"
}

然后编辑该角色的授权策略，将权限AliyunODPSRolePolicy授权给该角色。

如果觉得这些步骤太麻烦，可以点击此处完成一键授权。

执行一条DDL语句，创建外部表：


CREATE EXTERNAL TABLE IF NOT EXISTS ambulance_data_csv_external
(
vehicleId int,
recordId int,
patientId int,
calls int,
locationLatitute double,
locationLongtitue double,
recordTime string,
direction string
)
STORED BY 'com.aliyun.odps.CsvStorageHandler' -- (2)
LOCATION 'oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/Demo/SampleData/CSV/AmbulanceData/'; -- (3)(4)(5)

注释：

  1. 这个功能是MaxCompute2.0的一部分，目前处于试用状态。这里需要提前设置一些开关来临时打开这个功能（这个开关设置前需要申请试用MaxCompute2.0，文章末尾有介绍），本文后面所有的SQL例子语句运行前都需要设置这些开关，为了便于阅读，我只在这里明确写出。
  2. com.aliyun.odps.CsvStorageHandler是内置的处理csv格式文件的StorageHandler，它定义了如何读写csv文件。我们只需要指明这个名字，相关逻辑已经由系统实现。
  3. LOCATION必须指定一个OSS目录，默认系统会读取这个目录下所有的文件。
  4. 外部表只是在系统中记录了与OSS目录的关联，当DROP这张表时，对应的LOCATION数据不会被删除。
  5. 前面我们已经通过RAM将账号中的OSS资源访问权限授权给了MaxCompute。在后续的访问OSS过程中，MaxCompute将通过STS拿到对OSS资源的临时权限。需要注意的是，MaxCompute在获取权限时，是以表的创建者的身份去STS申请的，因此，这里创建表的账号和OSS必须是同一个云账号，而且必须是主账号，不能是子账号。

1.2 查询外部表

外部表创建成功后，我们可以像对普通表一样使用这个外部表。

假设/demo/SampleData/CSV/AmbulanceData/vehicle.csv数据为：

1,1,51,1,46.81006,-92.08174,9/14/2014 0:00,S
1,2,13,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,3,48,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,4,30,1,46.81006,-92.08174,9/14/2014 0:00,W
1,5,47,1,46.81006,-92.08174,9/14/2014 0:00,S
1,6,9,1,46.81006,-92.08174,9/14/2014 0:00,S
1,7,53,1,46.81006,-92.08174,9/14/2014 0:00,N
1,8,63,1,46.81006,-92.08174,9/14/2014 0:00,SW
1,9,4,1,46.81006,-92.08174,9/14/2014 0:00,NE
1,10,31,1,46.81006,-92.08174,9/14/2014 0:00,N

执行：

SELECT recordId, patientId, direction
FROM ambulance_data_csv_external
WHERE patientId > 25;

这条语句会提交一个作业，调用内置csv extractor，从OSS读取数据进行处理。

结果：

+------------+------------+-----------+
| recordId   | patientId  | direction |
+------------+------------+-----------+
| 1          | 51         | S         |
| 3          | 48         | NE        |
| 4          | 30         | W         |
| 5          | 47         | S         |
| 7          | 53         | N         |
| 8          | 63         | SW        |
| 10         | 31         | N         |
+------------+------------+-----------+

2. 自定义extractor

当OSS中数据格式比较复杂，内置的extractor无法满足需求时，需要自定义extractor来读取OSS文件中的数据。

例如有一个text数据文件，并不是csv格式，记录之间的列通过|分割。/demo/SampleData/CustomTxt/AmbulanceData/vehicle.csv数据为：

1|1|51|1|46.81006|-92.08174|9/14/2014 0:00|S
1|2|13|1|46.81006|-92.08174|9/14/2014 0:00|NE
1|3|48|1|46.81006|-92.08174|9/14/2014 0:00|NE
1|4|30|1|46.81006|-92.08174|9/14/2014 0:00|W
1|5|47|1|46.81006|-92.08174|9/14/2014 0:00|S
1|6|9|1|46.81006|-92.08174|9/14/2014 0:00|S
1|7|53|1|46.81006|-92.08174|9/14/2014 0:00|N
1|8|63|1|46.81006|-92.08174|9/14/2014 0:00|SW
1|9|4|1|46.81006|-92.08174|9/14/2014 0:00|NE
1|10|31|1|46.81006|-92.08174|9/14/2014 0:00|N

2.1 定义Extractor

这个时候可以写一个通用的extractor，将分隔符作为参数传进来，可以处理所有类似格式的text文件。

/**
 * Text extractor that extract schematized records from formatted plain-text(csv, tsv etc.)
 **/
public class TextExtractor extends Extractor {

  private InputStreamSet inputs;
  private String columnDelimiter;
  private DataAttributes attributes;
  private BufferedReader currentReader;
  private boolean firstRead = true;

  public TextExtractor() {
    // default to ",", this can be overwritten if a specific delimiter is provided (via DataAttributes)
    this.columnDelimiter = ",";
  }

  // no particular usage for execution context in this example
  @Override
  public void setup(ExecutionContext ctx, InputStreamSet inputs, DataAttributes attributes) {
    this.inputs = inputs; // (1)
    this.attributes = attributes;
    // check if "delimiter" attribute is supplied via SQL query
    String columnDelimiter = this.attributes.getValueByKey("delimiter"); // (2)
    if ( columnDelimiter != null)
    {
      this.columnDelimiter = columnDelimiter;
    }
    // note: more properties can be inited from attributes if needed
  }

  @Override
  public Record extract() throws IOException {
    String line = readNextLine();
    if (line == null) {
      return null; // (5)
    }
    return textLineToRecord(line); // (3)(4)
  }

  @Override
  public void close(){
    // no-op
  }
}
  1. inputs是一个InputStreamSet，每次调用next()返回一个InputStream，这个InputStream可以读取一个OSS文件的所有内容。
  2. delimiter通过DDL语句传参
  3. textLineToRecord将一行数据按照delimiter分割为多个列，完整实现可以参考: https://github.com/aliyun/aliyun-odps-java-sdk/blob/master/odps-sdk-impl/odps-udf-example/src/main/java/com/aliyun/odps/udf/example/text/TextExtractor.java
  4. extactor()调用返回一条Record，代表外部表中的一条记录
  5. 返回null来表示这个表中已经没有记录可读了

2.2 定义StorageHandler

StorageHandler作为external table自定义逻辑的统一入口。


package com.aliyun.odps.udf.example.text;

public class TextStorageHandler extends OdpsStorageHandler {

  @Override
  public Class<? extends Extractor> getExtractorClass() {
    return TextExtractor.class;
  }

  @Override
  public Class<? extends Outputer> getOutputerClass() {
    return TextOutputer.class;
  }
}

2.3 编译打包

将自定义代码编译打包，并上传到MaxCompute。

add jar odps-udf-example.jar;

2.4 创建external表

与使用内置extractor类似，我们同样需要建立一个外部表，不同的是这次需要指定外部表访问数据的时候，使用自定义的StorageHandler。

CREATE EXTERNAL TABLE IF NOT EXISTS ambulance_data_txt_external
(
vehicleId int,
recordId int,
patientId int,
calls int,
locationLatitute double,
locationLongtitue double,
recordTime string,
direction string
)
STORED BY 'com.aliyun.odps.udf.example.text.TextStorageHandler' -- (1)
WITH SERDEPROPERTIES(
  'delimiter'='|'  --(2)
LOCATION 'oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/Demo/SampleData/CustomTxt/AmbulanceData/'
USING 'odps-udf-example.jar'; --(3)
  1. STORED BY指定自定义StorageHandler的类名
  2. SERDEPROPERITES可以指定参数，这些参数会通过DataAttributes传递到Extractor代码中
  3. 同时需要指定类定义所在的jar包

2.5 查询外部表

执行：

SELECT recordId, patientId, direction
FROM ambulance_data_txt_external
WHERE patientId > 25;

这条语句会提交一个作业，调用自定义的extractor，从OSS读取数据进行处理。

结果：

+------------+------------+-----------+
| recordId   | patientId  | direction |
+------------+------------+-----------+
| 1          | 51         | S         |
| 3          | 48         | NE        |
| 4          | 30         | W         |
| 5          | 47         | S         |
| 7          | 53         | N         |
| 8          | 63         | SW        |
| 10         | 31         | N         |
+------------+------------+-----------+

3. 通过自定义extractor读取外部非结构化数据

在前面我们看到了通过内置与自定义的extractor可以轻松处理存储在OSS上的csv等文本数据。接下来我们以语音数据(wav格式文件)为例，来看看怎样通过自定义的extractor来访问处理OSS上的非文本文件。

这里我们从最终执行的SQL query开始，介绍以MaxCompute SQL为入口，处理存放在OSS上的语音文件的使用方法：

CREATE EXTERNAL TABLE IF NOT EXISTS speech_sentence_snr_external
(
sentence_snr double,
id string
)
STORED BY 'com.aliyun.odps.udf.example.speech.SpeechStorageHandler'
WITH SERDEPROPERTIES (
    'mlfFileName'='sm_random_5_utterance.text.label' ,
    'speechSampleRateInKHz' = '16'
)
LOCATION 'oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/dev/SpeechSentenceTest/'
USING 'odps-udf-example.jar,sm_random_5_utterance.text.label';
SELECT sentence_snr, id
    FROM speech_sentence_snr_external
WHERE sentence_snr > 10.0;

这里我们依然建立的外部表，并且通过外部表的schema定义了我们希望通过外部表从语音文件中抽取出来的信息:

  1. 一个语音文件中的语句信噪比（SNR）：sentence_snr
  2. 对应语音文件的名字：id

创建了外部表后，通过标准的select语句进行查询，则会触发extractor运行计算。

从这我们可以更直接的感受到，在读取处理OSS数据时，除了之前介绍过的对文本文件做简单的反序列化处理，还可以通过在自定义的extractor中实现更复杂的数据处理抽取逻辑：在这个例子中，我们通过自定义的com.aliyun.odps.udf.example.speech. SpeechStorageHandler 中封装的extractor, 实现了对语音文件计算平均有效语句信噪比的功能，并将抽取出来的结构化数据直接进行SQL运算（WHERE sentence_snr > 10）, 最终返回所有信噪比大于10的语音文件以及对应的信噪比值。

在OSS地址oss://oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/dev/SpeechSentenceTest/上，存储了原始的多个wav格式的语音文件，MaxCompute 框架将读取该地址上的所有文件，并在必要的时候进行文件级别的分片，自动将文件分配给多个计算节点处理。每个计算节点上的extractor则负责处理通过InputStreamSet分配给该节点的文件集。具体的处理逻辑则与用户单机程序相仿，用户不用关心分布计算中的种种细节，按照类单机方式实现其用户算法即可。

这里简单介绍一下定制化的SpeechSentenceSnrExtractor主体逻辑。首先我们在setup接口中读取参数，进行初始化，并且导入语音处理模型（通过resource引入）:

  public SpeechSentenceSnrExtractor(){
    this.utteranceLabels = new HashMap<String, UtteranceLabel>();
  }

  @Override
  public void setup(ExecutionContext ctx, InputStreamSet inputs, DataAttributes attributes){
    this.inputs = inputs;
    this.attributes = attributes;
    this.mlfFileName = this.attributes.getValueByKey(MLF_FILE_ATTRIBUTE_KEY);
    String sampleRateInKHzStr = this.attributes.getValueByKey(SPEECH_SAMPLE_RATE_KEY);
    this.sampleRateInKHz = Double.parseDouble(sampleRateInKHzStr);
    try {
      // read the speech model file from resource and load the model into memory
      BufferedInputStream inputStream = ctx.readResourceFileAsStream(mlfFileName);
      loadMlfLabelsFromResource(inputStream);
      inputStream.close();
    } catch (IOException e) {
      throw new RuntimeException("reading model from mlf failed with exception " + e.getMessage());
    }
  }

extractor()接口中，实现了对语音文件的具体读取和处理逻辑，对读取的数据根据语音模型进行信噪比的计算，并且将结果填充成[snr, id]格式的Record。
这个例子中对实现进行了简化，同时也没有包括涉及语音处理的算法逻辑，具体实现可参见：
https://github.com/aliyun/aliyun-odps-java-sdk/blob/master/odps-sdk-impl/odps-udf-example/src/main/java/com/aliyun/odps/udf/example/speech/SpeechSentenceSnrExtractor.java

  @Override
  public Record extract() throws IOException {
    SourceInputStream inputStream = inputs.next();
    if (inputStream == null){
      return null;
    }
    // process one wav file to extract one output record [snr, id]
    String fileName = inputStream.getFileName();
    fileName = fileName.substring(fileName.lastIndexOf('/') + 1);
    logger.info("Processing wav file " + fileName);
    String id = fileName.substring(0, fileName.lastIndexOf('.'));

    // read speech file into memory buffer
    long fileSize = inputStream.getFileSize();
    byte[] buffer = new byte[(int)fileSize];
    int readSize = inputStream.readToEnd(buffer);
    inputStream.close();

    // compute the avg sentence snr
    double snr = computeSnr(id, buffer, readSize);

    // construct output record [snr, id]
    Column[] outputColumns = this.attributes.getRecordColumns();
    ArrayRecord record = new ArrayRecord(outputColumns);
    record.setDouble(0, snr);
    record.setString(1, id);
    return record;
  }

  private void loadMlfLabelsFromResource(BufferedInputStream fileInputStream)
          throws IOException {
    //  skipped here
  }

  // compute the snr of the speech sentence, assuming the input buffer contains the entire content of a wav file
  private double computeSnr(String id, byte[] buffer, int validBufferLen){
    // computing the snr value for the wav file (supplied as byte buffer array), skipped here
  }

执行一开始的SQL语句，可获得计算结果：

--------------------------------------------------------------
| sentence_snr |                     id                      |
--------------------------------------------------------------
|   34.4703    |          J310209090013_H02_K03_042          |
--------------------------------------------------------------
|   31.3905    | tsh148_seg_2_3013_3_6_48_80bd359827e24dd7_0 |
--------------------------------------------------------------
|   35.4774    | tsh148_seg_3013_1_31_11_9d7c87aef9f3e559_0  |
--------------------------------------------------------------
|   16.0462    | tsh148_seg_3013_2_29_49_f4cb0990a6b4060c_0  |
--------------------------------------------------------------
|   14.5568    |   tsh_148_3013_5_13_47_3d5008d792408f81_0   |
--------------------------------------------------------------

可以看到，通过自定义extractor，我们在SQL语句上即可分布式地处理多个OSS上语音数据文件。同样的，用类似的方法，我们可以方便的利用MaxCompute的大规模计算能力，完成对图像，视频等各种类型非结构化数据的处理。

4. 数据的分区

在前面的例子中，一个外部表关联的数据通过LOCATION上指定的OSS“目录”来实现，而在处理的时候，MaxCompute对读取“目录”下面的所有数据，包括子目录中的所有文件。在数据量比较大，尤其是对于随着时间不断积累的数据目录，这样子的全目录扫描，可能带来不必要的额外IO以及数据处理时间。 解决这个问题通常有两种做法：

  • 比较直接的减少访问数据量的方法是用户自己负责对数据存放地址做好规划，同时考虑使用多个EXTERNAL TABLE来描述不同部分的数据，让每个EXTERNALTABLE的LOCATION指向数据的一个子集。
  • 另一个方面，EXTERNAL TABLE与内部表一样，支持分区表的功能，用户可以利用这个功能来对数据做系统化的管理。这个章节主要介绍一下EXTERNAL TABLE的分区功能。

4.1 分区数据在OSS上的标准组织方式和路径格式

与MaxCompute内部表不同，对于存放在外部存储上(如OSS)上面的数据，MaxCompute不拥有数据的管理权，所以用户如果希望系统的使用分区表功能的话，在OSS上的数据文件的存放路径应该符合一定的格式，具体说来就是路径为如下格式：

partitionKey1=value1\partitionKey2=value2\...

举一个例子，假设用户每天的LOG文件存放在OSS上面，然后希望能在通过MaxCompute处理的时候，能够按照粒度为“天”来访问一部分数据。简单假设这些LOG文件就是CSV的格式（复杂自定义格式用法也类似），那么可以使用如下的分区外部表来定义数据：

CREATE EXTERNAL TABLE log_table_external (
    click STRING,
    ip STRING,
    url STRING,
  )
  PARTITIONED BY (
    year STRING,
    month STRING,
    day STRING
  )
  STORED BY 'com.aliyun.odps.CsvStorageHandler'
  LOCATION 'oss://<ak_id>:<ak_key>@oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/log_data/';

可以看到，这里和前面的例子不一样的主要就是在定义EXTERNAL TABLE的时候，我们通过PARTITIONED BY的语法，来指定该外部表为分区表，这里举了一个三层分区的例子，分区的key分别是 year， month 和 day。为了让这样的分区能生效，在OSS上面存储数据的时候需要遵循上面提到的路径格式。这里举一个有效的路径存储layout的例子:

osscmd ls oss://oss-odps-test/log_data/

2017-01-14 08:03:35 128MB Standard oss://oss-odps-test/log_data/year=2016/month=06/day=01/logfile
2017-01-14 08:04:12 127MB Standard oss://oss-odps-test/log_data/year=2016/month=06/day=01/logfile.1
2017-01-14 08:05:02 118MB Standard oss://oss-odps-test/log_data/year=2016/month=06/day=02/logfile
2017-01-14 08:06:45 123MB Standard oss://oss-odps-test/log_data/year=2016/month=07/day=10/logfile
2017-01-14 08:07:11 115MB Standard oss://oss-odps-test/log_data/year=2016/month=08/day=08/logfile
...

需要再次强调的，因为用户自己离线准备了数据，即通过osscmd或者其他OSS工具自行上载到OSS存储服务上，所以数据路径格式是由用户决定的，如果想要EXTERNAL TABLE的分区表功能正常工作的话，我们推荐用户上载数据的时候遵循如上路径格式。在这个前提下，通过ALTER TABLE ADD PARTITIONDDL语句，就可以把这些分区信息引入MaxCompute。在这里对应的DDL语句是：

ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '06', day = '01')
ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '06', day = '02')
ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '07', day = '10')
ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '08', day = '08')
...

事实上这些操作都和标准的MaxCompute内部表操作一样，对分区表概念不熟悉的可以参考文档。在数据准备好并且PARTITION信息引入系统之后，就可以通过SQL语句来对OSS上的外表数据的分区进行操作了。

比如如果只想分析2016年6月1号当天，有多少不同的IP出现在LOG里面，可以通过如下语句实现：

SELECT count(distinct(ip)) FROM log_table_external 
WHERE year = '2016' AND month = '06' AND day = '01';

这种情况下, 对log_table_external这个外表对应的目录,将只访问log_data/year=2016/month=06/day=01子目录下的文件(logfile和logfile.1), 而不会对整个log_data/目录作全量数据扫描，避免大量无用的IO操作。

同样如果只希望对2016年下半年的数据做分析, 则可以通过

SELECT count(distinct(ip)) FROM log_table_external 
WHERE year = '2016' AND month > '06';

来只访问OSS上面存储的下半年的LOG数据.

4.2 分区数据在OSS上的自定义路径

如果用户已经有事先存在OSS上面的历史数据，但是又不是根据partitionKey1=value1\partitionKey2=value2\...的路径格式来组织存放的，那也是可以通过MaxCompute的分区方式来进行访问计算的。虽然通常情况下不这样推荐，但是在非结构化数据处理这方面，MaxCompute同样提供了通过自定义路径来引入partition的方法。

比如假设用户的数据路径上只有简单的分区值（而无分区key信息）,也就是数据的layout为：

osscmd ls oss://oss-odps-test/log_data_customized/

2017-01-14 08:03:35 128MB Standard oss://oss-odps-test/log_data_customized/2016/06/01/logfile
2017-01-14 08:04:12 127MB Standard oss://oss-odps-test/log_data_customized/2016/06/01/logfile.1
2017-01-14 08:05:02 118MB Standard oss://oss-odps-test/log_data_customized/2016/06/02/logfile
2017-01-14 08:06:45 123MB Standard oss://oss-odps-test/log_data_customized/2016/07/10/logfile
2017-01-14 08:07:11 115MB Standard oss://oss-odps-test/log_data_customized/2016/08/08/logfile
...

那么要绑定不同的子目录到不同的分区上，可以通过类似如下自定义分区路径的DDL语句实现：

ALTER TABLE log_table_external ADD PARTITION (year = '2016', month = '06', day = '01')
LOCATION 'oss://<ak_id>:<ak_key>@oss-cn-hangzhou-zmf.aliyuncs.com/oss-odps-test/log_data_customized/2016/06/01/';

在ADD PARTITION的时候增加了LOCATION信息，从而实现自定义分区数据路径后，即使数据存放不符合推荐的partitionKey1=value1\partitionKey2=value2\...格式，也能正确的实现对子目录数据的分区访问了。

4.3 完全自定义的非分区数据子集访问

最后在一些特殊情况下，用户可能会有访问某个OSS路径上的任意文件子集的需求，而这个文件子集中的文件在路径格式上没有明显的规律性。在这方面MaxCompute非结构化数据处理框架也提供了相应的支持，但是在这里不展开做介绍了。如果对于这些高阶的特殊用法，有详细的具体需求和场景描述的话，可以联系MaxCompute技术团队。

5. 结语

MaxCompute上增添处理非结构化数据的能力，能够有效的利用MaxCompute框架上成熟的大规模计算资源，处理来自各种数据源上的数据，从而真正实现数据计算互通。随着MaxCompute 2.0框架的逐步上线，这些新功能将为集团内外用户提供更多的计算价值。目前对于OSS数据的读取计算功能，在集团内一些急需大规模非结构化数据处理能力的团队中已经使用。MaxCompute团队将进一步完善相关功能，并且提供对更多数据源的支持，例如TableStore(OTS)等。后继我们也会在ATA上做更多的介绍。

本文介绍的内容为MaxCompute2.0的功能，欢迎扫描二维码加入钉钉群讨论：
maxcompute2_scan

文章标签：
云原生大数据计算服务 MaxCompute
对象存储
表格存储
分布式计算
MaxCompute
对象存储
SQL
存储
关键词：
云原生大数据计算服务 MaxCompute数据
云原生大数据计算服务 MaxCompute如何处理
云原生大数据计算服务 MaxCompute结构化
云原生大数据计算服务 MaxCompute非结构化数据
云原生大数据计算服务 MaxCompute结构化数据
相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析，通过分析能得到用户群体年龄分布，性别分布，地理位置分布，以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品，是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法，从场景到实践，体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库，助力开发者学习了解先进的技术栈，并能在实际业务中敏捷的进行大数据分析，赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景，可应用MaxCompute实现数仓搭建，快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理，需要搭建数据仓库？学它！ 没有足够人员和经验来运维大数据平台，不想自建IDC买机器，需要免运维的大数据平台？会SQL就等于会大数据？学它！ 想知道大数据用得对不对，想用更少的钱得到持续演进的数仓能力？获得极致弹性的计算资源和更好的性能，以及持续保护数据安全的生产环境？学它！ 想要获得灵活的分析能力，快速洞察数据规律特征？想要兼得数据湖的灵活性与数据仓库的成长性？学它！ 出品人：阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps&nbsp;
kilowu
目录
相关文章
yuanzhengme
|
1月前
|
存储 分布式计算 数据挖掘
数据架构 ODPS 是什么？
数据架构 ODPS 是什么？
yuanzhengme
293 7
小Lee
|
1月前
|
存储 分布式计算 大数据
大数据 优化数据读取
【11月更文挑战第4天】
小Lee
45 2
土木林森
|
1月前
|
数据采集 监控 数据管理
数据治理之道：大数据平台的搭建与数据质量管理
【10月更文挑战第26天】随着信息技术的发展，数据成为企业核心资源。本文探讨大数据平台的搭建与数据质量管理，包括选择合适架构、数据处理与分析能力、数据质量标准与监控机制、数据清洗与校验及元数据管理，为企业数据治理提供参考。
土木林森
86 1
龙大吉
|
26天前
|
机器学习/深度学习 存储 大数据
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系
在大数据时代，高维数据处理成为难题，主成分分析（PCA）作为一种有效的数据降维技术，通过线性变换将数据投影到新的坐标系，保留最大方差信息，实现数据压缩、去噪及可视化。本文详解PCA原理、步骤及其Python实现，探讨其在图像压缩、特征提取等领域的应用，并指出使用时的注意事项，旨在帮助读者掌握这一强大工具。
龙大吉
63 4
小Lee
|
1月前
|
存储 大数据 数据管理
大数据分区简化数据维护
大数据分区简化数据维护
小Lee
24 4
小Lee
|
1月前
|
存储 大数据 定位技术
大数据 数据索引技术
【10月更文挑战第26天】
小Lee
58 3
小Lee
|
1月前
|
存储 大数据 OLAP
大数据数据分区技术
【10月更文挑战第26天】
小Lee
67 2
土木林森
|
1月前
|
消息中间件 分布式计算 大数据
数据为王：大数据处理与分析技术在企业决策中的力量
【10月更文挑战第29天】在信息爆炸的时代，大数据处理与分析技术为企业提供了前所未有的洞察力和决策支持。本文探讨了大数据技术在企业决策中的重要性和实际应用，包括数据的力量、实时分析、数据驱动的决策以及数据安全与隐私保护。通过这些技术，企业能够从海量数据中提取有价值的信息，预测市场趋势，优化业务流程，从而在竞争中占据优势。
土木林森
112 2
土木林森
|
1月前
|
数据采集 分布式计算 大数据
数据治理之道：大数据平台的搭建与数据质量管理
【10月更文挑战第27天】在数字化时代，数据治理对于确保数据资产的保值增值至关重要。本文探讨了大数据平台的搭建和数据质量管理的重要性及实践方法。大数据平台应包括数据存储、处理、分析和展示等功能，常用工具如Hadoop、Apache Spark和Flink。数据质量管理则涉及数据的准确性、一致性和完整性，通过建立数据质量评估和监控体系，确保数据分析结果的可靠性。企业应设立数据治理委员会，投资相关工具和技术，提升数据治理的效率和效果。
土木林森
107 2
1941623231718325
|
1月前
|
存储 安全 大数据
大数据隐私保护：用户数据的安全之道
【10月更文挑战第31天】在大数据时代，数据的价值日益凸显，但用户隐私保护问题也愈发严峻。本文探讨了大数据隐私保护的重要性、面临的挑战及有效解决方案，旨在为企业和社会提供用户数据安全的指导。通过加强透明度、采用加密技术、实施数据最小化原则、加强访问控制、采用隐私保护技术和提升用户意识，共同推动大数据隐私保护的发展。
1941623231718325
198 3
大数据与机器学习

大数据计算 MaxCompute

热门文章

最新文章

  • 1
    阿里云开源离线同步工具DataX3.0介绍
  • 2
    每个人都应该知道的25个大数据术语
  • 3
    盘古：阿里云飞天分布式存储系统设计深度解析
  • 4
    odps是什么?
  • 5
    美柚：最懂女性App背后的混合云架构与大数据服务
  • 6
    阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
  • 7
    Python+大数据计算平台，PyODPS架构手把手教你搭建
  • 8
    干货：解码OneData，阿里的数仓之路。
  • 9
    使用 MaxCompute Studio 开发大数据应用
  • 10
    如何有效降低大数据平台安全风险
  • 1
    免费HTTP代理IP对业务稳定性的影响关键因素分析
    31
  • 2
    HTTP代理服务器在网络安全中的重要性
    18
  • 3
    网络不稳定导致HTTP代理频繁掉线的分析
    19
  • 4
    MaxCompute Bloomfilter index 在蚂蚁安全溯源场景大规模点查询的最佳实践
    24
  • 5
    探讨代理IP使用中用户体验差异的原因
    25
  • 6
    HTTP代理稳定性大作战长效和短效的实力较量
    32
  • 7
    HTTP代理网速变慢的原因及优化策略
    28
  • 8
    使用代理IP爬虫时数据不完整的原因探讨
    35
  • 9
    如何评估HTTP代理IP的性能？
    28
  • 10
    HTTP 代理 IP 使用中的速度与安全性的权衡
    22

    • 相关产品

  • 云原生大数据计算服务 MaxCompute
    文档详情 产品详情

    • 相关课程

    更多
  • 大数据Spark2020最新课程（知识精讲与实战演练）第二阶段
  • 大数据Spark2020版（知识精讲与实战演练）第三阶段
  • 大数据Spark2020版（知识精讲与实战演练）第四阶段
  • 2020版大数据实战项目之DMP广告系统（第二阶段）
  • 2020版大数据实战项目之DMP广告系统（第五阶段）
  • 2020版大数据实战项目之DMP广告系统（第六阶段）

    • 相关电子书

    更多
  • Data+AI时代大数据平台应该如何建设
  • 大数据AI一体化的解读
  • 极氪大数据 Serverless 应用实践

    • 相关实验场景

    更多
  • 基于Hologres+Flink搭建GitHub实时数据大屏
  • 基于Hologres轻松玩转一站式实时仓库
  • 基于Hologres轻量实时的高性能OLAP分析
  • 基于DTS构建一站式实时数据服务
  • 基于OpenSearch向量检索版和MaxCompute快速搭建图搜服务
  • 倚天大数据电商数据分析快速实践
    • 下一篇
    DataWorks售前咨询