0x00 文章内容
- 行存储与列存储
- 编码实现Avro格式的读写
0x01 行存储与列存储
比如现在有一张表，数据如下：
分别用行存储于列存储。
1. 行存储
a. 行存储的存储方式
传统数据库就是行存储，如MySQL等。
2. 列存储
a. 列存储的存储方式
其中，这里对行进行了一个split，两行为一个split。思想与HBase的Region分区类似。
HBase理论参考文章：浅显易懂入门大数据系列：四、HBase（超详细）的 五、HBase的存储结构
并且了解行存储与列存储的优缺点。
2. Avro与Parquet
a. Avro是行存储，Parquet是列存储。
b. 还需要清楚的是Avro与Parquet格式都是有Schema的，即结构。类似于我们传统数据库的字段，所以在写的时候需要指定。
0x02 编码实现Avro格式的读写
1. 编码实现读写Avro文件
a. 引入Avro相关jar包
<dependency> <groupId>org.apache.avro</groupId> <artifactId>avro</artifactId> <version>1.8.0</version> </dependency>
b. 引入Avro的Schema文件，编辑，放于src/main/data目录下，命名为：person.avsc
{"namespace": "com.shaonaiyi.hadoop.filetype.avro", "type": "record", "name": "Person", "fields": [ {"name": "name", "type": "string"}, {"name": "age", "type": ["int", "null"]}, {"name": "favorite_number", "type": ["int", "null"]}, {"name": "favorite_color", "type": ["string", "null"]} ] }
我们准备使用此定义好结构的文件生成一个对应的Java实体类，所以这里定义了实体类存放的位置，这里是：com.shaonaiyi.hadoop.filetype.avro
c. 我们准备使用Maven插件工具生成Java类，此处引入插件：
<plugin> <groupId>org.apache.avro</groupId> <artifactId>avro-maven-plugin</artifactId> <version>1.7.7</version> <executions> <execution> <phase>generate-sources</phase> <goals> <goal>schema</goal> </goals> <configuration> <sourceDirectory>${project.basedir}/src/main/data</sourceDirectory> <outputDirectory>${project.basedir}/src/main/java</outputDirectory> </configuration> </execution> </executions> </plugin>
d. 生成Java类（clean->compile）
执行完，会发现已经生成了一个Person类，可能会报错，我们将@Override注释掉即可，因为之前写过一些代码，所以报错了，不管它。
e. Person类里面这行就是我们所需要的Schema，对应着我们的person.avsc
public static final org.apache.avro.Schema SCHEMA$ = new org.apache.avro.Schema.Parser().parse("{\"type\":\"record\",\"name\":\"Person\",\"namespace\":\"com.shaonaiyi.hadoop.filetype.avro\",\"fields\":[{\"name\":\"name\",\"type\":\"string\"},{\"name\":\"age\",\"type\":[\"int\",\"null\"]},{\"name\":\"favorite_number\",\"type\":[\"int\",\"null\"]},{\"name\":\"favorite_color\",\"type\":[\"string\",\"null\"]}]}");
g. 完整的写Avro文件代码
package com.shaonaiyi.hadoop.filetype.avro; import org.apache.avro.file.DataFileWriter; import org.apache.avro.generic.GenericData; import org.apache.avro.generic.GenericDatumWriter; import org.apache.avro.generic.GenericRecord; import org.apache.avro.io.DatumWriter; import java.io.File; import java.io.IOException; /** * @Author shaonaiyi@163.com * @Date 2019/12/17 16:17 * @Description 编码实现写Avro文件 */ public class AvroFileWriter { public static void main(String[] args) throws IOException { GenericRecord record1 = new GenericData.Record(Person.SCHEMA$); record1.put("name", "shaonaiyi"); record1.put("age", 18); record1.put("favorite_number", 7); record1.put("favorite_color", "red"); GenericRecord record2 = new GenericData.Record(Person.SCHEMA$); record2.put("name", "shaonaier"); record2.put("age", 17); record2.put("favorite_number", 1); record2.put("favorite_color", "yellow"); File file = new File("person.avro"); DatumWriter<GenericRecord> writer = new GenericDatumWriter<>(Person.SCHEMA$); DataFileWriter<GenericRecord> dataFileWriter = new DataFileWriter<>(writer); dataFileWriter.create(Person.SCHEMA$, file); dataFileWriter.append(record1); dataFileWriter.append(record2); dataFileWriter.close(); } }
h. 完整的读Avro文件代码
package com.shaonaiyi.hadoop.filetype.avro; import org.apache.avro.file.DataFileReader; import org.apache.avro.generic.GenericDatumReader; import org.apache.avro.generic.GenericRecord; import org.apache.avro.io.DatumReader; import java.io.File; import java.io.IOException; /** * @Author shaonaiyi@163.com * @Date 2019/12/17 16:48 * @Description 编码实现读Avro文件 */ public class AvroFileReader { public static void main(String[] args) throws IOException { File file = new File("person.avro"); DatumReader<GenericRecord> reader = new GenericDatumReader<>(); DataFileReader<GenericRecord> dataFileReader = new DataFileReader<GenericRecord>(file, reader); GenericRecord record = null; while (dataFileReader.hasNext()) { record = dataFileReader.next(); System.out.println("name:" + record.get("name").toString()); System.out.println("age:" + record.get("age").toString()); System.out.println("favorite_number:" + record.get("favorite_number").toString()); System.out.println("favorite_color:" + record.get("favorite_color")); System.out.println("-----------------------------------"); } } }
