Databricks如何获取数据？

YipitData公司的数据量是非常大的，有压缩后大小超过1PB的Parquet，60K的Tables和1.7K的Databases。他们的数据收集使用的是Readypipe，简单理解就是一个网络爬虫，在有了URL之后，将网页内存download下来然后进行存储，实现从URLs到Parquet。首先，使用Readypipe对网页进行爬取，然后以流的方式源源不断的写入kinesisFirehose，kinesisFirehose会接着将数据写入AWS的S3上。在这个阶段所存储的数据都是原始JSON数据，是没有schema的，这类数据对于数据分析师来说是很难进行使用的。因此，第二步我们要对数据进行一些格式转换和清理，比较典型的做法是将JSON文件转换成Bucket，这一步也自带了压缩效果。转换完成之后会有两个输出，如下图所示，一个是元数据，会写入GlueMetastore，另外一个是数据，会写入ParquetBucket中。通过上面的过程，就完成了数据的收集和清理过程，整个过程是非常经典，非常有参考价值的。