大数据||日志文件数据存储、收集、预处理和分析
项目实战之四日志文件数据存储、收集、预处理和分析
日志文件：
每天的文件安装【日期】存放在对应的文件夹中
一天之内只产生一个文件，以每天零点为准
收集数据
&&程序
put hdfs
* flume
* shell 脚本
处理数据
&& 预处.
关系型数据抽取到hive中
操作步骤
1.建立外表
CREATE external TABLE t_rk_baseinfo_5kwexternal
(
ROW_ID STRING, SYNC_SIGN STRING, SYNC_ERRO...
揭秘Facebook背后的那些软件
对于Facebook这样超大规模的网站，很多传统的解决方案根本不适用。Facebook工程师们面临的巨大挑战是保证一个近5亿活跃用户的网站一直稳定可靠地运行。他们是如何做到的呢，这篇文章将介绍一下他们所使用的软件和技术。
WinCE文件系统概要
文件系统是一个实现了数据的存储、组织、处理和获取等操作的抽象数据类型。一般分为磁盘文件系统，网络文件系统和特定功能的文件系统。
磁盘文件系统主要包括FAT(FAT12、FAT16、FAT32)，NTFS、HFS、ext2、ext3，现在ext4也出来了。
Hive和HBase区别
1. 两者分别是什么？
Apache Hive是一个构建在Hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。
WinCE下VB.NET读写注册表的参考代码
与桌面Windows系统类似，WinCE将有关操作系统、应用程序和驱动的设置信息都保存在系统注册表中。WinCE的注册表与桌面系统中的组织方式也差不多，包括了如下四个根键：
HKEY_CLASS_ROOT,包含了文件扩展名信息和COM子系统的配置信息
HKEY...
SparkSQL的解析详解
SparkSQL继承自Hive的接口，由于hive是基于MapReduce进行计算的，在计算过程中大量的中间数据要落地于磁盘，从而消耗了大量的I/O，降低了运行的效率，从而基于内存运算的SparkSQL应运而生。