whs0668_个人页

作为大数据平台系统级的研发人员， 熟练Hadoop、Spark、Storm等主流大数据平台的核心框架。深入掌握如何编写MapReduce的作业及作业流的管理完成对数据的计算，并能够使用Hadoop提供的通用算法， 熟练掌握Hadoop整个生态系统的组件如： Yarn，HBase、Hive、Pig等重要组件，能够实现对平台监控、辅助运维系统的开发。

通过学习一系列面向开发者的Hadoop、Spark等大数据平台开发技术，掌握设计开发大数据系统或平台的工具和技能，能够从事分布式计算框架如Hadoop、Spark群集环境的部署、开发和管理工作，如性能改进、功能扩展、故障分析等。

大数据的难点在于它的生态系统太庞杂，家族血统太混乱，面对一个企业场景有n多的方案说“我行，我不是一般人”。就好比吃顿午餐，既可以端着碗吃，也可以就着锅吃，甚至倒到桌上手抓。每种吃法都能吃饱，但有的吃相很自然、很舒服，有的吃法很别扭，很猥琐。如何温文尔雅、如沐春风这就体现架构师的水平了。

这里分享一个在国内一线互联网公司实际工作经验，整理提炼的一套侧重培养大数据架构师级别的实战课程，讲重点介绍大数据在一线企业中的使用方案，对于各个组件，除了详细介绍必须掌握的操作要领，更重点介绍不同业务场景下的设计和应用技巧。绝不同于市面上大多数的操作手册朗读者。

包括如下几个层面：

1.大数据集成：主要介绍目前很火的ELK框架中的filebeat和logstash，相比较flume更轻量、更容易上手。
2.大数据传输：主要介绍kafka的原理和使用技巧
3.大数据落地：主要介绍hive和hbase这两款标准组合的原理和使用，并结合具体的业务场景揭秘高级设计和应用。
4.大数据使用：主要介绍企业中最有用的sql on hive、sql on hbase的解决方案，如何让hive速度提升十倍，如何让hbase像个rdbms，如何在hive中实现scd2等实际问题。
5.大数据搜索引擎：主要介绍目前很火的ELK框架中Elasticsearch，并详细演示从常规操作到高阶查询的全实战内容。

初创时期由于时间紧迫，在各种资源有限的情况下，通常就直接在项目目录下建立静态文件夹，用于用户存放项目中的文件资源。如果按不同类型再细分，可以在项目目录下再建立不同的子目录来区分。例如：resourcesstaticfile、resourcesstaticimg等。

优点：这样做比较便利，项目直接引用就行，实现起来也简单，无需任何复杂技术，保存数据库记录和访问起来也很方便。

缺点：如果只是后台系统的使用一般也不会有什么问题，但是作为一个前端网站使用的话就会存在弊端。一方面，文件和代码耦合在一起，文件越多存放越混乱；另一方面，如果流量比较大，静态文件访问会占据一定的资源，影响正常业务进行，不利于网站快速发展，分布式文件系统FastDFS详解-博客-云栖社区-阿里云 https://yq.aliyun.com/articles/338476?spm=5176.8091938.0.0.781e13c9A1T3sl

可以参考下这个内容：https://yq.aliyun.com/articles/69572?spm=5176.8091938.0.0.922uzR

电视收视率项目，案例是国内的一家广电企业作为非洲国家的一个运营商，以用户收视行为数据作为基础数据，通过对频道和节目的分析，采用多维度统计分析的方法挖掘用户的收视行为特征。这个是围绕一个大数据整理流程而做的，可以了解大数据不同技术的相互协调，从收集数据，过滤数据，数据分析，数据展示
http://www.roncoo.com/course/view/d6270b0218bb44e6a894dd93de5228c1