开发者学堂课程【2020版大数据实战项目之DMP广告系统(第四阶段):框架搭建_创建工程】学习笔记,与课程紧密联系,让用户快速学习知识。
课程地址:https://developer.aliyun.com/learning/course/679/detail/11797
框架搭建_创建工程
内容介绍:
一、创建工程
二、创建包
一、创建工程
在这一小节当中会把工程创建出来,工程创建目的非常明确,有了工程才能写代码,所以要创建工程。
步骤就是打开 idea ,进行一系列的操作把工程创建出来。接下来打开 idea ,如果一进来是具体的某一个页面,那么点击 close project ,把工程关掉, create new project 创建一个新工程,要加载 maven 环境。点击 next 输入 group ID 。 A group ID 叫做 it .costs.cn , ARtifactID 限制为 DMP 点击下一步,就可以创建 project name , DMP ,把工程放在目录当中,然后放在 project 目录下,把目录命名为 DMP 点击finish ,把目录创建出来,等待工程的加载,接下来把 maven 配置文件拷到 DMP 的文件当中,第一部分是 practice 。
第二部分 dependency ,导入了 spark 相关的一些库。包括 Scalla , spark core , spark sql ,包括 hive 整合的包, hadoop 。
接下来又导入了 kudu 相关的工具, kudu client,但是既然要把 kudu 和 client 进行整合。把kudu spark 导进来。
一般情况下,如果要想看到 log, slf4j 是必不可少的,接下来导 unit testing 测试工具。
在 build 当中,指定 source directory 和 test director 。
把这两个目录创建出来,作为正式的源码目录,还有测试的源码目录。
正式的源码目录放在 main 目录下,我们创建 director,叫做 Scalla ,在 test 当中创建 Scalla ,大家等他一下会变成蓝色,但是可以主动标记, mark directory as south rom , test 当中scalla 也标记一下,这样工程就已经整理结束,继续把包创建出来。
二、创建包
大致有几个包需要创建,第一个 ETL 的包,第二个是 required ,放置报表任务的包。第三个放置标签有关任务的包,第四个是放置通用工具类。还有 business area 商圈库的包,我们把包都创建出来,。new package , package 叫做 cn.itcast.report ,再去创建第二个 package ,叫做 cn.itcast.tags ,第三个 cn.itcast.utils 。 创建business area ,还有一个最重要的包, etl 工具都放在当中。
大致五个包已经全部创建完毕。