开发者学堂课程【大数据实战项目:反爬虫系统(Lua+Spark+Redis+Hadoop框架搭建):创建项目引入工具类】学习笔记与课程紧密联系,让用户快速学习知识
课程地址:https://developer.aliyun.com/learning/course/670/detail/11623
创建项目引入工具类
内容介绍:
一、建立project
二、创建反爬虫项目
一、建立project
建立爬虫识别还有构建streaming项目,首先建立一个project
然后选中maven,选一下sdk
然后输入分组以及项目名称
二、创建反爬虫项目
创建反爬虫项目,然后把pom文件引入进来,复制粘贴进去,然后第一步在里面新建一个scala,第二步在scr test里面新建一个目录scala,
<
?xml version="1.0"encoding="uTF-
8
"?>
<
project x
ml
ns:
‘’http://maven.apache.org/POM/4.0.0
”
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance”
xs
i
:schemaLocation="http://maven.apache.org/POM/4.0.0
http://maven.apache.org/xsd/maven-4.0
<modelVersion>4.0.0</modelversion
>
<groupId>cn.itcast</groupId>
<artifactId>ispider</artifactid>
<version>1.0-SNAPSHOT</version
>
</project
>
如果报错了,要注意maven里的路径需要配置正确,配置好后进行导入,这样就不会报错了。
Pom文件引入成功后就可以关掉,然后引入一些配置文件。在项目中的素材里的资料包中,resource里面就是反爬虫项目需要的配置文件。
把这些粘贴到项目中的resource里,导入完成后还需要把项目中的com一些工具包导入scala里去,就完成了项目的创建。