tbfetcher项目小结

简介: tbfetcher项目小结

今年4月份为了缓解生活上的压力,不得不开始了一个新的私活项目,现在差不多到了项目收尾的阶段了,也该总结一下做完这个项目后,自己从中学到的一些知识。

项目情况介绍

这个项目是由同学介绍,由我和另外一位同学共同合作完成的,项目的需求大致是这样的:从淘宝电子商务网站,根据对方指定的数据格式,完成数据的抓取并将数据写入excel文件中保存,数据的总量大约有100w条。

前期调研工作

前期的调研工作主要有以下方面:

1) 确定项目需求,经过和对方的多次交流讨论,最终形成了一份项目需求规格说明书;

2) 确定项目开发语言;

可采用的开发语言有

c#:因为之前自己曾经用c#写过一些简单的数据抓取和解析html的程序;

java:有丰富的类库和成熟的文档;

c/c++:现成的类库相对于其他的语言会比较少;

经过比较衡量,最后选择了java来进行开发,一方面是由于java是开源的,开源的类库比较多;另外一方面和我合作的另外一名同学对java比较熟悉,所以最终选定了java;

3)项目管理工具使用的是maven3,版本管理工具使用的是svn,IDE使用的是eclipse;

ps: svn host使用的是googlecode,访问速度比较慢,不过忍了

4)使用的第三方类库主要是:

httpclient4     最核心的第三方类库,主要完成http get,post请求和cookie的管理;


    jsoup            html解析类库;


    jxl                 操作excel类库

收获

通过这个项目的开发,发现自己对程序开发有了更深一步的认识,主要是以下方面:

1)更深刻的理解了oop思想,其中类的单一职责原则,理解更深刻;

2)项目管理方面也得到了一定程度上的提升;

3)对于如何更好的使用第三方类库方面也有自己的一些看法和见解;

4)以后还是在linux下使用c++来做一些私活吧,比较靠谱,感觉自己还是不适合做java开发;

目录
相关文章
|
SQL 关系型数据库 MySQL
MySQL GROUP BY 语句
MySQL GROUP BY 语句
CCF推荐A类会议和期刊总结:计算机体系结构/并行与分布计算/存储系统领域
中国计算机学会(CCF)2022年版推荐目录涵盖了计算机体系结构、并行与分布计算、存储系统领域的多个A类会议和期刊。本文汇总了这些顶级资源的全称、出版社、dblp网址及领域。包括《ACM计算机系统汇刊》、《ACM存储汇刊》等期刊,以及ACM PPoPP、USENIX FAST等会议,为研究人员提供了重要学术参考。
13363 64
CCF推荐A类会议和期刊总结:计算机体系结构/并行与分布计算/存储系统领域
|
自然语言处理 前端开发 JavaScript
🛠️ JavaScript数组操作指南:20个精通必备技巧🚀
本文详细介绍了 JavaScript 中的 20 个高效数组操作技巧,涵盖了从基本的添加、移除元素,到数组转换和去重等高级操作。强调了不可变性的重要性,提供了清晰的代码示例,帮助开发者编写更整洁和高效的代码。无论是新手还是经验丰富的开发者,这些技巧都将显著提升您的编码能力,使您在项目中更具竞争力。
219 2
|
Java API C++
Java JNI开发时常用数据类型与C++中数据类型转换
Java JNI开发时常用数据类型与C++中数据类型转换
553 0
|
监控 iOS开发
iOS15适配问题:viewForSupplementaryElementOfKind表头和表尾复用闪退,UITableView section header多22像素等问题
iOS15适配问题:viewForSupplementaryElementOfKind表头和表尾复用闪退,UITableView section header多22像素等问题
414 0
|
缓存 安全 Java
在 Java 中如何将 ArrayList 设为只读
【8月更文挑战第23天】
242 0
|
前端开发 测试技术 持续交付
【开发规范】Git Commit 规范
【1月更文挑战第26天】【开发规范】Git Commit 规范
|
Web App开发 JavaScript 前端开发
Windows 10上安装Node.js的初学者指南
Node.js是是一个强大的JavaScript运行时环境,建立在Chrome的V8 JavaScript引擎上,让你能够在服务器端运行JavaScript。 通过本教程,你将学会如何设置Node.js和npm(节点包管理器等现代Web开发的必备工具。无论你是希望构建Web应用程序、创建服务器端脚本,还是涉足全栈开发,安装Node.js都是你的第一步。那么,让我们开始吧!
|
编译器 C++
【C++进阶(三)】STL大法--vector迭代器失效&深浅拷贝问题剖析
【C++进阶(三)】STL大法--vector迭代器失效&深浅拷贝问题剖析