tbfetcher项目小结

简介: tbfetcher项目小结

今年4月份为了缓解生活上的压力,不得不开始了一个新的私活项目,现在差不多到了项目收尾的阶段了,也该总结一下做完这个项目后,自己从中学到的一些知识。

项目情况介绍

这个项目是由同学介绍,由我和另外一位同学共同合作完成的,项目的需求大致是这样的:从淘宝电子商务网站,根据对方指定的数据格式,完成数据的抓取并将数据写入excel文件中保存,数据的总量大约有100w条。

前期调研工作

前期的调研工作主要有以下方面:

1) 确定项目需求,经过和对方的多次交流讨论,最终形成了一份项目需求规格说明书;

2) 确定项目开发语言;

可采用的开发语言有

c#:因为之前自己曾经用c#写过一些简单的数据抓取和解析html的程序;

java:有丰富的类库和成熟的文档;

c/c++:现成的类库相对于其他的语言会比较少;

经过比较衡量,最后选择了java来进行开发,一方面是由于java是开源的,开源的类库比较多;另外一方面和我合作的另外一名同学对java比较熟悉,所以最终选定了java;

3)项目管理工具使用的是maven3,版本管理工具使用的是svn,IDE使用的是eclipse;

ps: svn host使用的是googlecode,访问速度比较慢,不过忍了

4)使用的第三方类库主要是:

httpclient4     最核心的第三方类库,主要完成http get,post请求和cookie的管理;


    jsoup            html解析类库;


    jxl                 操作excel类库

收获

通过这个项目的开发,发现自己对程序开发有了更深一步的认识,主要是以下方面:

1)更深刻的理解了oop思想,其中类的单一职责原则,理解更深刻;

2)项目管理方面也得到了一定程度上的提升;

3)对于如何更好的使用第三方类库方面也有自己的一些看法和见解;

4)以后还是在linux下使用c++来做一些私活吧,比较靠谱,感觉自己还是不适合做java开发;

目录
相关文章
|
7月前
|
Python
项目画虎
用Python语言编写项目,进行画虎。
28 0
|
8月前
|
前端开发 JavaScript 微服务
项目-已完成
ERP 1. erp_parent (Java-后端) 2. erp_web (Java-前端)
50 0
|
9月前
|
开发框架 .NET API
如何在现有项目中使用`Masa MiniApi`?
如何在现有项目中使用`Masa MiniApi`?
49 0
如何在现有项目中使用`Masa MiniApi`?
|
10月前
项目练习1.2
项目练习1.2
|
SQL 前端开发 数据库
如何在码云上Down一个项目
如何在码云上Down一个项目
如何在码云上Down一个项目
|
JavaScript 前端开发
前端实践小项目
哈喽 ~ 大家好鸭!这篇我们来看看前端实践小项目第一篇 “五星好评与暂停取值”(底部有源代码)
204 0
前端实践小项目
我的项目总结
     终于做完了两个项目,几乎用了近两年的时间,应该好好总结一下了,要不然这么好的经验就白白浪费了。我做的项目都是企业定制开发的,所以总结也是侧重于定制开发的项目,可能并不适合成型产品的项目。
991 0
|
NoSQL Java 数据库
完成项目的一点思考
在新公司搞一个项目练练手,熟悉流程。到现在大体流程也熟悉了一遍,做东西的时候有点思考。 毕竟自己读书少,大部分时间花在写代码上,如果写代码的时候再不思考,那就和咸鱼没什么区别了。
1051 0

热门文章

最新文章