根据指定的目录,从FTP服务器将不定时推送的新文件采集到对应的数据库中,并且不会重复采集。文件基本是用YYYYMMDDHH格式的文件名区分,提供一下程序或者思路参考学习下
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
首先,分析你要采集的信息是什么,对应设计你的数据库;
其次,编写文件内容处理的代码,解析文件的内容,生成解析后的数据,使用jdbc或者ORM框架完成数据入库;
最后,使用FTP连接工具如FTPClient,定时从服务器指定目录下载文件,循环调用文件解析模块,并记录此次下载的时间。
我觉得你可以直接是纯java后台应用就够了。你需要弄清楚文件解析规则,存储什么数据。