个人信息
- 牛慧升
- 男/1993
- 烟台大学--软件工程
- 两年工作经验
-
博客地址
- 博客园博客地址：http://www.cnblogs.com/alvin-niu
- CSDN博客地址：http://blog.csdn.net/alvin930403
- Git地址：https://github.com/AlvinNiu
-
联系方式
- 18310110978
- niuhuisheng2468@gmail.com
-
意向
- 地点:
上海 - 岗位：
爬虫工程师
- 地点:
工作经历
- 2015.10——至今
- 亿海蓝（北京）数据技术股份公司
- 数据爬虫工程师、.Net研发工程师
个人技能
- 主要分为后端开发、前端开发、数据库开发
-
后端开发
- 熟练掌握 ASP.NET MVC开发技术。
- 熟练掌握 .net Remoting wcf 等分布式开发技术。
- 深入理解HTTP协议。
- 熟练掌握 winform 桌面应用程序开发技术。
- 熟练掌握 C# ，.net Framework 类库，多线程，正则表达式。
- 熟练使用PhantomJS框架，并使用该框架对那些进行页面加密的网站进行采集。
- 了解Entity Framework的用法，并在实际用在项目中。
- 了解Java的语法，开发过Java web项目。
-
前端开发
- 熟练掌握html5，css，jquery 等语法。
- 熟练掌握JQuery的用法。
- 熟悉E-charts框架，使用该框架制作图表。
-
数据库开发
- 熟练掌握Sql语法的使用。
- 熟练掌握 sql server ，mysql 等关系数据库的开发和管理。
- 在开发中偶尔使用MongoDB数据库。
项目经验
- 想要技术成长，必须经过项目的洗礼
-
企业项目
-
拖车互助网（20gp.cn）
产品是深圳的分公司的产品，由北京开发及维护。 该产品从开发到维护持续了近两年的时间，这个产品是实时的请求网站，并获取到相关的PDF文件。 该产品从设计到管理是我负责的，最初经运营人员讲解业务需求，我来搭框架以及设计实现方式。 该产品动用了4个人，其中有人负责前端开发，有人负责工具的开发，有人负责数据库的开发，我来负责数据采集以及协调大家，并为大家讲解技术上如何实现的需求。 该产品涉及到了积分，在设计时要格外注意积分规则的设计，以及方便财务对账。 该产品用到的技术：MVC4、Remoting、ClickOnce、正则表达式等。在该产品中使用了自己写的日志类。所有可能出现的网络错误及异常都会被捕获，并且记录在日志中。 该产品中遇到的困难以及解决方法: 1.别人使用了PDF控件，但是该控件要依赖于IE浏览器，并且控件的稳定性有待商榷。所以我们截获了该网站传输给该控件的内容，自己使用Itext技术写了PDF文件，只要得到的一模一样的文件即可。 2.原网站使用初级验证码：使用OCR技术，破解验证码 3.原网站使用有噪点与噪线的验证码：通过识别验证码，去噪。获取样本，只要成功率在80%以上则可使用。 4.使用高级的验证码：使用人工打码技术。 5.面对原网站的条形码，我们采取生成条形码技术翻译成C#语言。 6.JS加密 ，解决办法，把原网站的JS加密程序下载下来，使用PhantomJS，获取到加密后的值。请求即可。 7.封锁IP，原网站对IP地址进行封锁，使用代理池中的IP，随机请求。让他们封无可封。 8.封锁账号，同一个账号请求太多。我采取多账号，多IP随机请求。 9.原网站支付通道容易堵死。当我检测到支付通道堵死的时候，我会提示用户，暂时停止支付。待缓解之后，继续。 -
I跟踪（www.igenzong.com）
采集所有船公司的网站，获取相关船公司的集装箱信息，以及船舶信息，把所有采集到的数据存储到数据库中。在请求数据库的时候，使用的是Entity FrameWork 框架 其中涉及到使用WebRequest请求，使用正则表达式匹配到自己想要的数据。 其中会遇到一系列困难，例如：登录验证、验证码、JS加密、封锁IP等等。这些措施都会被我一一解决掉。 - 金科信港口信息接口（data.jkx.tuochebao.com）
产品介绍：为金科信TMS提供港口信息的接口，该产品的从开始搭框架到开发均是我一个人。 使用技术：使用MVC4，框架 .NET Framework 4.5.2。随机代理采集数据，使用Remoting技术，使用网站直接调用服务的接口，使用服务保持回话。Web提供的接口，全是实时采集与实时提交信息，未与数据库打交道。如果出错，使用Log4net捕获。查日志即可。如果代理出错或者失效，会有代理平台记录。
- OpenAIP（open.shipxy.com/Doc）
产品介绍：为船讯网的APP与微信公众号，提供数据接口。 使用技术： 该产品使用的是MVC4，框架.NET Framework 4.0，直接使用ADO.NET 技术来访问数据库，在程序中直接写存储过程，事务来获取数据，以及对数据操作。 并未使用Entity FrameWork框架，由于该接口是为微信和APP，所以效率一定要高，使用这种反射，虽然能增加开发的效率，但是运行效率并不高。 - 拖车宝（www.tuochebao.com）
产品介绍：为拖车宝APP提供后台支持，提供接口。该产品的业务逻辑比较复杂，所以维护起来相当难。由于业务交错复杂，程序也跟着业务走，发生改动则需处处小心。 使用技术：MVC4、框架.NET Framework 4.0、使用Log4net记录日志、多线程编程。 海洋气象数据采集
产品介绍：海洋气象数据是为船讯网做服务的，由于采集的是全球的气象数据，所以数量非常大，并且对效率要求非常高。 使用技术： Windows Service、多线程编程、异步编程、MySql数据库、WebRequest，其中还涉及到，要与C++团队进行对接。 项目中涉及三个方面，采集数据、处理数据、存储数据。采集数据与存储数据比较慢，可以利用硬件的DMA 技术。使用异步请求。但是处理数据就必须使用多线程了，由于处理数据速度相对较快，本项目采取队列的方法，把采集到的数据放到队列中、处理数据处理之后，放入到另一个队列，等待存储数据的异步线程去使用。计算出相对合适的线程数，达到效率最高。-
爬地图
采集地图上的船舶信息，随时跟踪船舶的位置。 该项目从设计到开发只有我一个人负责。 用到的技术：Windows Service、MySql、正则表达式。
-
-
个人项目
-
爬虫类库
使用C#开发，WebRequest作为基础，把请求封装起来，用起来可以只传输一个地址，就可以获取到请求返回的内容。 另外，开发者还可以自定义。该项目我已经开源，在GitHub上可以找到。 地址：https://github.com/AlvinNiu/NewSpider -
代理池
使用C#开发，通过获取网络上所有的免费代理，使用服务保持一个永远处于活跃状态的代理池，为了爬虫封IP所用。使用MySql数据库，具体实现方法，见面详细了解 地址：
-
自我评价
爱讲道理的程序员
致谢
感谢看到最后，希望与您一起共事。
