我的网络编程之旅

简介:

首先给大家推荐下Markdown,我想用过github的同僚一定很熟悉了,这篇文章的排版就是使用的markdown,以后我们不必再去适应各个博客系统自己繁杂的排版方式了。


网络编程是什么?

给大家从招聘信息上截取几段内容:

  • 熟悉Socket编程,熟悉Tcp/Ip协议栈;

  • 熟悉TCP/IP协议、UDP协议,有相关的协议开发经验;

  • 熟悉网络编程/多线程编程技术;

大家应该很清晰了吧,关键词就是TCP/IP,Socket,我再附加一个多线程。下面开始我的网络编程之旅。

tcp/ip协议分析

其实协议分析并不是大众认为的网络编程的范畴,现在网络编程已经完全和socket等同了。socket是表面,TCP/IP协议是里,有了协议分析的经历更会让你的网络编程之路更加平坦。

想必有些童鞋经历过这样的公司吧,对公司内部的上网行为进行监控:你访问过哪些域名,上传下载过哪些资源,你占用了多少带宽流量,甚至你的邮件正文,附件都会呈现在监控系统上。这就是协议分析的杰作。经典的网络四层模型构成了协议分析的基础。


了解TCP/IP协议一本书足矣《TCP/IP详解 卷1:协议》,进行协议分析并也不需要我们自己从头做起,我们完全可以站在巨人的肩膀上,这个巨人就是pcap,另外还有非常知名的基于pcap实现的开源项目供我们参考,比如snorttcpdumpwireshark特别是snort的功能模块化设计和实现非常经典,应用在大型协议分析项目中极为合适。至于作为协议分析工具的tcpdump和wireshark,不会使用的话咱就别好意思说咱是干这行的了。

socket编程

socket的扫盲书籍及文章太多太多,咱在这就不废话了。起初我有个疑问,对很多公司招聘信息上写的熟悉Socket编程感到很不解,因为我觉得是很简单的事情,无非就是调用几个API,理解下三次握手、listen...等等几个状态。之后在真正做企业级的牵扯到多Client对单Server网络编程和具体的网络环境时才慢慢理解了那些招聘信息的含义和需求深度。(以下如不特殊指定均指TCP协议)

  • 局域网
    我们这个项目主要针对局域网用户,相比广域网的网络环境,几乎可以忽略带宽考虑,用户并发数也相对较小,对性能和效率要求较低,另外业务较复杂。在这种情况下最合适的就是采用RFC(远程过程调用),于是我们首先想到了开源的RFC框架,经他人尝试推荐采用了RCF,相当于我们只需要在此框架上套上业务逻辑即可,起初在我们实践和小规模的测试中并未发现有问题,但是真正模拟到高并发情况时却在网络层出现了不可控的错误,初步判断是RCF的线程模型和我们的使用场景不一致,于是决定开发一套自己的网络库,于是在一位以前有过网游经验的研发人员的指导下,我们一起开发了一个基于boost asio的远程过程调用框架,boost asio的网络模型在windows下采用的完成端口,在类unix系统下采用的是相应的多路复用接口,由于在局域网环境下,用户并发数也不多,也就是用好boost asio,设计好网络传输协议,处理好数据封包解包就好了,并未遇到太大的问题。

  • 广域网
    首先抛开广域网复杂的网络环境不谈,这个产品是个互联网项目,面向普通用户,有些类似于IM软件,由于有QQ这个优秀的采用UDP协议的例子,我们也曾经在TCP和UDP协议间犹豫过,但是鉴于UDP实现的难度太大,还是采用了TCP来实现C/S通信。客户端(windows,linux,android),服务端(linux)网络库的设计编写都由我负责,考虑到以后可能出现的海量并发,在服务端我采用了master——worker模型,一个事件循环一个线程的多线程网络模型,这样可以充分利用服务器的多核资源,客户端和服务端的网络库都采用了libevent。服务端的设计思路及代码实现可以参考我的github:highPerformanceNetworkServer(这只是个演示demo,离企业及应用还有许多需要自己完善的)。

前面说到了socket编程的简单VS深度,其实你需要了解、注意、掌握的东西有很多,比如MTU,MSS,SO_LINGER,TCPNODELAY,TIMEWAIT,keepalive(最好用应用层心跳包),串话...,在实际的编写和使用中你会慢慢知道的。

另外很重要的一点就是网络传输协议的设计,这也进行socket编程的重中之重,可以参考我曾经的文章网络传输数据格式的选择

扩展话题

  • UDP
    UDP也属于socket编程的范畴,把他单拿出来是因为他的使用范围相比较TCP还是有局限性的。在做可靠信息传输这种应用中,腾讯QQ的技术让我们体会到了他的可靠和高效。业界也有相应的对UDP可靠传输的包装,我仔细研究过的是UDT。在我们的产品应用中,主要是使用UDP来进行NAT穿透,我和同事一起使用过UDP和UDT进行NAT穿透,很有效,但依然有局限性:比如针对对称nat。另外使用UDP来进行相对可靠的视频传输,现在我的一个同事在专心搞这块,我想以后从他那一定可以学到不少更深的技术。

  • 多线程
    如果搞网络编程不掌握多线程就好像你只有一条腿一般。比如我前面说所的master——worker模型,一个事件循环一个线程,一些涉及到IO bound、CPU bound、心跳包、客户端抢带宽都可以利用线程来进行相应的解决。

  • Python
    用python来写网络测试脚本,事半功倍。

推荐书籍

本文转自永远的朋友博客51CTO博客,原文链接http://blog.51cto.com/yaocoder/1193313如需转载请自行联系原作者

yaocoder

相关文章
|
编译器 C语言 C++
操作符详解2(二)
本文介绍了编程中的操作符转换和表达式解析规则。当操作数类型不同时,会进行寻常算术转换,按照long double、double、float等类型顺序进行向上转换。表达式求值时,虽然操作符有优先级,但不能决定操作数的求值顺序,例如`a*b + c*d + e+f`中乘法先于加法,但具体计算顺序不确定,可能导致不同结果。同样,如`c++ + c--`这样的表达式也是有歧义的,因为++和--的左右结合性不能确定操作数的获取顺序。文章强调,复杂的表达式可能因编译器差异产生不同结果,应避免使用可能导致非唯一计算路径的表达式以减少潜在风险。
88 0
|
数据安全/隐私保护 知识图谱 开发者
个人本地 markdown 知识图谱软件 Obsidian
个人本地 markdown 知识图谱软件 Obsidian
1281 0
个人本地 markdown 知识图谱软件 Obsidian
|
设计模式 Java C++
2.3 为什么使用内部类:实现多继承类似的效果
2.3 为什么使用内部类:实现多继承类似的效果
137 0
|
Web App开发 机器学习/深度学习 人工智能
用魔法打败魔法!一个叫板顶级人类棋手的围棋AI输给了它的同类
用魔法打败魔法!一个叫板顶级人类棋手的围棋AI输给了它的同类
169 0
|
存储 算法 程序员
计算机考研408每日题目 0x00
计算机考研408每日题目 0x00
217 0
计算机考研408每日题目 0x00
|
编解码 数据可视化 定位技术
Google Earth Engine——全球土壤体积密度数据集在6个标准深度(0、10、30、60、100和200厘米)的土壤体积密度(细土)10 x kg / m3,分辨率250米。
Google Earth Engine——全球土壤体积密度数据集在6个标准深度(0、10、30、60、100和200厘米)的土壤体积密度(细土)10 x kg / m3,分辨率250米。
203 0
Google Earth Engine——全球土壤体积密度数据集在6个标准深度(0、10、30、60、100和200厘米)的土壤体积密度(细土)10 x kg / m3,分辨率250米。
|
Python 开发工具 IDE
python开发之虚拟环境管理:virtualenv、virtualenvwrapper、pycharm
python开发之虚拟环境管理:virtualenv、virtualenvwrapper、pycharm 1 引言 进行Python开发时,多个项目可能使用到不同的依赖,例如A项目需要1.8版本的Django,而B项目需要2.0版本的Django,这时候如果没有使用虚拟环境,就需要来回卸载和安装Django,十分不便。
2329 0
|
定位技术 C# Linux
C#快速随机按行读取大型文本文件
原文:C#快速随机按行读取大型文本文件 下面是我实现的一个数据文件随机读取类,可以随机读取大型文本文件的某一行。在我机器上对一个130MB的文本文件,读取第200000的速度从传统做法的400ms提高到了3ms。
1372 0