- 登陆验证码处理
- 爬取速度过快出现的验证码处理
- 如何用机器识别验证码
##### 五.模拟登陆问题:
模拟登陆流程
cookie如何处理
如何处理网站传参加密的情况
##### 六.分布式:
分布式原理
分布式如何判断爬虫已经停止了
分布式的去重原理
##### 七.数据存储和数据库问题:
关系型数据库和非关系型数据库的区别
爬下来数据你会选择什么存储方式,为什么
各种数据库支持的数据类型,和特点
是否支持事务…
##### 八.Python基础问题:
基础问题非常多,但是因为爬虫性质,还是有些问的比较多的,下面总结:
Python2和Python3的区别,如何实现python2代码迁移到Python3环境
Python2和Python3的编码方式有什么差别
迭代器,生成器,装饰器
Python的数据类型
##### 九.协议问题:
http协议,请求由什么组成,
每个字段分别有什么用,
https和http有什么差距
证书问题
TCP,UDP各种相关问题
##### 十.数据提取问题:
主要使用什么样的结构化数据提取方式,
可能会写一两个例子
正则的使用
动态加载的数据如何提取
json数据如何提取
##### 十一.算法问题:
算法:你们要善用Python的数据类型,
对Python的数据结构深入了解
![在这里插入图片描述](https://ucc.alicdn.com/images/user-upload-01/a4b455658eba4f82ad2d645b2e10cb06.png) --- #### Python WEB面试常见问题 ##### 一. python语法以及其他基础部分:
**可变与不可变类型**
浅拷贝与深拷贝的实现方式、区别;
deepcopy如果你来设计,如何实现
**new() 与 init()的区别**
你知道几种设计模式
编码和解码你了解过么
列表推导list comprehension和生成器的优劣
什么是装饰器;如果想在函数之后进行装饰,应该怎么做
**手写个使用装饰器实现的单例模式**
使用装饰器的单例和使用其他方法的单例,在后续使用中,有何区别
手写:正则邮箱地址
**介绍下垃圾回收:引用计数/分代回收/孤立引用环**
多进程与多线程的区别,CPU密集型适合用什么
进程通信的方式有几种
介绍下协程,为何比线程还快
**range和xrange的区别**
##### 二. 算法排序部分:
手写快排;堆排;几种常用排序的算法复杂度是多少;快排平均复杂度多少,最坏情况如何优化
手写:已知一个长度n的无序列表,元素均是数字,要求把所有间隔为d的组合找出来,你写的解法算法复杂度多少
手写:一个列表A=[A1,A2,…,An],要求把列表中所有的组合情况打印出来;
手写:用一行python写出1+2+3+…+10**8
手写python:用递归的方式判断字符串是否为回文
单向链表长度未知,如何判断其中是否有环
单向链表如何使用快速排序算法进行排序
手写:一个长度n的无序数字元素列表,如何求中位数,如何尽快的估算中位数,9).你的算法复杂度是多少;
如何遍历一个内部未知的文件夹(两种树的优先遍历方式)
##### 三. 网络基础部分:
TCP/IP分别在模型的哪一层
socket长连接是什么意思
select和epoll你了解么,区别在哪
TCP UDP区别;三次握手四次挥手讲一下
TIME_WAIT过多是因为什么
http一次连接的全过程:你来说下从用户发起request——到用户接收到 response
http连接方式。get和post的区别,你还了解其他的方式么
restful你知道么
状态码你知道多少,比如200/403/404/504等等
##### 四. 数据库部分:
MySQL锁有几种;死锁是怎么产生的;
MySQL的char varchar text的区别:
了解join么,有几种有何区别,
索引类型有几种,BTree索引和hash索引的区别
手写:如何对查询命令进行优化
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。