【精品问答】Python数据爬取面试题库100问

Python爬虫面试题库100问：
1.遇到过得反爬虫策略以及解决方法?
2.urllib 和 urllib2 的区别？
3.列举网络爬虫所用到的网络数据包，解析包？
4.简述一下爬虫的步骤？
5.遇到反爬机制怎么处理？
6.常见的HTTP方法有哪些？
7.说一说redis-scrapy中redis的作用?
8.遇到的反爬虫策略以及解决方法?
9.防范网站爬虫，应该怎么来提高爬取的难度 ？
10.scrapy分为几个组成部分？分别有什么作用？
11.scrapy的基本流程?
12.python3.5语言中enumerate的意思是
13.你是否了解谷歌的无头浏览器？
14.scrapy和scrapy-redis的区别？
15.为什么会选择redis数据库？
16.什么是主从同步？
17.scrapy的优缺点？为什么要选择scrapy框架？
18.scrapy和requests的使用情况？
19.描述一下scrapy框架的运行机制？
20.写爬虫使用多进程好，还是用多线程好？
21.如何提高爬取效率？
22.说说什么是爬虫协议？
23.如果对方网站反爬取，封IP了怎么办？
24.现有字典 d= {‘a’:24,‘g’:52,‘i’:12,‘k’:33}请按value值进行排序?
25.请反转字符串 “aStr”?
26.将字符串 “k:1 |k1:2|k2:3|k3:4”，处理成字典 {k:1,k1:2,
27.请按alist中元素的age由大到小排序
28.写一个列表生成式，产生一个公差为11的等差数列
29.给定两个列表，怎么找出他们相同的元素和不同的元素？
30.写出一段python代码实现删除list里面的重复元素？
31.给定两个list A，B ,请用找出A，B中相同与不同的元素
32.python新式类和经典类的区别？
33.python中内置的数据结构有几种？
34.python如何实现单例模式?写出两种实现方式?
35.反转一个整数，例如-123 --> -321
36.设计实现遍历目录与子目录，抓取.pyc文件?
37.is和==有什么区别？
38.用一行python代码写出1+2+3+10248
39.Python中变量的作用域？（变量查找顺序)
40.字符串 "123" 转换成 123，不使用内置api，例如 int()
41.python代码实现删除一个list里面的重复元素
42.统计一个文本中单词频次最高的10个单词？
43.用一行代码生成[1,4,9,16,25,36,49,64,81,100]
44.Python中类方法、类实例方法、静态方法有何区别？
45.遍历一个object的所有属性，并print每一个属性名？
46.写一个类，并让它尽可能多的支持操作符?
47.Python的内存管理机制及调优手段？
48.内存泄露是什么？如何避免？
49.python常见的列表推导式？
50.简述read、readline、readlines的区别？
51.什么是Hash（散列函数）？
52.python函数重载机制？
53.手写一个判断时间的装饰器
54.使用Python内置的filter()方法来过滤？
55.编写函数的4个原则
56.函数调用参数的传递方式是值传递还是引用传递？
57.如何在function里面设置一个全局变量
58.对缺省参数的理解 ？
59.为什么函数名字可以当做参数用?
60.Python中pass语句的作用是什么？
61.交换两个变量的值？
62.回调函数，如何通信的?
63.Python主要的内置数据类型都有哪些？ print dir( ‘a ’) 的输出？
64.map(lambda x:xx，[y for y in range(3)])的输出？
65.hasattr() getattr() setattr() 函数使用详解？
66.一句话解决阶乘函数？
67.对设计模式的理解，简述你了解的设计模式？
68.手写一个单例
69.单例模式的应用场景有那些？
70.对装饰器的理解，并写出一个计时器记录方法执行性能的装饰器？
71.解释以下什么是闭包？
72.函数装饰器有什么作用？
73.生成器，迭代器的区别？
74.X是什么类型?
75.用一行代码 实现将1-N 的整数列表以3为单位分组
76.Python中yield的用法?
77.写一个邮箱地址的正则表达式？
78.为什么 requests 请求需要带上 header？
79.分布式爬虫原理？
80.robots协议是什么？
81.Python3 和 Python2 的区别？
82.Python3 和 Python2 中 int 和 long 区别？
83.xrange 和 range 的区别？
84.什么是 PEP8?
85.Python 中的注释有几种？
86.如何优雅的给一个函数加注释？
87.如何给变量加注释？
88.Python 代码缩进中是否支持 Tab 键和空格混用。
89.是否可以在一句 import 中导入多个库?
90.在给 Py 文件命名的时候需要注意什么?
91.例举几个规范 Python 代码风格的工具
92.列举 Python 中的基本数据类型？
93.如何区别可变数据类型和不可变数据类型
94.将"hello world"转换为首字母大写"Hello World"
95.如何检测字符串中只含有数字?
96.将字符串"ilovechina"进行反转
97.Python里面如何实现tuple和list的转换？
98.Python里面search()和match()的区别？
99.如何用Python删除一个文件？
100.分布式爬虫主要解决什么问题？

往期【精品问答】回顾：

python必备面试干货
Python热门问题
前端开发必懂之《Python连连问》

技术交流群

群福利：群内每周进行群直播技术分享及问答