selenium+PhantomJS

一直没时间写,今天有时间来写一下
selenium+phantomjs是一个非常强大的工具,requests,urllib2是模拟请求发送参数获取页面,这个是直接用浏览器获取页面,很硬很强大的,
不过他也有一个致命的bug,速度!速度贼慢,所以说他只适合爬取某些特别困难而且数据量不大的网站,然后浏览器我一般都用pahntomjds,毕竟无界面,感觉比谷歌火狐能快一点.

说一下基本语法吧
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
browser1 = webdriver.PhantomJS(executable_path=r"C:\Users\Administrator\Desktop\phantomjs-2.1.1-windows\bin\phantomjs.exe", )  # //内核 
###第一步往往是初学者最头疼的一步,因为有的时候你设置好了环境变量然后也不好用,所以说我一般都是直接用executable_path来指定路径,在项目里面也可以用相对路径来指定.
browser1.get('www.baidu.com')  ##输入要获取的网址
browser1.save_screenshot('a.png')  
###把当前打开的浏览器保存成图片,可以查看当前到哪步,建议在前面time.sleep()个一两秒,因为有的网站打开较慢,有延迟
print browser1.page_source   ###打印出当前获取到页面的源码
#这个相当于是css选择器,by后面的可以为id,name,class等.
res = browser1.find_element_by_id('fei').text 
# 获取标签名值
res = browser1.find_elements_by_tag_name("input")
# 也可以通过XPath来匹配
res = browser1.find_element_by_xpath("//input[@id='passwd-id']")
 #可以定位输入框来往里面输入值,一般用于模拟登陆和查询
browser1.find_element_by_id("fei").send_keys(u"飞啊飞") 
#模拟点击
browser1.find_element_by_id("fei").click()  
# ctrl+a 全选输入框内容
browser1.find_element_by_id("fei").send_keys(Keys.CONTROL,'a')
# ctrl+x 剪切输入框内容
browser1.find_element_by_id("fei").send_keys(Keys.CONTROL,'x')
# 输入框重新输入内容
browser1.find_element_by_id("fei").send_keys("baidu")
# 模拟Enter回车键
browser1.find_element_by_id("fei").send_keys(Keys.RETURN)
# 清除输入框内容
browser1.find_element_by_id("fei").clear()
# 关闭浏览器
browser1.quit()

#导入 ActionChains 类
from selenium.webdriver import ActionChains
# 鼠标移动到 ac 位置
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).perform()
# 在 ac 位置单击
ac = driver.find_element_by_xpath("elementA")
ActionChains(driver).move_to_element(ac).click(ac).perform()
# 在 ac 位置双击
ac = driver.find_element_by_xpath("elementB")
ActionChains(driver).move_to_element(ac).double_click(ac).perform()
# 在 ac 位置右击
ac = driver.find_element_by_xpath("elementC")
ActionChains(driver).move_to_element(ac).context_click(ac).perform()
# 在 ac 位置左键单击hold住
ac = driver.find_element_by_xpath('elementF')
ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()
# 将 ac1 拖拽到 ac2 位置
ac1 = driver.find_element_by_xpath('elementD')
ac2 = driver.find_element_by_xpath('elementE')
ActionChains(driver).drag_and_drop(ac1, ac2).perform()