2之后我们要获取到用户正常登录的cookiepython提供了cookieJar的库，只要把cookieJar的实例作为参数传到urllib2的一个opener里面然后访问一次登录的页面，cookie就已经保存下来了之后通过这个实例访问所有的页面都带有正常登陆。
模拟请求网页模拟浏览器，打开目标网站获取数据打开网站之后，就可以自动化的获取我们所需要的网站数据保存数据拿到数据之后，需要持久化到本地文件或者数据库等存储设备中那么我们该如何使用 Python 来编写自己的爬虫。
在一次登录之后，网站会记住你的信息，把它放到cookie里，方便下次自动登录所以，要爬取这类网站的策略是先进行一次手动登录，获取cookie，然后再次登录时，调用上一次登录得到的cookie，实现自动登录动态爬取 在爬取知乎。
使用urlopen方法发起请求并获取返回的数据4 4 最后就是对返回字符串的处理了比如字符串的截取，字符串的转换成json对象，转换成字段，再获取对应key的值使用Python3实现。
以下代码调试通过import pandas as pdimport json demo = #39quotprogrammersquot quotfirstNamequot quotBrettquot，quotlastNamequot quotMcLaughlinquot，quotemailquot quotaaaaquot， quotfirstNamequot quotJasonquot，quotlastNamequot quotHunterquot，quotemailquot quot。
这个有点繁琐，告诉你，你也可能搞不定 首先请求网页，然后用你的未登录cookies去二次请求验证码，用byte类型保存在内存中，用pillow模块展示出来，你在手动输入，主程序这边用input阻塞，等你输入完，主程序向登录接口提交。
使用selenium的chrome或firefox的webdriver打开浏览器 drivergeturl #访问你的网页 from=driverfind_elements_by_xpathquotxxxquot通过xpath或id等方法锁定到网页上表单的那个元素后，用 fromsend_keysquotxxxquot。
