它可以完全模拟浏览器，等待网站全部加载完成后再进行数据的自动获取对于主流的ChromeDriverInternetExplorerDriverFirefoxDriverOperaDriver都支持，网站上的元素也支持多种选择器，如classidxpath等但是用习惯以后；你的意思是需要python获取js后还要运行js，输出运行结果据我所知，自带的库没有这个功能，其实你可以换个思路，用python模拟js运行的结果，然后向网站提交数据，一般我就是这么干的。
这里简单介绍一下吧，以抓取网站静态动态2种数据为例，实验环境win10+python36+pycharm50，主要内容如下抓取网站静态数据数据在网页源码中以糗事百科网站数据为例 1这里假设我们抓取的数据如下，主要包括用户；使用Python 3的requests模块抓取网页源码并保存到文件示例import requests html = requestsgetquotwith open#39testtxt#39，#39w#39，encoding=#39utf8#39 as ffwritehtmltext这是一个基本的。
安装必要的库和工具requests， BeautifulSoup4， lxml， openpyxl python Copy code pip install requests beautifulsoup4 lxml openpyxl 发送 GET 请求，获取网页源代码 python Copy code import requests url = quot；requests请求网址url = #39周杰伦#39后，printrestext #打印的只是url = #39周杰伦 这一个请求返回的响应体内容，而如下图，右键查看的页面源代码是你请求。
其中最重要的两项是浏览器的信息UserAgent，如果请求中没有UserAgent，网站会认为不是人在浏览器的请求，是恶意攻击 对于需要登录的网站，请求中往往需要COOKIE来验证用户，来获取打开某些网站的权限使用firefox浏览器的开发；1首先，安装requets模块，这个直接在cmd窗口输入命令“pipinstallrequests”就行，如下2接着安装bs4模块，这个模块包含了BeautifulSoup，安装的话，和requests一样，直接输入安装命令“pipinstallbs4”即可，如下3最后就是。
python获取网页源代码的库
1、以百度为例 * codingutf8 *import requestsimport urlparseimport osfrom bs4 import BeautifulSoupdef processurl headers = #39contenttype#39 #39applicationjson#39， #39UserAgent#39 #39Mozilla50。
2、这样就把新浪首页的源代码爬取到了，这是整个网页信息，如果你要提取你觉得有用的信息得学会使用字符串方法或者正则表达式了平时多看看网上的文章和教程，很快就能学会的补充一点以上使用的环境是python2，在python3中。
3、这个是你爬虫发送请求，被服务端拒绝了可能有这么几种1需要登录，2需要cookie，3，发送的头不符合服务端的要求，具体要研究服务端现手动登陆一次，用fiddler抓包，看一下，如果cookie，就把cookie带上。
4、最简单的办法，不需要任何第三方库，获取网页源代码，进行正则匹配 import urllib，re url = quot #网页地址 wp = urlliburlopenurl #打开连接 content = wpread #获取页面内容 m = re。
python获取当前网页的url
获取网页源代码使用编程语言的相应库如Python的urllib库，访问目标网页的URL，获取网页的源代码解析网页源代码使用编程语言的相应库如Python的BeautifulSoup库，解析网页源代码，找到想要爬取的文字所在的HTML标签。
使用AJAX加载的数据，即使使用了JS将数据渲染到了浏览器中，在 右键查看网页源代码 还是不能看到通过ajax加载的数据，只能看到使用这个url加载的html代码法1直接分析ajax调用的接口然后通过代码请求这个接口法2。
正则提取 找前后关键字 python可以很方便地抓取网页并过滤网页的内容，那么，如何从如下的网页中提取良玉的博客 windowquickReplyflag = true 良玉的博客blog。
所谓爬虫，就是先获取网页的源代码，然后从源代码中筛选出自己想要的资源，比如网页上的图片视频等文件，甚至网页上的文字接下来，我们就用Python来爬取网页上的图片首先我们先获取网站的源码然后就是从万千的源码中。
不好意思我按照你给的链接访问提示，非法访问，看来做了cookie或者ip或者refer验证之类的 ，既然这样的话，相信你是能访问到这个页面的那么我的建议是，用cookiejar访问，之后用beautifulsoup或者其他你用着习惯的东西，抓这个。
