Python爬虫实例｜爬取动态生成的网页内容

前面分享过《初学者必备｜Python环境安装、第三方库的下载安装方法》，今天分享一个Python爬取网页中动态生成的内容的方法。

关键词：爬取动态生成的网页内容

一、简单类型：网页内容可直接获取

这种情况相对比较简单，爬取步骤：

1、用urllib.request库直接获取网页源码

2、用re库解析出需要的网页内容

3、对解析出的内容进行相关操作，比如下载

实例：爬取某贴吧中的图片，下为贴吧的部分截图

获取网页源码的源码：网页代码较大，建议不要打印。

右键，查看网页源代码，找到图片的地址，用re的正则表达式解析所有的图片地址。

技巧：可以在图片上右键，复制图片地址

在网页源代码页面用Ctrl+F调出搜索窗口，粘贴地址就可以快速定位到图片的地址处。

通过对比发现，网页中的图片地址都有统一的前缀和统一的后缀，如下图：

这个时候就可以用正则表达式获取地址了，正则表达式相对比较复杂，初学者只需要 理解二点就可以了，1、内是要获取的内容，左边是内容的前缀，右边是内容的后缀。2、.+？代表任意内容

最后一步，逐个下载获取的图片。

部分爬取结果：

源码：

import urllib.request

import re

url="http://tieba.baidu.com/p/2256306796" #网址

page=urllib.request.urlopen #获取网页

html=page.read #获取网页源码

# 解析jpg图片url的正则表达式

jpgReg = re.compile" width')

# 注：这里最后加一个'width'是为了提高匹配精确度

# 解析出jpg的url列表

jpgs = re.findall)

i=0

for jpgurl in jpgs:

urllib.request.urlretrieve+".jpg")

i=i+1

二、复杂类型：网页完整内容是动态生成的

在实际爬取的过程，会碰到上面的爬取方法失效的情况。因为有些网站的内容是用JS脚本动态生成的，这时候获取的网页源码中并不包含动态生成的内容。以某个英语学习网为例，网页源代码中并不明显包含网页的内容。

这时候就需要祭出Selenium了，Selenium是一个用于测试网站的自动化测试工具，支持各种浏览器包括Chrome、Firefox、Safari等主流界面浏览器，同时也支持phantomJS无界面浏览器。简单的说就是Selenium可以模拟访问网页，并获得最终的结果。使用Selenium之前还要安装有一个webdriver驱动文件，下载好Chrome驱动文件chromedrive.exe后，可以直接放在谷歌浏览器的安装目录下。

C:UsersAdministratorAppDataLocalGoogleChromeApplication

下载的时候，一定要下载自己谷歌浏览器的对应版本。下载地址如下：

这时候爬取的思路就要进行调整：

1、利用Selenium访问网页，获得动态生成的网页源代码

2、在源代码中找到需要的内容的格式并解析，然后下载。

这里边涉及到一个小技能，如何查看动态网页的源码：

方法就是右键里的检查功能。

选中右边的Elements标签页，就可以看到网页的全部真实源代码。

鼠标在右边的代码上移动，左边就会选中对应的内容块，非常直观。

找到自己需要的内容块后，展开右边的代码。

调整后的源码如下：

执行过程出现一个黑色的窗口就表示成功调用

爬取的部分内容列表截图，这个地址前要加上网站的前缀拼成完整的地址，进行二次爬取。

源码：开头的#要去掉，不然程序出错。不加上我就违规了

#import urllib.request

#import re

import time #sleep函数

from selenium import webdriver

from selenium.webdriver.chrome.options import Options

url="不能加的" #网址

#page=urllib.request.urlopen #获取网页

#html=page.read #获取网页源码

contents=[] #保存获取的音乐地址列表

#初始化webdriver

global driver

chrome_options = Options

chrome_options.add_argument

chrome_options.add_argument

driver_path = 'chromedriver.exe' #这里放的就是下载的driver本地路径

driver = webdriver.Chrome

driver.get #打开网址

#等待4秒钟，视网速和网页内容而定

time.sleep

html = driver.page_source # 获取获取网页源码

#设置正则表达式规则，并解析

mp3Reg = re.compile" class=') # 注：参看上面的截个图

contents.extend.decode))

for mp3url in contents:

print #这里只是简单打印，实际还要再解析一次获得mp3真实地址

# 关掉driver

driver.quit

后记：以上就是Python爬取网页内容二种方法，不足之处欢迎留言讨论交流。

码字不易，您的关注、转发、收藏都会给我无限动力！