首页 » 技术分享 » 糗事百科成人版段子爬虫实战

糗事百科成人版段子爬虫实战

　
评论关闭　1,336次浏览

糗事百科成人版的段子爬虫在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

查看网站源代码，发现段子的规律为：
在这里插入图片描述
因此正则表达式可以写成

在这里插入图片描述

然后观察网址规律，发现格式是…page/n，n是页数
因此可以自己构造url访问多页
在这里插入图片描述
最后是针对某些反爬机制 可以自己添加用户代理池和ip代理池然后随机调用代理池（这个糗事百科没什么反爬机制可以不写）
常用用户代理池
https://blog.csdn.net/wangqing84411433/article/details/89600335
在这里插入图片描述

效果图
在这里插入图片描述
完整代码

#糗事百科段子爬虫
import urllib.request
import re
import random
uapools=[
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14393",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.22 Safari/537.36 SE 2.X MetaSr 1.0",
    "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
    ]

def ua(uapools):
    thisua=random.choice(uapools)
    print(thisua)
    headers=("User-Agent",thisua)
    opener=urllib.request.build_opener()
    opener.addheaders=[headers]
    #安装为全局
    urllib.request.install_opener(opener)


for i in range(0,9):
    ua(uapools)
    thisurl="http://www.qiumeimei.com/text/page/"+str(i+1)
    data=urllib.request.urlopen(thisurl).read().decode("utf-8","ignore")
    pat='<div class="main">.*?<p>(.*?)</p>'
    rst=re.compile(pat,re.S).findall(data)
    print("---------------------------"+str(i+1)+"-----------------------")
    for j in range(0,len(rst)):
        print(rst[j])
        print("-------")

转载自原文链接, 如需删除请联系管理员。

原文链接：糗事百科成人版段子爬虫实战，转载请注明来源！

赞 0