首页 » Python » python爬虫：关于python的scrapy的使用经验

python爬虫：关于python的scrapy的使用经验

　
暂无评论　5,690次浏览

python的爬虫框架，scrapy，采集效率非常高，一只蜘蛛跑一万url采集标题之类的10分钟不到就搞定了，当然了，可以同时跑多只蜘蛛。
首先是scrapy的安装教程，就不搬砖了，直接贴上地址：
http://blog.csdn.net/pleasecallmewhy/article/details/19354723
然后是新建项目的教程：
http://blog.csdn.net/pleasecallmewhy/article/details/19642329
之后就可以采集了。
在Scrapy里，使用的是叫做 XPath selectors的机制，它基于 XPath表达式。所以，如果要采集还是要熟悉下Xpath（正则也行）。之后的事情就简单多了。下面结合自己写的一只爬虫来吧，这个应该是属于scrapy最简单的爬虫了：
baidu_spider.py  取排名，标题，快照，和url（暂未引入其他模块获取真实url），当然，想取描述一样的，再写一个xpath规则，并在items.py中对应的肋下增加dec=Field()即可（参见新建项目的教程）。

  2. from scrapy.spider import Spider
  3. from scrapy.selector import Selector
  4. from tutorial.items import BaiduItem
  6. class BaiduSpider(Spider):
  7.     name = “baidu”
  8.     allowed_domains = [“baidu.com”]
  9.     start_urls = [“http://www.baidu.com/s?q1=%BD%F0%B8%D5%C9%B0”]
  11.     def parse(self,response):
  12.         sel = Selector(response)
  13.         sites = sel.xpath(‘//div[@class=”result c-container “]’)
  14.         items = []
  15.         for site in sites:
  16.             item = BaiduItem()
  17.             item[‘num’] = site.re(‘(id=”\d{1,3}”)’)
  18.             item[‘title’] = site.xpath(‘h3/a/text()’).extract()
  19.             item[‘link’] = site.xpath(‘h3/a/@href’).extract()
  20.             item[‘date’] = site.re(‘\xa0(\d{4}-\d{2}-\d{2})\xa0’)
  21.             items.append(item)
  22.         return items

运行命令：

json数据：

上边是一个简单的应用，在此基础上，我们将以上代码改进，批量获取一些内容：
以爬某站的spider为例：
1、url.txt存储url，一行一个。读取后作为参数传给start_urls。
2、我们要取的是他的所有h1，那么修改xpath表达式。
3、url.txt需要放在根目录下，蜘蛛也是在根目录下命令行运行。运行的命令为scrapy crawl mouzhan -o items.json -t json.(这里我们保存成了json格式，文件名叫做items.json)

  2. from scrapy.spider import Spider
  3. from scrapy.selector import Selector
  4. from tutorial.items import MouzhanItem
  6. class MouzhanSpider(Spider):
  7.     name = “mouzhan”
  8.     allowed_domains = [“mouzhan.com”]
  9.     start_urls = open(‘url.txt’,’r’).readlines()
  11.     def parse(self,response):
  12.         sel = Selector(response)
  13.         sites = sel.xpath(‘//h1/text()’).extract()
  14.         items = []
  15.         for site in sites:
  16.             item = MouzhanItem()
  17.             item[‘h1’] = site
  18.             items.append(item)
  19.         return items

采集到的数据：

最后输出的文件是json格式（也可以存储为csv等格式），编码是unicode，采集的中文在读取时处理下即可。测试的是一只蜘蛛10分钟1万url。可以同时运行多只蜘蛛。这里没有考虑ip代理，ua那些东西，不知道是采集的网站没有限制还是scrapy内部有处理，不过查了下，scrapy可以自行设置代理的。
scrapy也只是刚接触，并未有更深的研究，但是相对来说采集的速度非常快，我用beautifulsoup解析html采集的脚本要运行2个半小时才能采集1万数据，应该是不用给定url，在写的过程中制定规则就可以让蜘蛛去爬的。
至于scrapy在seo上的应用，我也说不出来多少，至少用这个东西用来查排名应该不慢（杀鸡焉用牛刀），批量查收录之类的，采集效率也高，至于采集谁，采集回来的东西如何用，看你自己了。ps（轻喷：其实我也不知道学这东西干嘛，反正我是小企业站，暂时不知道用来干嘛。）

转载自：方法SEO顾问 » SEO论坛::分享下python的scrapy的使用经验_新人投稿_SEO前线

原文链接：python爬虫：关于python的scrapy的使用经验，转载请注明来源！

赞 1