学会这几个下令，你也会scrapy爬虫爬小说

程序员 · 2024-9-3 22:09:11

Scrapy 是一个开源 Python 框架，专为大规模 Web 抓取而计划。它为我们提供了从任何网站提取、处理处罚和存储数据所需的全部工具。
这个框架的美妙之处在于它可以轻松地大规模构建自界说蜘蛛并使用 CSS 或 XPath 选择器网络特定元素、管理文件（JSON、CSV 等）以及维护我们的项目。
接下来我们只要实行几个下令就可以爬到一个小说的简介：
条件是已经安装了python3，而且已经参加了系统情况变量，我用的是python3.9
1.打开powershell，实行python -m venv scrapy_test(名字本身取就行)
2.实行scrapy_test\scripts\activate.bat
3.实行pip3 install scrapy
4.在scrapy_test目次位置下，实行scrapy startproject scrapytest新建一个项目
5.实行scrapy shell，进入另一个shell情况
6.然后fetch网页，实行：
fetch('http://www.gebiqu.com')
fetch到网页之后，内容会生存在response变量中。
7.实行view(response),打开欣赏器，生存的网页文件会主动被打开
我们打开开辟者工具，找到对应简介的标签

8.实行获取标签内容response.css('div.item').get()，
可以看到，文本和图片轻松得到。

学会这几个下令，你也会scrapy爬虫爬小说

所属分类: 问答交流

新帖推荐: 30日

推荐作品