标签:Scrapy

利用Scrapy爬取的毒汤数据做一个展示页面

       记上次用scrapy爬虫技术抓取了毒汤一言的数据,这次把它部署到服务器上去了。具体效果可以查看https://www.itgank.com/dutang/,效果图如下:主要是随机展示数据中的8条数据,鼠标移动到头像上会上浮显示毒汤语录和作者昵称!……

Python爬虫:一些常用的爬虫技巧总结

用python也差不多一年多了,python应用最多的场景还是web快速开发、爬虫、自动化运维:写过简单网站、写过自动发帖脚本、写过收发邮件脚本、写过简单验证码识别脚本。爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。……

入门Scrapy,爬了2345影视、毒汤一言和51日历的数据

最近在学习Scrapy,学习的过程总是枯燥的,所以总要有些实例操作,才有兴趣继续学习!这里我爬了三个小项目。1、爬取2345影视网站上的电视剧和电影资源1.1 安装环境什么的就一笔略过了。需要的依赖包列表如下,你可以保存为一个123.txt,然后pip install -r 123.txt来安装这些依赖包。……