Python爬虫-抓取糗事百科段子

文章目录 [ 隐藏 ]

爬虫其实很简单,只要用心,很快就就能掌握这门技术,下面通过实现抓取糗事百科段子,来分析一下为什么爬虫事实上是个非常简单的东西。

本文目标

  • 抓取糗事百科热门段子
  • 实现每按一次回车显示一个段子的发布时间,发布人,段子内容,点赞数。

获取网页源码

通过Requests框架抓取源码。

获取段子并打印

通过正则匹配段子数据

按回车获取下一条

把抓取的数据放在本地列表里,每次按回车,则去下一条数据,如果数据没有了,则执行翻页操作

整合代码

打开糗事百科热门段子,网址为http://www.qiushibaike.com/8hr/page/1,多次翻页发现后面的1位页数。
右键单击网页查看源码,分析源码,可以找到我们需要的数据

效果图

未经允许不得转载:Python在线学习 » Python爬虫-抓取糗事百科段子

赞 (0)

来吐槽吧 0

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址