jsoup爬虫简书首页数据做个小Demo

时间:2021-5-27 作者:qvyue

昨天LZ去面试,遇到一个大牛,被血虐一番,发现自己基础还是很薄弱,对java一些原理掌握的还是不够稳固,比如java反射注解,知道一点就是说不出来,很尴尬… 生命不止,学习不止啊

之前那个项目 QNews 用的是的第三方的数据平台,所以访问次数会有限制,这就很无奈。。。

我的博客地址

jsoup爬虫简书首页数据做个小Demo
次数限制.PNG

每天只能请求100次….但是LZ这个穷屌丝也买不起服务器,所以就上网查,有什么别的方法可以获取数据,意外之间发现了jsoup这个强大的框架,就花了上午时间学习了一下,然后下午做了一个小Demo,功能比较单一,请见谅。

其实一开始的时候是想 爬今日头条的数据,但是发现数据总是为空,我估计是上锁了… 然后就把矛头转向了 简书,哈哈哈…果然简书就是好,数据直接就可以爬到了, 好开心啊!! 项目地址

先演示一波动态图:

jsoup爬虫简书首页数据做个小Demo
整体效果.gif

话说这个布局就花了我半个小时…

一些基础的我就不说了,就简单说明一下我的数据是如何爬到的。可以直接去看一下我的源码,写的比较仓促,一些细节没有处理好,多多指教。

1. 准备

1. 相关资料

官方文档

中文文档

2. 添加依赖

compile 'org.jsoup:jsoup:1.9.2'

3. 打开简书首页

jsoup爬虫简书首页数据做个小Demo
first.gif

在单个部分上 右击,然后点击检查选项(我用的是QQ浏览器,其他未尝试),底部就会跳出网页的源码,并且会跟踪到这个item对应的源码。

从上图可以大概了解到每个

  • 标签里的内容就是我们每个item的信息。

    2. 爬数据

    1. 获取 Document 对象

        Document document = Jsoup.connect("http://www.jianshu.com/")
                                 .timeout(10000)
                                 .get();
    

    这里通过建立与服务器的链接,并设置10s的超时连接来获取 Document 对象

    2. 获取跟标签的 Elements 对象

    jsoup爬虫简书首页数据做个小Demo
    first.PNG
    Elements noteList = document.select("ul.note-list");
    Elements li = noteList.select("li");
    

    找到文章列表模块,发现

      jsoup爬虫简书首页数据做个小Demo
      second.gif

  • 声明:本文内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:qvyue@qq.com 进行举报,并提供相关证据,工作人员会在5个工作日内联系你,一经查实,本站将立刻删除涉嫌侵权内容。