百姓大小事,一呼百应!

百姓网|百姓知道

动漫

凤凰军事新闻抓取,必须用java语言,要用java爬虫框架吗? 用哪个框架?

凤凰军事新闻抓取,必须用java语言,要用java爬虫框架吗? 用哪个框架?

2个回答

  • Night Silent|2017-10-16 14:46:23

    爬不爬的都无所谓了,你需要的只是一个好用的html解析库而已。个人推荐jsoup。

    本问答由Night Silent提供

  • Night Silent|2017-10-16 14:17:32

    推荐如下的java开源爬虫或抓取框架
    1.webmagic
    【猪猪-后端】WebMagic框架搭建的爬虫,根据自定义规则,直接抓取,使用灵活,Demo部署即可查看。
    官站:WebMagic

    2.jsoup
    java网络爬虫jsoup和commons-httpclient使用入门教程实例源码
    搜索"jsoup"的分享列表
    官站:jsoup Java HTML Parser, with best of DOM, CSS, and jquery

    3.apache httpclient
    java爬虫实现之httpClient4.2.1 连接池管理客户端请求 抓取页面简单示例
    搜索"httpclient"的分享列表
    HttpClient - HttpClient Home

    4.如果觉得框架用起来复杂,其实完全可以通过java.net.HttpURLConnection来实现。
    java通过java.net.HttpURLConnection类抓取网页源码工具类分享
    搜索"HttpURLConnection"的分享列表

    参考下爬虫相关的源码demo吧:
    搜索"爬虫"的分享列表
    搜索"抓取"的分享列表

    本问答由Night Silent提供

* 本站部分内容来源自网络,仅作分享之用,侵删。