标签：webmagic教程

    JAVA

    Webmagic处理POST、PUT、PATCH等请求

    herman 7年前 (2017-04-13) 5779浏览 0评论

    了解 RESTful 的都知道，POST不是幂等操作，所以理论上每次请求的结果都未必一样，所以原则上是没有办法做“去重”操作的。其次，除了GET请求，其他Method都没有办法自动发现，一般都是手工构建出来的，使用者更应该...

    JAVA

    WebMagic Selectable抽取元素

    herman 7年前 (2017-04-13) 6402浏览 0评论

    昨天用的 WebMagic 最新版本，还存在一些问题。导致控制台报错，报错内容为找不到jsoup类文件。详情大家可以到https://github.com/code4craft/webmagic/issues/533查看。 今天我...

    JAVA

    WebMagic Xsoup 和 自定义Pipeline

    herman 7年前 (2017-04-12) 6040浏览 0评论

    WebMagic的抽取主要用到了Jsoup和官方自带的工具Xsoup。 Jsoup是一个简单的HTML解析器，同时它支持使用CSS选择器的方式查找元素。关于Jsoup的学习文章，大家可以到这里进行学习！https://github.com/...

    JAVA

    Webmagic 爬虫的配置、启动和终止

    herman 7年前 (2017-04-12) 7497浏览 0评论

    通过上一篇的小 demo，我们发现爬取网页内容都是通过实现 PageProcessor 来抓取的。在第一章也介绍到实 PageProcessor 是 Webmagic 4个重要组件之一。PageProcessor 的主要作用是：负责解析页面，抽取...

    JAVA

    WebMagic 入门

    herman 7年前 (2017-04-11) 3712浏览 0评论

    这是接着上一章 WebMagic 简介，我们来搭建第一个 WebMagic 爬虫项目。 WebMagic 主要包含两个jar包：webmagic-core-{version}.jar和webmagic-extension...

    JAVA

    WebMagic 简介

    herman 7年前 (2017-04-11) 5014浏览 0评论

    WebMagic 是一款简单灵活的爬虫框架。目前百度百科上还没有相关的词条，网上使用的人比较多。和 jsoup 相比它更小巧和简单。 本文主要介绍 WebMagic，后面会慢慢的深入，并结合一些实例来学习。如果时间充足我会录制一些...