2017年04月13日的内容

    JAVA

    WebMagic 爬虫框架 注解用法

    herman 7年前 (2017-04-13) 5558浏览 0评论

    自从java注解出来之后，就无框架不注解。同样的 WebMagic 爬虫框架也支持注解的方式实现网页的抓取，今天为大家分享一下 WebMagic 爬虫的注解教程。 @TargetUrl和@HelpUrl HelpUrl/Ta...

    JAVA

    Webmagic处理POST、PUT、PATCH等请求

    herman 7年前 (2017-04-13) 5820浏览 0评论

    了解 RESTful 的都知道，POST不是幂等操作，所以理论上每次请求的结果都未必一样，所以原则上是没有办法做“去重”操作的。其次，除了GET请求，其他Method都没有办法自动发现，一般都是手工构建出来的，使用者更应该...

    JAVA

    Webmagic 爬虫监控和配置代理

    herman 7年前 (2017-04-13) 9009浏览 1评论

    现在的服务基本上都离不开监控。Webmagic 爬虫框架自带了监控功能，本文将带领大家使用 Webmagic 爬虫的监控功能。 Webmagic 爬虫的监控是0.5.0新增的功能。利用这个功能，可以查看爬虫的执行情况—...

    JAVA

    WebMagic Selectable抽取元素

    herman 7年前 (2017-04-13) 6427浏览 0评论

    昨天用的 WebMagic 最新版本，还存在一些问题。导致控制台报错，报错内容为找不到jsoup类文件。详情大家可以到https://github.com/code4craft/webmagic/issues/533查看。 今天我...