标签:webmagic教程

JAVA

Webmagic处理POST、PUT、PATCH等请求

herman 2年前 (2017-04-13) 2628浏览 0评论

了解 RESTful 的都知道,POST不是幂等操作,所以理论上每次请求的结果都未必一样,所以原则上是没有办法做“去重”操作的。其次,除了GET请求,其他Method都没有办法自动发现,一般都是手工构建出来的,使用者更应该...

JAVA

WebMagic Selectable抽取元素

herman 2年前 (2017-04-13) 2587浏览 0评论

昨天用的 WebMagic 最新版本,还存在一些问题。导致控制台报错,报错内容为找不到jsoup类文件。详情大家可以到https://github.com/code4craft/webmagic/issues/533查看。 今天我...

JAVA

WebMagic Xsoup 和 自定义Pipeline

herman 2年前 (2017-04-12) 3149浏览 0评论

WebMagic的抽取主要用到了Jsoup和官方自带的工具Xsoup。 Jsoup是一个简单的HTML解析器,同时它支持使用CSS选择器的方式查找元素。关于Jsoup的学习文章,大家可以到这里进行学习!https://github.com/...

JAVA

Webmagic 爬虫的配置、启动和终止

herman 2年前 (2017-04-12) 4090浏览 0评论

通过上一篇的小 demo,我们发现爬取网页内容都是通过实现 PageProcessor 来抓取的。在第一章也介绍到实 PageProcessor 是 Webmagic 4个重要组件之一。PageProcessor 的主要作用是:负责解析页面,抽取...

JAVA

WebMagic 入门

herman 2年前 (2017-04-11) 1608浏览 0评论

这是接着上一章 WebMagic 简介,我们来搭建第一个 WebMagic 爬虫项目。 WebMagic 主要包含两个jar包:webmagic-core-{version}.jar和webmagic-extension...

JAVA

WebMagic 简介

herman 2年前 (2017-04-11) 2099浏览 0评论

WebMagic 是一款简单灵活的爬虫框架。目前百度百科上还没有相关的词条,网上使用的人比较多。和 jsoup 相比它更小巧和简单。 本文主要介绍 WebMagic,后面会慢慢的深入,并结合一些实例来学习。如果时间充足我会录制一些...