标签:Webmagic API

业余杂谈

API网关:Kong、Gravitee、Tyk、HAProxy大PK

herman 4年前 (2020-05-05) 6633浏览

随着微服务的兴起,网关已成为最重要的一个部分。众多的 Api 网关的产生,使不少人面临着 2 个比较尖锐的问题。一个是增加了面试的难度,另外一个是选择一个最适合自己的网关并非易事。 基于此,我简单的比较了 4 种 API 网关:Kong,Gr...

JAVA

Webmagic 爬虫的配置、启动和终止

herman 7年前 (2017-04-12) 7586浏览 0评论

通过上一篇的小 demo,我们发现爬取网页内容都是通过实现 PageProcessor 来抓取的。在第一章也介绍到实 PageProcessor 是 Webmagic 4个重要组件之一。PageProcessor 的主要作用是:负责解析页面,抽取...