标签:jsoup

JAVA

AI 写爬虫用了 Jsoup,踩坑 JDK 17 底层 Bug

herman 1个月前 (05-22) 163浏览

前段时间,我在朋友圈说,我使用 AI 半小时不到帮助业务搞定了她原本需要一天才能搞定的工作。 当时我用的是 WorkBuddy,主要是那个时候它有签到捡积分,相当于不花钱。我用 AI 给业务做了一个任务,相当于可以定时执行,美滋滋。 但...

HTML5

headless-chrome-crawler 教程

herman 8年前 (2018-02-24) 7305浏览 0评论

headless-chrome-crawler 是一个自带 JavaScript 执行环境的爬虫插件。它支持分布式,是一款分布式爬虫。它能解决 AngularJS、vue.js 等这些现代化的前端框架编写的网站的爬虫问题。本文将详细的介绍它的相关...

JAVA

WebMagic 简介

herman 9年前 (2017-04-11) 6506浏览 0评论

WebMagic 是一款简单灵活的爬虫框架。目前百度百科上还没有相关的词条,网上使用的人比较多。和 jsoup 相比它更小巧和简单。 本文主要介绍 WebMagic,后面会慢慢的深入,并结合一些实例来学习。如果时间充足我会录制一些...

JAVA

网络爬虫jsoup抓取网页数据使用详解

herman 10年前 (2016-03-31) 7633浏览 0评论

Java程序在解析HTML文档时,我们常常使用jsoup去解析HTML网页内容。但在jsoup之前我们使用HTMLParser去解析(HTMLParser学习地址:http://www.xttblog.com/?p=322),但现在我已经不再使用...