WebMagic Selectable抽取元素

herman 9年前 (2017-04-13) 7461浏览 0评论

昨天用的 WebMagic 最新版本,还存在一些问题。导致控制台报错,报错内容为找不到jsoup类文件。详情大家可以到https://github.com/code4craft/webmagic/issues/533查看。 今天我...

WebMagic Xsoup 和 自定义Pipeline

herman 9年前 (2017-04-12) 7077浏览 0评论

WebMagic的抽取主要用到了Jsoup和官方自带的工具Xsoup。 Jsoup是一个简单的HTML解析器,同时它支持使用CSS选择器的方式查找元素。关于Jsoup的学习文章,大家可以到这里进行学习!https://github.com/...

Webmagic 爬虫的配置、启动和终止

herman 9年前 (2017-04-12) 8481浏览 0评论

通过上一篇的小 demo,我们发现爬取网页内容都是通过实现 PageProcessor 来抓取的。在第一章也介绍到实 PageProcessor 是 Webmagic 4个重要组件之一。PageProcessor 的主要作用是:负责解析页面,抽取...

WebMagic 入门

herman 9年前 (2017-04-11) 4637浏览 0评论

这是接着上一章 WebMagic 简介,我们来搭建第一个 WebMagic 爬虫项目。 WebMagic 主要包含两个jar包:webmagic-core-{version}.jar和webmagic-extension...

WebMagic 简介

herman 9年前 (2017-04-11) 6173浏览 0评论

WebMagic 是一款简单灵活的爬虫框架。目前百度百科上还没有相关的词条,网上使用的人比较多。和 jsoup 相比它更小巧和简单。 本文主要介绍 WebMagic,后面会慢慢的深入,并结合一些实例来学习。如果时间充足我会录制一些...

Shiro 教程

herman 9年前 (2017-04-05) 12465浏览 0评论

经过2个多星期的努力,Shiro教程系列文章终于完结了,这里分享一下这个教程目录。 我的另外一个个人网站:CODE大全,就用到了Shiro框架。地址:www.codedq.net 水平权限漏洞原理、修复以及检测方法 安全开源权限...

Shiro 动态URL权限管理

herman 9年前 (2017-04-05) 4396浏览 0评论

这是Shiro 教程的最有一篇文章了,本文将重点学习在实际项目中的动态URL权限管理功能。 用过Spring Security的朋友应该比较熟悉对URL进行全局的权限控制,即访问URL时进行权限匹配;如果没有权限直接跳到相应的错误页面。Sh...

Shiro 在线回话管理

herman 9年前 (2017-04-05) 4769浏览 0评论

项目做的多了,遇到的奇葩需求也就多。有时候需要显示当前在线人数、当前在线用户,有时候可能需要强制某个用户下线等;此时就需要获取相应的在线用户并进行一些操作。本文结合Shiro为大家分享关于在线回话管理的项目。 会话控制器 @Requi...

Shiro+JCaptcha 集成验证码

herman 9年前 (2017-04-05) 4817浏览 0评论

在做用户登录功能时,很多时候都需要验证码支持,验证码的目的是为了防止机器人模拟真实用户登录而恶意访问,如暴力破解用户密码/恶意评论等。目前也有一些验证码比较简单,通过一些OCR工具就可以解析出来;另外还有一些验证码比较复杂(一般通过如扭曲、加线条...

Shiro 限制并发登录人数案例

herman 9年前 (2017-04-01) 6512浏览 0评论

spring security 中存在这样的功能:每个账户同时只能有一个人登录或几个人同时登录,如果同时有多人登录:要么不让后者登录;要么踢出前者登录(强制退出)。Shiro的话没有提供默认实现,不过可以很容易的在Shiro中加入这个功能。 ...

Shiro 集成 OAuth2

herman 9年前 (2017-04-01) 4594浏览 0评论

昨天还有一位网友问我OAuth2 相关的知识,由于时间有限,我没有详细的讲解。今天我们使用Shiro 来整合OAuth2 来配套学习。 目前很多开放平台如新浪微博开放平台都在使用提供开放API接口供开发者使用,随之带来了第三方应用要到开放平...

最全的 Shiro demo Shiro 例子

herman 9年前 (2017-04-01) 4603浏览 0评论

关于Shiro 单点登录的功能,我后续还有案例进行教学。今天我们结合前面的一些教程,来做一个完整的Shiro 权限管理综合实例。 简单的权限管理关系图 数据字典 数据库的设计,可以参考http://www.xttblog...

Shiro 单点登录

herman 9年前 (2017-04-01) 5013浏览 0评论

spring下使用shiro+cas配置单点登录,多个系统之间的访问,每次只需要登录一次。 系统模块说明 cas: 单点登录模块,这里直接拿的是cas的项目改了点样式而已 doc: 文档目录,里面有数据库生成语句,采用的...

Shiro SSL 支持

herman 9年前 (2017-03-31) 7037浏览 0评论

对于SSL的支持,Shiro只是判断当前url是否需要SSL登录,如果需要自动重定向到https进行访问。 Shiro 生成数字证书 首先生成数字证书,生成证书到D:\localhost.keystore。 使用JDK的keyt...

Shiro RememberMe

herman 9年前 (2017-03-31) 4682浏览 0评论

前面写了很多案例,都没有涉及RememberMe功能。这里专门独立出来写它。 Shiro提供了记住我(RememberMe)的功能,比如访问如淘宝等一些网站时,关闭了浏览器下次再打开时还是能记住你是谁,下次访问时无需再登录即可访问,基本流程...