Webmagic(爬虫)抓取新浪博客案例
herman 8年前 (2017-04-14) 4609浏览 1评论
Webmagic框架更偏重实际的内容抓取。今天为大家分享Webmagic 爬虫框架抓取新浪博客的案例。 我们以作者的新浪博客http://blog.sina.com.cn/flashsword20作为例子。在这个例子里,我们要从最终的博客文...
herman 8年前 (2017-04-14) 4609浏览 1评论
Webmagic框架更偏重实际的内容抓取。今天为大家分享Webmagic 爬虫框架抓取新浪博客的案例。 我们以作者的新浪博客http://blog.sina.com.cn/flashsword20作为例子。在这个例子里,我们要从最终的博客文...
herman 8年前 (2017-04-11) 4212浏览 0评论
这是接着上一章 WebMagic 简介,我们来搭建第一个 WebMagic 爬虫项目。 WebMagic 主要包含两个jar包:webmagic-core-{version}.jar和webmagic-extension...
herman 8年前 (2017-03-16) 5744浏览 0评论
最近公司来了新同事,刚毕业不久。问到我 web.xml 中的 ContextLoaderListener 是干什么用的?我一时愣住了,因为我也不清楚了。关于 ContextLoaderListener 的知识,我们这里一起再认...
herman 8年前 (2017-03-16) 7338浏览 0评论
Atlas 框架被阿里巴巴开源出来了,我预计在未来的一段时间内会火爆起来,因此我第一时间就整理了一些关于 Atlas 框架的知识点,分享给大家!附上前面两篇文章《atlas 框架开发常见问题总结》、《详解 Atlas 框架原理》。 Bund...
herman 8年前 (2017-03-15) 13943浏览 0评论
前面一章我写了Atlas框架的常见问题总结《atlas 框架开发常见问题总结》,本章我们来解剖一下它的实现原理。 继 Weex 之后,阿里在移动技术领域又有开源大动作。 3月13日,手机淘宝安卓客户端容器化框架 Atlas 正式宣布开...
herman 8年前 (2017-03-15) 4435浏览 0评论
就在最近,阿里巴巴宣布Atlas开源。Atlas来自阿里巴巴的手淘部门,在实用性,可靠性等各方面都经过的淘宝的实践。今天就为大家总结一下关于Atlas开发常见的问题! Atlas 简介 Atlas是伴随着手机淘宝的不断发展而衍生出来的...
herman 8年前 (2017-03-13) 4640浏览 0评论
线程在编程中无处不在,会用不代表你真的懂她! 线程是一个操作系统概念。操作系统负责这个线程的创建、挂起、运行、阻塞和终结操作。而操作系统创建线程、切换线程状态、终结线程都要进行CPU调度——这是一个耗费时间和系统资源...
herman 8年前 (2017-03-11) 3447浏览 0评论
前面一篇我写了对称加密算法IDEA的使用教程《Java 对称加密算法IDEA 的使用教程》。今天我们来学习另外一个对称加密算法DES。DES算法使用相对广泛一些,一些老的项目中可能会遇到。 对称密码体制是指如果一个加密系统的加密密钥和解密密...
herman 8年前 (2017-03-11) 4851浏览 0评论
加密技术是对信息进行编码和解码的技术,编码是把原来可读信息(又称明文)译成代码形式(又称密文),其逆过程就是解码(解密)。加密技术的要点是加密算法,加密算法可以分为对称加密、不对称加密和不可逆加密三类算法。 IDEA 国际数据加密算法:是旅...
herman 8年前 (2017-02-21) 3619浏览 0评论
quartz 可以通过 jdbc 直连连接到MYSQL数据库,读取配置在数据库里的job初始化信息,并且把job通过 java 序列化到数据库里,这样就使得每个job信息得到了持久化,即使在 jvm 或者容器挂掉的情况下,也能通过数据库感知到其他...
herman 8年前 (2017-02-20) 5068浏览 0评论
前面一篇文章《100亿个数字的大文件如何快速找出最小的值?》中的排序结果消耗的时间相对来说比位图法排序更长。本章主要为大家介绍一下位图法排序。 位图法定义 位图法就是bitmap的缩写。所谓bitmap,就是用每一位来存放...
herman 8年前 (2017-02-20) 4089浏览 0评论
又到了一年一度的面试季,最近有网友给出一道高级java工程师的面试题。100亿个数字的大文件如何快速找出最小的值?我这里给出一些思路,提供参考! 这道题我们首先想到的是使用外部排序的方式,由于内存的原因,内部排序肯定不被允许,或者不是最佳选...
herman 8年前 (2017-02-15) 6328浏览 0评论
从学习Java开发到现在虽然也已经快三年了,但是要说到分享一下经验实在是不敢当。权当是对自己的一个总结吧,希望大家不吝指教,互相交流。照旧,还是现来整理一下我学习Java的一个路线图吧,然后按照这个路线图来谈谈我的一些感受。 Java核心 ...
herman 8年前 (2017-02-14) 2859浏览 0评论
简要的说,String类型和StringBuffer类型的主要性能区别在于String是不可变的对象,因此在每次对String类型进行改变的时候其实都等同于生成了一个新的String对象,然后再将指针指向新的String对象,所以经常改变内容的字...
herman 8年前 (2017-02-14) 3697浏览 0评论
<? super T>表示包括T在内的任何T的父类,<? extends T>表示包括T在内的任何T的子类,下面我们详细分析这两种通配符的区别 extends List<? extends Number&...