sinkinka

使用chrome浏览器访问网页，需要使用对应平台和版本的driver程序。 实现一个继承SeleniumAction的类，执行逻辑都在这里。 以上代码只是例子，实际工作中action逻辑会比较复杂。我们可以根据需求，把action拆分为多个，通过list装配到加载器，框架会根据…

总结，通过前端layUI和后端SpringBoot搭建了一个Web框架。然后结合quartz实现定时job的控制。

pagehelper是一款优秀的分页插件，帮我我们减轻了很多代码工作量，灵活发挥了在项目中的作用。 传统时代每次处理分页都要进行两次查询：一次获取总的数据行数、一次获取当前页的数据。很多代码都是冗余的。 pagehelper帮助我们灵活解决了这个问题，减轻了很大一部分开发工作量…

在等待审核的时候，可以创建一个【应用】，我们先关注【沙箱环境】就可以了，其他的可以先不看。（我创建的是【企业应用】） 什么是沙箱环境？答：就是测试环境，随便怎么搞都可以的。 获取token这个事情是要写代码并部署到服务器上后才能获取到的。只是在本地搞是搞不了的。（需要准备一个线…

request(Request... requests) 支持传入多个参数 如果下载的文件比较大，要耐心等待程序运行完。 大家有兴趣可以去试试下载word文档等资源。总之，通过框架NetDiscovery下载资源就是这么方便。当然，FileDownloader和FileDown…

程序在本地组织好一个request后，交给downloader从网络上抓取数据到本地，然后由parser处理本地的这些数据，最终生成可用的信息。 面向接口编程是这个框架的重要设计思想之一。 以下介绍部分downloader代码，这些代码的共同点是实现了Downloader接口。…

seleinum本质上是一种自动化测试工具，在爬虫技术中主要用来模拟人对浏览器的操作，理论上人通过鼠标键盘操作的所有过程，都可以用程序代码模拟出来，然后获取我们想要的网页数据。 试用下来发现NetDiscovery框架对seleinum操作的支持还比较简单，我会继续关注。

伙伴们：SpringBoot 2.0终于正式发布了。 spring从2004出世以来，一直都是java企业级开发框架的主力军，随着编程技术的发展，ruby、nodejs、python等新鲜力量的不断涌现，导致spring的地位在走下坡。有些中小项目可能只用了最初始的那几个核心功…

本篇文章尝试用注解的方式实现一下，大家看看是否好一点。 总之，一个好的框架的目标是希望能用的前提下，用的更好、更爽。好像汽车品牌一样，虽然都是四个轮子的，几万的也有，几十万的也很多。 有兴趣的小伙伴可以关注这个爬虫框架NetDiscovery，基本上每周都有更新的。