首页
首页
沸点
课程
直播
活动
竞赛
商城
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
sinkinka
掘友等级
程序员
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
赞
27
文章 23
沸点 4
赞
27
返回
|
搜索文章
最新
热门
Java网络爬虫实操(10)
使用chrome浏览器访问网页,需要使用对应平台和版本的driver程序。 实现一个继承SeleniumAction的类,执行逻辑都在这里。 以上代码只是例子,实际工作中action逻辑会比较复杂。我们可以根据需求,把action拆分为多个,通过list装配到加载器,框架会根据…
NetDiscovery框架的Admin模块介绍
总结,通过前端layUI和后端SpringBoot搭建了一个Web框架。然后结合quartz实现定时job的控制。
在SpringBoot下的pageHelper分页实践
pagehelper是一款优秀的分页插件,帮我我们减轻了很多代码工作量,灵活发挥了在项目中的作用。 传统时代每次处理分页都要进行两次查询:一次获取总的数据行数、一次获取当前页的数据。很多代码都是冗余的。 pagehelper帮助我们灵活解决了这个问题,减轻了很大一部分开发工作量…
饿了么平台API接入实战
在等待审核的时候,可以创建一个【应用】,我们先关注【沙箱环境】就可以了,其他的可以先不看。(我创建的是【企业应用】) 什么是沙箱环境?答:就是测试环境,随便怎么搞都可以的。 获取token这个事情是要写代码并部署到服务器上后才能获取到的。只是在本地搞是搞不了的。(需要准备一个线…
Java网络爬虫实操(9)
request(Request... requests) 支持传入多个参数 如果下载的文件比较大,要耐心等待程序运行完。 大家有兴趣可以去试试下载word文档等资源。总之,通过框架NetDiscovery下载资源就是这么方便。当然,FileDownloader和FileDown…
Java网络爬虫实操(8)
程序在本地组织好一个request后,交给downloader从网络上抓取数据到本地,然后由parser处理本地的这些数据,最终生成可用的信息。 面向接口编程是这个框架的重要设计思想之一。 以下介绍部分downloader代码,这些代码的共同点是实现了Downloader接口。…
Java网络爬虫实操(7)
seleinum本质上是一种自动化测试工具,在爬虫技术中主要用来模拟人对浏览器的操作,理论上人通过鼠标键盘操作的所有过程,都可以用程序代码模拟出来,然后获取我们想要的网页数据。 试用下来发现NetDiscovery框架对seleinum操作的支持还比较简单,我会继续关注。
SpringBoot 2.0 初体验
伙伴们:SpringBoot 2.0终于正式发布了。 spring从2004出世以来,一直都是java企业级开发框架的主力军,随着编程技术的发展,ruby、nodejs、python等新鲜力量的不断涌现,导致spring的地位在走下坡。有些中小项目可能只用了最初始的那几个核心功…
Java网络爬虫实操(6)
本篇文章尝试用注解的方式实现一下,大家看看是否好一点。 总之,一个好的框架的目标是希望能用的前提下,用的更好、更爽。好像汽车品牌一样,虽然都是四个轮子的,几万的也有,几十万的也很多。 有兴趣的小伙伴可以关注这个爬虫框架NetDiscovery,基本上每周都有更新的。
Java网络爬虫实操(5)
本篇文章的目标:使用NetDiscovery爬虫框架,使用GET和POST两种方式,获取我们想要的json数据。 不要被提示文字所迷惑,明明是第一次访问,不可能是频繁操作导致的。 返回这种结果是网站服务端设计的一种反爬虫手段。 网站服务端识别到不是人在用浏览器访问它,所以返回这…
下一页
个人成就
文章被点赞
280
文章被阅读
18,925
掘力值
897
关注了
14
关注者
698
收藏集
1
关注标签
6
加入于
2017-12-03