首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
sinkinka
掘友等级
程序员
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
27
文章 23
沸点 4
赞
27
返回
|
搜索文章
赞
文章( 23 )
沸点( 4 )
SpringBoot 2.0 初体验
伙伴们:SpringBoot 2.0终于正式发布了。 spring从2004出世以来,一直都是java企业级开发框架的主力军,随着编程技术的发展,ruby、nodejs、python等新鲜力量的不断涌现,导致spring的地位在走下坡。有些中小项目可能只用了最初始的那几个核心功…
Java网络爬虫实操(6)
本篇文章尝试用注解的方式实现一下,大家看看是否好一点。 总之,一个好的框架的目标是希望能用的前提下,用的更好、更爽。好像汽车品牌一样,虽然都是四个轮子的,几万的也有,几十万的也很多。 有兴趣的小伙伴可以关注这个爬虫框架NetDiscovery,基本上每周都有更新的。
Java网络爬虫实操(5)
本篇文章的目标:使用NetDiscovery爬虫框架,使用GET和POST两种方式,获取我们想要的json数据。 不要被提示文字所迷惑,明明是第一次访问,不可能是频繁操作导致的。 返回这种结果是网站服务端设计的一种反爬虫手段。 网站服务端识别到不是人在用浏览器访问它,所以返回这…
Vue.js初体验
实现功能:在网页的input输入框里输入一段文字,点一个button按钮,然后叠加显示在textarea控件上。类似一个聊天窗口的样子。 vue.js给我最直观的体验就是:页面初始化时,控件(视图层)绑定数据变量(数据层)后,以后就专注处理数据上的事情就可以了,数据变化后的界面…
Java8 Stream的总结
一. Stream的特性 Stream是Java 8新增的接口,Stream可以认为是一个高级版本的 Iterator。它代表着数据流,流中的数据元素的数量可以是有限的,也可以是无限的。 无存储:Stream是基于数据源的对象,它本身不存储数据元素,而是通过管道将数据源的元素传…
Java网络爬虫实操(3)
pipeline是一种常见的算法模式,针对不断循环的耗时任务,如果要等一个循环结束后再轮到处理下一个任务的话,时间上有点浪费。 所以,把耗时任务拆分为几个环节,只要一个环节完成了,就可以轮到下一个任务的那个环节就马上开始处理。不用等到这个耗时任务全部结束了才开始。 我认为应用在…
Java网络爬虫实操(2)
从2017年下半年开始,比特币、数字货币、虚拟币、区块链技术、去中心化等等新名词频频出现在媒体上,让人不想看到都很难。 找了一个数字货币的聚合信息平台,上面会定时刷新每种货币的价格。如果要写一个有实际价值的抓数据程序,那肯定希望这个程序能重复执行抓数据的动作吧。 依赖框架,有一…
Java8新的异步编程方式 CompletableFuture(一)
一. Future JDK 5引入了Future模式。Future接口是Java多线程Future模式的实现,在java.util.concurrent包中,可以来进行异步计算。 Future模式是多线程设计常用的一种设计模式。Future模式可以理解成:我有一个任务,提交给了…
基于RxJava2实现的简单图片爬虫
今年十月份以来,跟朋友尝试导入一些图片到tensorflow来生成模型,这就需要大量的图片。刚开始我只写了一个简单的HttpClient程序来抓取图片,后来为了通用性索性写一个简单的图片爬虫程序。它可以用于抓取单张图片、多张图片、某个网页下的所有图片、多个网页下的所有图片。 这…
构建一个给爬虫使用的代理IP池
做网络爬虫时,一般对代理IP的需求量比较大。因为在爬取网站信息的过程中,很多网站做了反爬虫策略,可能会对每个IP做频次控制。这样我们在爬取网站时就需要很多代理IP。 自己搭建代理服务器,稳定,但需要大量的服务器资源。 本文的代理IP池是通过爬虫事先从多个免费网站上获取代理IP之…
下一页
个人成就
文章被点赞
280
文章被阅读
21,637
掘力值
912
关注了
14
关注者
694
收藏集
1
关注标签
6
加入于
2017-12-03