saiwaiyanyu

WebMagic+Spring Boot爬取网易云音乐评论

相信我们每个人在SpringMVC开发中，都遇到这样的问题：当我们的代码正常运行时，返回的数据是我们预期格式，比如json或xml形式，但是一旦出现了异常（比如：NPE或者数组越界等等），返回的内容确实服务端的异常堆栈信息，从而导致返回的数据不能使客户端正常解析； 很显然，这些…

放假之前做了几个小项目+课设，都用到了token实现登录验证和权限判断，然鹅当时和同组的小伙伴也都是第一次接触到了token，于是乎都是一脸懵逼（xjbx）的写完了登录验证的前后端逻辑（我写前端，同组的小伙伴写后端）。今天有空仔细学习了一下SpringBoot实现token认证…

GitHub地址：https://github.com/Smith-Cruise/Spring-Boot-Security-Thymeleaf-Demo。 Spring Security实现了一系列的过滤器链，就按照下面顺序一个一个执行下去。 User.class ：注意这个类…

在最近的项目中，有一个需求是对一个很大的数据库进行查询，数据量大概在几千万条。但同时对查询速度的要求也比较高。 这个数据库之前在没有使用Presto的情况下，使用的是Hive，使用Hive进行一个简单的查询，速度可能在几分钟。当然几分钟也并不完全是跑SQL的时间，这里面包含发请…

Elastic 需要 Java 8 环境。请参考 这篇文章 来安装 Java，可以解决环境配置的烦恼! 安装完 Java 8 后，在终端输入下面的命令来下载 Elastic 的压缩包（ 版本号请自行修改 ）。 在一切准备工作（Java 安装完毕）做好后，进入 Elastic 文…

大家好，我是皮蛋二哥。 “ELK”是 ElasticSearch、Logstash、Kibana 三门技术的简称。如今 ELK 技术栈在互联网行业数据开发领域使用率越来越高，做过数据收集、数据开发、数据存储的同学相信对这个简称并不陌生，而ElasticSearch（以下简称…

最近手头上的项目上了一个新功能，每天早上一到公司，就兴致勃勃地登上服务器去查看日志，“窥视”一下跑的正不正常。今天终于碰到“彩蛋”了： 冷静~ 我们先来理一理业务场景：我这边调用S团队的服务，接口参数传了String类型的开始日期和结束日期，格式：yyyy-MM-dd。既然报了…

最近因为个人网站的文章浏览量计数在Chrome浏览器下有BUG，所以打算重新实现这个功能。 原本的实现很简单，每次点击文章详情页的时候，前端会发送一个GET请求articles/id获取一篇文章详情。这个时候，会把这篇文章的浏览量+1，再存进数据库里。 原则来讲，GET请求应该…