在不用爬虫框架的情况下，我经过多方学习，尝试实现了一个分布式爬虫系统，并且可以将数据保存到不同地方，类似 MySQL、HBase 等。因为此系统基于面向接口的编码思想来开发，所以具有一定的扩展性，有兴趣的朋友直接看一下代码，就能理解其设计思想。

确保线程互斥的访问代码块，同一时刻只有一个方法可以进入到临界区 保证共享变量的修改能及时可见 有效解决重排序问题 语义上来讲，synchronized主要有三种用法： 修饰普通方法，锁的是当前对象实例（this） 修饰静态方法，锁的是当前 Class 对象（静态方法是属于类，而…

交流或更多内容请关注我的公众号：nezha_blog我的技术博客：https://nezha.github.io1.SpringBoot学习笔记–全注解方式2.pringboot中文帮助文档Sprin

LinkedBlockingQueue内部由单链表实现，只能从head取元素，从tail添加元素。添加元素和获取元素都有独立的锁，也就是说LinkedBlockingQueue是读写分离的，读写操作可以并行执行。LinkedBlockingQueue采用可重入锁(Reentra…

Spring Cloud 是一个优秀的开源微服务解决方案，通常采用 HTTP + json 的 REST 接口对外提供服务，简洁易用部署方便，很多公司也基于 Spring Cloud 作为基础架构去构建自身的微服务架构。但是随着业务规模和用户规模的增长，传统基于的 HTTP 的…

我们知道分布式锁的特性是排他、避免死锁、高可用。分布式锁的实现可以通过数据库的乐观锁(通过版本号)或者悲观锁(通过for update)、Redis的setnx()命令、Zookeeper(在某个持久节点添加临时有序节点，判断当前节点是否是序列中最小的节点，如果不是则监听比当前…

Kafka现在在我们公司使用的很广泛,如用作AdServer的日志收集和Counter服务的消息系统等.本文会先介绍下Kafka的一些基本概念,然后介绍如何搭建Kafka集群和如何使用,最后会简要介绍

一、前言在某些情况下，由于网速慢，用户操作有误(连续点击两下提交按钮)，页面卡顿等原因，可能会出现表单数据重复提交造成数据库保存多条重复数据。存在如上问题可以交给前端解决，判断多长时间内不能再次点击保