用户112986583106

说起网络爬虫，大家想起的估计都是 Python ，诚然爬虫已经是 Python 的代名词之一，相比 Java 来说就要逊色不少。有不少人都不知道 Java 可以做网络爬虫，其实 Java 也能做网络爬虫而且还能做的非常好，在开源社区中有不少优秀的 Java 网络爬虫框架，例如 …

在传统数据库(如：MYSQL)中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，有一些特殊的技巧。 本文首先介绍了Hadoop上通常的JOIN实现方法，然后给出了几种针对不同输入数据…

今天，数据库的操作越来越成为整个应用的性能瓶颈了，这点对于Web应用尤其明显。关于数据库的性能，这并不只是DBA才需要担心的事，而这更是我们程序员需要去关注的事情。当我们去设计数据库表结构，对操作数据库时(尤其是查表时的SQL语句)，我们都需要注意数据操作的性能。这里，我们不会…

一、掉对web.xml的监视，把jsp提前编辑成Servlet。有富余物理内存的情况，加大tomcat使用的jvm的内存 服务器所能提供CPU、内存、硬盘的性能对处理能力有决定性影响。 (1) 对于高并发情况下会有大量的运算，那么CPU的速度会直接影响到处理速度。 (2) 内存…

不知道算不算违规，不过还是记录一下，属于比较有用的小技巧。有的网站需要登录，才能查看其里面的东西。有时候如果只是文字的东西，想要分享出去。比如说极客时间的专栏。 那就爬取内容保存下来吧。 1 留意自己想要爬的内容，如果可以提前获取其内容链接，并且链接是固定的，那么在前端控制台通…

随着业务的发展，数据库增长的很快。老板不明白其中道理，但作为数据库的维护者，却看的胆颤心惊。 终于，数据库慢慢的接近数瓶颈点，管理员也越来越焦虑。 使用分区表吧，不行。就如上面所说，有些挖祖坟的请求，会加载一些很久之前的数据，分区表并不能解决问题。 明显要对数据进行一下切割，进…

多线程作为Java中很重要的一个知识点，在此还是有必要总结一下的。 上图中基本上囊括了Java中多线程各重要知识点。掌握了上图中的各知识点，Java中的多线程也就基本上掌握了。主要包括： 就绪状态(Runnable)：当调用线程对象的start()方法(t.start();)，…

现在市面上的java诊断工具繁多。大家可以说的上来的，有jdk自带的jstack(获取java线程栈和检测死锁)，jconsole(图形化的jmx工具)，jstat(查看内存信息变化以及gccause)。还有例如pinpoint这种大而全的诊断工具，一体化的apm系统。还有zi…

1、代理IP服务器所处网络速度不佳。之所以将这个放在第一，是因为百分之九十的朋友遇到使用代理IP访问慢的时候，第一想法就是代理IP服务器出问题了，赶紧找供应商解决; 2、代理IP服务器性能差。这个原因很多朋友不清楚，也不知道，毕竟服务器咋样供应商自己知道，但如果代理IP长期使用…