wuxiren

本章的关注点在于数据库设计，良好的数据库设计是高性能的基石，应该根据系统即将执行的查询语句来设计数据库。 字段设计时，应该尽量选择正确数据类型的最小数据类型，使用时占用更少的磁盘、内存、cpu。 使用更简单的数据类型，例如整数比字符串的操作代价更低。如使用MYSQL的内建的类型…

Mysql最重要、最与众不同的特性是他的存储引擎架构，这种架构的设计将查询处理及其他系统任务和数据的存储/提取隔离。这种处理和存储分离的设计可以在使用时根据性能、特性，以及其他需求来选择数据存储的方式。 最上层是很多软件都有的基础服务层，大多数基于网络的客户端/服务器的工具或者…

爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏…

我们当下生活在信息化时代，信息数据成为一种重要资源，而比较火热的大数据就是基于数据进行算法分析。而爬虫就是一种获取数据的一种方法，我本人最近刚好有空闲时间玩爬虫，借此文章为初学者引导以及自我记忆。我选取的小巧灵活的webMagic框架进行实践。