数据工作实践

需求： 用户通过签到、活动、下单等渠道获取积分，积分获得一年后过期(可配置)，每月 1 日计算并扣除一批过期的积分。用户如果有消费，则优先使用快过期的积分。 方案设计： 业务表结构 用户账户表：业务表

前言 因为 MySQL 不是分析型数据库，因此对 json 和数组类型的支持不是很好，所以许多东西的实现就很有奇技淫巧的味道。本文整理了 json 相关的一些操作，以备不时之需。 json 字段在 M

前言 因为需要做一些不同类型的数据库功能验证，启动一个服务最方便的方式就是docker容器了，不仅缺省许多复杂的配置，而且对本机没有什么侵入性，不用担心安装之后会在各个地方遗留一些安装痕迹，方便管理服

scrapy作为一个专业的爬虫框架，不仅有完备的爬取工具，同样有完备的数据处理工作流。下面我们通过item和pipeline来介绍scrapy推荐的数据处理流程。 Item数据对象 英语字典中对ite

前言 数据爬取的工作往往是一个灰色地带，即使爬取的是公开的数据，也有可能被禁。那就需要一些攻防技巧。但是，也有一句话叫“爬虫写的好，牢饭吃到饱”，所以请大家谨遵龟腚，不要非法爬取。 正文 通常有以下几

简介 scrapy是一个基于python的爬虫框架，提供了一套比较完整的爬虫解决方案，包括模拟cookie，referer，ajax等，并且支持代理，失败重试等爬虫攻防操作。可以让你专注于数据本身而不