宽表在BI业务中比比皆是，每次建设BI系统时首先要做的就是准备宽表。有时系统中的宽表可能会有上千个字段，经常因为“过宽”超过了数据库表字段数量限制还要再拆分。 为什么大家乐此不疲地造宽表呢？主要原因有

本文一方面从爬虫与反反爬的角度来说明如何高效的对网络上的公开数据进行爬取，另一方面也会介绍反爬虫的技术手段，为防止外部爬虫大批量的采集数据的过程对服务器造成超负载方面提供些许建议。

简介：企业想要拥有领先的数据分析能力，自研往往需要投入巨大的人力和财力。 Quick BI作为唯一一个连续两年入选Gartner魔力象限的中国BI产品，具备强大的全链路开放集成能力，可以轻松的与企业原

## 背景 上一篇文章 [保持清洁的Git提交记录，三招就够了](https://dayarch.top/p/three-ways-to-keep-git-log-clear.html) ，大家看

### Postman自动化接口测试 该篇文章针对已经掌握 Postman 基本用法的读者，即对接口相关概念有一定了解、已经会使用 Postman 进行模拟请求的操作。 当前环境： - Win

公众号开发过程中，频繁修改线上代码，开发过程比较繁琐，同时一旦出错将会影响到线上的其他正常业务，因此搭建一个微信公众号开发的本地环境能达到不影响线上业务的同时调试代码。这里推荐几款非常好用的内网穿透工具，如有其它推荐，欢迎补充 a. 部署frps 到云服务器上 b. 在本地服务…

这是我参与8月更文挑战的第9天，活动详情查看：8月更文挑战 什么是实时音视频 实时音视频（RTC）即基于IP技术实现的实时交互的音视频通信技术。 RTC 与 直播常用协议的区别 直播协议 播放延迟 F

之前一直使用的日志收集方案是ELK，动辄占用几个G的内存，有些配置不好的服务器有点顶不住！推荐一套轻量级日志收集方案： Loki+Promtail+Grafana（简称LPG）， 几百M内存就够了！

今天介绍一个可以拿出去吹牛的功能：实现socket句柄在进程之间迁移！ 我们的服务器上，运行着大量的server实例（instance）。这些instance，每个都要承载着数十万的连接和非常繁忙的网