系统设计
2篇文章 · 0订阅
  • 群聊比单聊，为什么复杂这么多？
    群消息的实时性、可达性、离线消息的复杂度，要远高于单对单消息。 群业务的核心数据结构有两个。 画外音：用来描述一个群里有多少成员。 画外音：用来描述一个群成员的离线消息。 那么，问题来了！对于同一份群消息的内容，多个离线用户似乎要存储很多份。假设群中有 200 个用户离线，离线…
    架构 JavaScript
  • 如何构建一个通用的垂直爬虫平台？
    这篇文章，我就来和你分享一下，一个通用垂直爬虫平台的构建思路。 很简单，爬虫就是指定规则自动采集数据的程序脚本，目的在于拿到想要的数据。 由于第一类的开发成本较高，所以只有搜索引擎公司在做，如谷歌、百度等。 而大多数企业在做的都是第二类，成本低、数据价值高。 例如一家做电商的公…
    爬虫
    如何构建一个通用的垂直爬虫平台？