首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
宇宙风景呗
掘友等级
获得徽章 0
动态
文章
专栏
沸点
收藏集
关注
作品
赞
26
文章 26
沸点 0
赞
26
返回
|
搜索文章
赞
文章( 26 )
沸点( 0 )
一致性Hash
凡是涉及到分布式的系统,就会有负载均衡和数据分布的问题。为了让连接(或者数据)能够分布得更均匀,很多时候会使用到Hash算法。 把任意长度的输入,通过Hash算法变换成固定长度的输出,这个输出就是Hash值。哈希值的空间远小于输入的空间,所以可能会发生“哈希碰撞”,即两个不同的…
拜托,面试别再问我TopK了!!!
面试中,TopK,是问得比较多的几个问题之一,到底有几种方法,这些方案里蕴含的优化思路究竟是怎么样的,今天和大家聊一聊。画外音:除非校招,我在面试过程中从不问TopK这个问题,默认大家都知道。 问题
计算机网络基础
本文旨在让计算机开发者能够快速了解计算机网络的基础知识,并且能够手写 HTTP 协议,了解其底层原理。 比如现在大家都用 Webpack,但是很少有人知道为什么要用 Webpack,看了本文你就会知道原因。另外,在 Hybrid App、Weex、React Native 或者…
计算机网络基础(一)---计算机网络概览篇
专用网络(某些部门,或者某些人,为了满足特殊的业务需求,而建立起来的网络。如:军队、铁路局、银行、公司,他们都有自己的专用网络) 顶级的是主干ISP,这里边就包含了上边提到的三大网络服务提供商。中国的主干ISP可以连接美国、澳洲、欧洲的主干ISP。主干ISP下边是地区ISP,比…
分布式爬虫原理之Scrapy分布式实现
接下来,我们会利用Scrapy-Redis来实现分布式的对接。 请确保已经成功实现了Scrapy新浪微博爬虫,Scrapy-Redis库已经正确安装。 要实现分布式部署,多台主机需要共享爬取队列和去重集合,而这两部分内容都是存于Redis数据库中的,我们需要搭建一个可公网访问的…
分布式爬虫原理之分布式爬虫原理
我们在前面已经实现了Scrapy微博爬虫,虽然爬虫是异步加多线程的,但是我们只能在一台主机上运行,所以爬取效率还是有限的,分布式爬虫则是将多台主机组合起来,共同完成一个爬取任务,这将大大提高爬取的效率。 在了解分布式爬虫架构之前,首先回顾一下Scrapy的架构,如下图所示。 S…
关注了
4
关注者
0
收藏集
15
关注标签
3
加入于
2021-03-04