首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
确定删除此收藏集吗
删除后此收藏集将被移除
取消
确定删除
确定删除此文章吗
删除后此文章将被从当前收藏集中移除
取消
确定删除
编辑收藏集
名称:
描述:
0
/100
公开
当其他人关注此收藏集后不可再更改为隐私
隐私
仅自己可见此收藏集
取消
确定
大数据、爬虫
订阅
Danny_Hoo
更多收藏集
微信扫码分享
微信
新浪微博
QQ
4篇文章 · 0订阅
上亿数据怎么玩深度分页?兼容MySQL + ES + MongoDB
这个时候没有实际经验的同学基本麻爪,So,请听我娓娓道来。 首先必须明确一点:深度分页可以做,但是深度随机跳页绝对需要禁止。 像MySQL,MongoDB数据库还好,本身就是专业的数据库,处理的不好,最多就是慢,但如果涉及到ES,性质就不一样了,我们不得不利用 SearchAf…
携号转网正式启动,注意对业务带来的小影响
前几天携号转网正式启动,我这个被联通信号坑的不行的娃,终于能翻身了,两眼老泪众横,甭管移动还是电信都行,只要不是联通,我就舒坦了。整个屋子只有阳台有两个信号,屋里永远无服务。 转网办理好以后,我突然对于某种特殊业务情况产生了疑虑,随进行了简单的考古查证,以此记录,分析与众。 在…
揭秘|每秒千万级的实时数据处理是怎么实现的?
闲鱼目前实际生产部署环境越来越复杂,横向依赖各种服务盘宗错节,纵向依赖的运行环境也越来越复杂。当服务出现问题的时候,能否及时在海量的数据中定位到问题根因,成为考验闲鱼服务能力的一个严峻挑战。 线上出现问题时常常需要十多分钟,甚至更长时间才能找到问题原因,因此一个能够快速进行自动…
爬虫:如何判断一个网页已经更新?
一个网页是否更新,是很多爬虫开发人员都会碰到的问题,如果只是一次性抓取来使用,那这个问题无关紧要,抓一遍完事,但是工程中的爬虫通常需要长期运行,如果内容更新,需要及时抓取。 这是一个常见的获取更新内容的思路,这种方式无状态,傻瓜式的,我并不需要知道网页到底更新哪些内容,我只要每…