首页
AI Coding
NEW
沸点
课程
直播
活动
AI刷题
APP
插件
搜索历史
清空
创作者中心
写文章
发沸点
写笔记
写代码
草稿箱
创作灵感
查看更多
会员
登录
注册
something
haifeiWu
创建于2021-05-17
订阅专栏
just record
等 8 人订阅
共42篇文章
创建于2021-05-17
订阅专栏
默认顺序
默认顺序
最早发布
最新发布
golang 项目中的全链路追踪(tracing)
链路追踪(Tracing)是一种技术,用于监视和记录计算机程序或系统的运行情况。在分布式系统中,追踪可以帮助开发者和运维人员理解多个组件是如何协同工作的,以及在处理请求时它们之间的交互情况。
Hadoop MapReduce:一个十年回顾与未来趋势(论文综述)
在过去的十年中,Hadoop MapReduce 成为了处理大规模数据集的主流框架。它通过简化复杂数据处理任务,并提供了高度可扩展、容错性强且成本效益高的计算解决方案而获得成功。
基于 websocket 的长连接服务的设计与实践
业务场景 在常见的 pk 游戏的场景下,pk 双方需要实时感知双方的做题状态,因此长连接在这种场景下的应用极为常见,本文将基于此来讨论下长连接服务的设计与实现。
千万级消息推送系统的设计与实践
推送平台支持千万级的通知/消息推送,透传消息,快速触达用户,能够有效提升用户留存率、活跃度。推送平台提供了全链路的移动推送能力,只需接入推送平台的 API 就可以立即将推送消息送达到用户的移动设备。
基于 JMeter的压测工具的实现
在界面中选择对应的选项卡:(目前只支持HTTP模板,自定义脚本上传,测试相应结果两个选项卡),HTTP模板是根据页面选择的参数生成jmx文件,自定义脚本是用户直接上传jmx脚本。 下图是执行脚本的页面,在页面中可以选择在本地执行与在远程机执行(远程机执行是指在3台机器上同步执行…
扒一扒spring,dom4j实现模拟实现读取xml
今天leadr提出需求,原来公司项目中读取解析xml文件的代码效率太低,考虑切换一种xml为数据封装格式与读取方式以提高效率。我这灵机一动spring对bean的依赖注入就是读取xml文件,可以尝试扒一扒spring的源码,来实现一个轻量级的方案。 重构xml文件,向sprin…
MySQL 的存储结构-页
先从几个问题开始 innodb引擎下varchar类型的最大长度? 什么情况下我们需要水平分表?为什么?
如何使用 Redis 实现分布式锁
锁是我们在设计和实现大多数系统时绕不过的话题。一旦有竞争条件出现,在没有保护的操作的前提下,可能会出现不可预知的问题。
单元测试之gomock
简介 gomock 的由来和概述 gomock 是 Uber 公司开源的一个 mock 框架,于 2015 年开源。它是基于 Go 语言中的反射机制实现的,可以自动生成接口的 mock 对象。
GFS论文阅读
概述 这篇论文主要讲述了Google文件系统(GFS)的设计和实现。它介绍了GFS的目标、架构、组件、数据流和一些关键技术,如租约、快照和恢复等。
MapReduce论文阅读
概述 这篇论文主要介绍了MapReduce编程模型和相关实现,用于处理和生成大型数据集。它隐藏了并行化、容错、本地性优化和负载平衡等细节,使得即使对于没有并行和分布式系统经验的程序员也很容易使用。
配送特征平台
现实世界中,一个运单的完成过程是从用户下单开始到用户收餐骑手离客为止,需经历一系列室内室外的场景——用户下单,系统派单,骑手室外骑行到目的地然后下车步行到商家,等待取餐驻留室内,商家出餐,骑手取餐离店
Kafka的Replica机制
Kafka 是一个分布式的发布-订阅消息系统。它最初是在 LinkedIn 开发的,2011年7月成为一个 Apache 项目。
Zookeeper 与分布式锁
在上篇文章中讨论了基于 Redis 的单机分布式锁与集群分布式锁的方案,在数据一致性要求不是很高的情况下,Redis 实现的分布式锁可以满足我们的要求。最近在拜读了 zookeeper 的论文之后,对于 zookeeper 实现的分布式锁,也是有必要了解一下的。 使用 Zook…
基于 Redis 的分布式锁到底安全吗?
4,那么部署 Redis 的主从可以保证吗?主要原因是 Redis 主节点与从节点之间的数据同步是异步的。 Redlock 算法是基于 N 个完全独立的 Redis 节点(通常情况下 N 可以设置成 5)。 1,获取当前时间(毫秒数)。 2,按顺序依次向 N 个 Redis 节…
MapReduce 实现的简单实现
相信用过 Hadoop 的同学在等待结果输出的时候会出现类似于这样的 INFO : 2020-01-17 11:44:14,132 Stage-11 map = 0%, reduce = 0% 的日志,它展示了 MapReduce 的执行过程,下面我们也将就 MapReduce…
使用 Go 优化我们的接口
特征数据暴增,导致获取一个城市下所有的特征的接口延时高,下面是监控上看到的接口响应耗时,最慢的时候接口响应时间能达到 5s 多。 1,使用缓存。 分析业务需求,当前需要存储起来的数据是ObjectId,ObjectId 是一个长度为14左右的字符串,我们假设平均下来Object…
如何使用 Redis 实现分布式锁
锁是我们在设计和实现大多数系统时绕不过的话题。一旦有竞争条件出现,在没有保护的操作的前提下,可能会出现不可预知的问题。 而现代系统大多为分布式系统,这就引入了分布式锁,要求具有在分布各处的服务上保护资源的能力。 使用数据库实现。 使用 Redis 等缓存系统实现。 使用 Zoo…
我理解的 TCP 连接
TCP 是面向连接的协议。运输连接是用来传输 TCP 报文的。TCP 运输连接的建立和释放是每一次面向连接通信中必不可少的过程。因此,运输连接有三个阶段,即:连接建立,数据传输和连接释放。 在TCP连接建立过程中要解决一下三个问题。 (1)要使一方明确知道对方的存在。 (2)要…
Kafka Consumer 的 Rebalance 机制
如上图所示,Consumer 使用 Consumer Group 名称标记自己,并且发布到主题的每条记录都会传递到每个订阅消费者组中的一个 Consumer 实例。 Consumer 实例可以在单独的进程中或在单独的机器上。 如果所有 Consumer 实例都属于同一个 Con…
下一页