逆流而上jiao
获得徽章 0
赞了这篇沸点
赞了这篇文章
赞了这篇文章
赞了这篇文章
赞了这篇沸点
8月14日打卡，今日学习《K8s 长什么样子，一文道清它的整体架构》：本文讲解了K8s的整体结构，主节点，工作节点的介绍。Kubernetes是一个基于容器技术的分布式架构方案。Master Node（主节点：主要包含API Server、Scheduler、Controllers 三个组成部分，以及用作存储的etcd ，它用来储存整个集群的状态）控制整个集群，Work Node（从节点:主要组件有kubelet、kube-proxy、Container Runtime 、Pod 等）为集群提供计算能力。
展开
1
2
赞了这篇文章
赞了这篇沸点
8月13日打卡，今日学习《一文搞懂 K8s 准入控制（Admission Controller）》：本文讲述K8s的准入控制器是什么，为什么使用，准入控制器的理论知识讲解。
K8s的请求处理流程：API request -> API Handler ->Authentication/Authorization -> Mutating Admission -> Object Schema Validation -> Validating Admission -> ETCD
准入控制器是指在请求通过认证和授权之后，可用于对其进行变更操作或验证操作的一些代码或功能。(运行变更准入控制器Mutating Admission、运行验证准入控制器Validating Admission)。
K8s的请求处理流程：API request -> API Handler ->Authentication/Authorization -> Mutating Admission -> Object Schema Validation -> Validating Admission -> ETCD
准入控制器是指在请求通过认证和授权之后，可用于对其进行变更操作或验证操作的一些代码或功能。(运行变更准入控制器Mutating Admission、运行验证准入控制器Validating Admission)。
展开
评论
2
赞了这篇文章
赞了这篇沸点
8月12日打卡，今日学习《深度解析 Raft 分布式一致性协议》：本文讲述了Raft基本概念、选主、日志复制、安全性及正确性、集群成员变更与日志压缩、线性一致性与读性能优化、Raft读性能优化。关于Raft算法后续需要进一步学习，区块链的共识算法也可以用。
1
2
赞了这篇沸点
8月11日打卡，今日学习《分布式系列第一弹：分布式一致性！》：本文讲述了分布式一致性基本介绍和一致性协议的介绍。DBMS为保证事务是正确可靠的，所必须具备的四个特性（ACID）：原子性（atomicity）、一致性（consistency）、隔离性（isolation）、持久性（durability）。CAP理论：一致性（Consistency）、可用性（Availability）、分区容错性（Partition Tolerance）。BASE理论：Basically Available（基本可用）、Soft state（软状态）和Eventually consistent（最终一致性）。
两阶段提交协议(2PC)、三阶段提交协议(3PC)、TCC、最终一致性模式。
两阶段提交协议(2PC)、三阶段提交协议(3PC)、TCC、最终一致性模式。
展开
评论
2
赞了这篇文章
赞了这篇沸点
8月9日打卡，今日学习《Apache Pulsar 技术系列 - Pulsar事务实现原理》：本文讲述事务介绍、流程和实现等相关信息。Apache Pulsar是一个多租户、高性能的服务间消息传输解决方案。保证Pulsar Function的精确一次语义，可以保证Producer发送多条消息到不同的Partition时，可以同时全部成功或者同时全部失败。常见的分布式事务中都会有TC（事务协调者）、TM（事务发起者）、RM（每个节点的资源管理者）等组件。
展开
评论
2
赞了这篇文章
赞了这篇沸点
8月10日打卡，今日学习《博文｜Apache Pulsar 在自研数据管道中的技术实践》：本文讲述数据管道保证分布式消费达到用户无感知，技术探索。ApachePulsar是分布式消息流平台。Pulsar有四种订阅模式：exclusive 模式（独占模式）、failover 模式（故障转移模式）、Shared模式（共享模式）以及Key_Shared模式。消息的传输保障一般有三种：At least once、At most once和Exactly once。通过在数据管道数据链路模型中增加了过滤器来过滤重复消息。
展开
评论
2
赞了这篇沸点
8月7日打卡，今日学习《入门Hbase，看这一篇就够了》 :文章介绍了HBase的架构设计、CenOS单机模式安装、IDEA中代码案例、优化操作、Scan的重要参数。
Hbase是一种NoSQL数据库 。架构体系( Zookeeper、Master、 RegionServer、HDFS)。存储文件包含HLog (预写日志文件,也叫WAL[write-ahead log])、 HFile ( 真实的数据存储文件)。Hbase关键概念:表，rowkey,列簇，时间戳。
Hbase是一种NoSQL数据库 。架构体系( Zookeeper、Master、 RegionServer、HDFS)。存储文件包含HLog (预写日志文件,也叫WAL[write-ahead log])、 HFile ( 真实的数据存储文件)。Hbase关键概念:表，rowkey,列簇，时间戳。
展开
评论
2
赞了这篇沸点
8月8日打卡，今日学习《一文讲清HBase存储结构》：本文讲解了HBase的存储结构分为逻辑结构（RegionServer->Regions->CFs）和物理结构（HRegionServer->HRegions->HStores）。HBase结构包括Client、Zookeeper、HMaster和HRegion。Hbase读取和写入数据的过程。
在HBase中是以CF（列簇）为单元的存储结构。
Client端进行rowkey->HRegion映射关系的缓存，降低下次寻址的压力。
在HBase中是以CF（列簇）为单元的存储结构。
Client端进行rowkey->HRegion映射关系的缓存，降低下次寻址的压力。
展开
评论
2
赞了这篇文章
赞了这篇文章
赞了这篇沸点
8月6日打卡，今日学习《带你入坑大数据（一） --- HDFS基础概念篇》：文章开头讲述Hadoop架构由3个模块组成（分布式存储HDFS，分布式计算MapReduce，资源调度框架Yarn）。datanode每个block有128M，hdfs-default.xml中dfs.replication设置副本数量。
文件的元数据信息（metaData）存储在NameNode的内存中。
元数据信息以命名空间镜像文件（以下称为fsimage）和编辑日志（以下称为editlog）的方式保存，两者的作用分别是元数据镜像文件，保存了文件系统目录树信息以及文件和块的对应关系；日志文件，保存了文件的更改记录。
客户端日志：双缓存异步写
SecondaryNameNode：备份NN元数据信息并提高重启速度，可做NN心跳机制解决了HDFS集群间的通信问题。
链接：
juejin.cn
文件的元数据信息（metaData）存储在NameNode的内存中。
元数据信息以命名空间镜像文件（以下称为fsimage）和编辑日志（以下称为editlog）的方式保存，两者的作用分别是元数据镜像文件，保存了文件系统目录树信息以及文件和块的对应关系；日志文件，保存了文件的更改记录。
客户端日志：双缓存异步写
SecondaryNameNode：备份NN元数据信息并提高重启速度，可做NN心跳机制解决了HDFS集群间的通信问题。
链接：
juejin.cn
展开
评论
2