掘友等级
获得徽章 0
#每天一个知识点# StarRocks是Linux基金会的项目，旨在使大数据实时分析更加快速简单的新一代的数据平台。它提供的查询速度是其他流行方案的5-10倍。StarRocks能够在更新历史数据的同时很好地执行实时分析。它还很轻松可以通过数据湖的历史数据增强实时分析能力。官网 www.starrocks.com，目前国内有很多大公司已经在使用。![[微笑]](//lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_1.7d9f699.png)
#每天一个知识点# 开源Apache Doris是基于MPP（Massively Parallel Processing-大规模并行处理）的交互式SQL数据仓库，主要用于解决报表和多维分析问题。目前已经迭代到v2.0.5版本。
在clickhouse中，主键和mysql等数据库不同，clickhouse的主键不是唯一的。在MergeTree表引擎中，order by 非常重要，因为它定义了数据在磁盘上的物理排序，影响查询效率，并且它是使用MergeTree引擎创建表时中的唯一必填项。
#每天一个知识点# 使用yarn的cluster模式运行spark任务时，日志不会直接输出到当前提交的命令窗口上。需要使用yarn logs -applicationId <application id>来查看，app id可以在可视化界面上看到。
#每天一个知识点# 区别于java，scala中提供了APP类，当scala中的类继承了APP类后，就可以不用显式调用main方法直接运行编码内容。
#每天一个知识点# clickhouse列式存储数据库是16年由俄罗斯最大搜索引擎公司（类似百度、谷歌）yandex开源。值得一提的是 yandex.com 在国内可以无障碍访问，相似图片搜索功能相当好用。
今天在v2ex上看到，chrome插件Manifest version 2版本要寿终正寝了，升级到3很多插件都需要重新开发。想到自己前段时间整的整活插件也要报销了，给jy们分享一下。有兴趣可以从网盘里面下了玩下，rar解压了加载到chrome里面就行了。
链接: 
pan.baidu.com 提取码: ezps
#每天一个知识点# mongodb采用bjson（Binary JSON）的格式存储数据，是json的二进制形式。bjson有以下特点：
-比json更加紧凑
-易于分析、实现、部分实施
-不必分析数据，可以跳过一些条目
-支持所有常见数据格式
-支持json的所有功能，不需要额外数据和编码
-支持路径式数据寻址
-容易来回转换为文本形式的json
-可以很容易地嵌入到常见的传输中，如：文件、数据库、mpeg流等
-容易自定义扩展
地址：www.bjson.org
#每天一个知识点# windows系统中，默认换行符为CRLF（\r\n）。unix系统中，默认换行符为LF（\n）。如果你在unix系统中需要对一个CRLF换行符的文件进行转换，可以使用 dos2unix 工具。
#每天一个知识点# 网络（信息）安全等级保护，简称等保，旨在根据信息系统安全重要性划分等级，并采取相应的安全保护措施。从低到高划分为五个等级：自主保护、指导保护级、监督保护级、强制保护级和专控保护级。
一般企业应用被划为二级、三级居多。三级等保需要每年由专业机构进行评定出具报告（按系统大小收费，一般五位数RMB居多）。四五级较少且评定标准较为严格，阿里云的金融云为四级。
#每天一个知识点# service mesh（服务网格）是一个基础设施层，用于处理服务间的通信。它提供以下功能：负载均衡、服务发现、熔断、动态路由、安全通信、多语言支持、多协议支持、指标跟踪、重试等。他是非侵入式的，与业务代码、开发语言充分解藕，是透明的网络代理，独立的运行单元。
#每天一个知识点# RTT（Round-Trip Time）指的是往返时延，是计算机网络中一项重要的指标。TCP 3次握手需要1.5个RTT，完整的一次请求花费2个RTT+数据传输时间。
QUIC-HTTP3使用的传输层协议（Quick UDP Internet Connections）初次建立连接需要1个RTT，后续再次连接时通过会话恢复机制实现0-RTT。
#每天一个知识点# 在反机器人、营销推送等场景中。经常会用到浏览器指纹技术。简单的user agent和ip等信息容易伪造，浏览器指纹通过浏览器能获取到的各类信息，如：cpu核心数，显卡信息，分辨率，插件扩展，时区偏移，可用api情况等组合成一个特殊字符串。该特殊字符串就可以起到“指纹”的作用。
#每天一个知识点# openai于美国当地时间2月15日发布了新的人工智能文生视频大模型——Sora。地址：openai.com
#每天一个知识点# elasticsearch 可以使用 profile API对搜索语句进行分析。分析结果会展示每个分片每个搜索组件的执行时间、执行情况。并且可以结合kibana中的search profiler 功能更好地进行可视化分析。
#每天一个知识点# Elasticsearch 可以使用 Ingest pipline （5.x引入）对文档在被索引前进行数据预处理。要使用该功能，需要es集群中至少有一个ingest角色的节点。Ingest pipeline和logstash 的filter类似，可以进行数据清洗、数据类型转换、内容解析抽取等。
#每天一个知识点# RAID5实现将数据和校验信息储存在不同磁盘上，容错能力大于RAID0，相较于RAID1，RAID5的读写速度较快，写入速度慢。
#每天一个知识点# Elasticsearch 在7.9版本引入了 wildcard字段类型，旨在改善模糊匹配的查询效率（相对于旧的wildcard查询）。
在内部，wildcard字段使用ngrams对整个字段值进行索引，并存储了完整的字符串。
#每天一个知识点# elasticsearch 的高可用性依赖于主分片的副本。一般情况下，主分片的副本分片在另外一个数据节点上。当副本数为1时，有某一节点服务器宕机时，集群仍然可以照常运行，并将副本中的数据恢复到其他可用节点上，重建主分片。
副本数越多，可用性越高，相对应的也会影响集群性能。
#每天一个知识点# 编写测试用例时，模拟外部依赖到底是使用mock还是stub? stub 更关注的是输入和输出，mock更注重对象的行为交互的期望结果。
![[微笑]](http://lf-web-assets.juejin.cn/obj/juejin-web/xitu_juejin_web/img/jj_emoji_1.7d9f699.png)
pan.baidu.com 提取码: ezps 
