念念__

1. 前言 这篇文章很早我就想写了，不过一直拖着。多谢我的 知识星球 里的朋友 JM 的提问，让我决定写这篇文章。 这篇文章比较长，因为有我自己的故事，希望能鼓励到学编程的...

版本版本spark2.3.1HDPSparkSQLCLIDriver图解1-processCmd图解2-伴生对象main方法总体结构SparkSQLCLIDriver伴生对...

开发层面通常使用嵌入式的Java应用程序或连接JanusGraph Server的模式与JanusGraph数据交互，但作为分布式图数据库的一个代表，不与Spark这样的分...

背景 基于TPCDS的100G，500G数据进行了99SQL综合调优测试 测试机为物理机5台，1台为管理节点，4台为计算节点 可用内存约1T，核心数（vCore）200大概...

rsyslog的全称是 rocket-fast system for log，它提供了高性能，高安全功能和模块化设计。rsyslog能够接受从各种各样的来源，将其输入，输出...

不幸的是，发行版通常提供相当旧的rsyslog版本。可以通过官网下载rpm或deb包来安装新版，或使用docker容器安装。 核心软件包（通常简称为“ rsyslog”）-...

如果过滤器“匹配”（过滤器说“是”），则执行相应的动作列表。如果不匹配，则不会发生任何处理 规则顺序计算从第一个到最后一个规则中指定的规则集。无关规则集中的任何规则都不会执...

模板是rsyslog的关键功能。 它们允许指定用户可能需要的任何格式。 它们还用于动态文件名生成。 该声明用于包含属性文本，它可访问所有属性。支持以下参数： 与传统模板语句...

rsyslog中的数据项叫做“Properties”。属性用于模板和条件声明。 这些属性由rsyslog核心引擎提供。他们与消息无关。所有系统属性均以美元符号$开头。 $n...

在CentOS7.4上预装的v8.24有这个问题，这是一个bug，升级到v8.29以上就好了，我升级到最新版Rsyslogv8.2002，配置文件不变，发送成功。 从git...

除了属性外，rs也支持本地变量（local variables）在脚本中使用。 设置local-variable或json属性的值，如果冲突会合并，忽略或重置。...

问题描述 使用spark提交任务到YARN时，在没有配置spark.yarn.archive或者spark.yarn.jars时， 看到输出的日志在输出： 使用spark-...

Apache Hudi 是下一代流数据湖平台。Apache Hudi 将数仓和数据库核心功能迁移到数据湖。Hudi 提供表、 事务、高效的 upserts/deletes、...

现代数据栈，谁主沉浮？ 2022年已经没有人谈大数据这个概念，不是它失败了，恰恰是因为它成功了。成功技术的吊诡之处在于，它最终会被认为是理所当然，消失在背景音中。 随着Sa...

10年前的今天，Eric Brewer 博士发表[CAP Twelve Years Later—How the 'Rules' Have Changed](https://...

`ElasticSearch`开箱即用，本身并没有太多需要配置、调整的参数，平时使用中最大的问题应该就是red状态的处理恢复了。现某用户使用的ES集群报health状态为`...

kerberos下怎么jdbc链接（kerberos）？ jdbc url的写法： jdbc:hive2://host:21050/;principal=hive/_HOS...

我正在参加「掘金·启航计划」 安装部署 python3.8安装 使用root用户操作： 自行查找python官网：https://www.python.org/ 或直接下载...

ES 出现failed to execute pipeline for a bulk request问题 已知情况： 当前环境各组件运行正常，数据由HBase侧不停写入ES...

常规使用，logger无法给本地系统日志和远端发送消息，无显式报错，而在这之前能够正常工作。 具体复现如下： 排查与定位 首先排除rsyslog升级、配置等原因，因为之前一...