苦哈哈

针对ES的向量检索性能调优需要综合考虑并发处理、存储选择、分片策略以及I/O调度器等多个方面。通过合理的配置和优化，可显著提升ES的查询效率和响应速度，高达30倍，满足业务...

对公司的 ELK 日志系统做过性能优化，也对 SkyWalking 使用的 ES 存储进行过性能优化，在此做一些总结。本篇主要是讲 ES 在 ELK 架构中作为日志存储时的...

所有需要对非结构化数据进行检索的场景都可以使用向量检索方法(或许也是唯一的方法)，几乎涵盖所有AI场景。 在AI业务上，将通过模型计算处理后的非结构化数据所表征的向量称之为...

kerberos下怎么jdbc链接（kerberos）？ jdbc url的写法： jdbc:hive2://host:21050/;principal=hive/_HOS...

我正在参加「掘金·启航计划」 安装部署 python3.8安装 使用root用户操作： 自行查找python官网：https://www.python.org/ 或直接下载...

ES 出现failed to execute pipeline for a bulk request问题 已知情况： 当前环境各组件运行正常，数据由HBase侧不停写入ES...

常规使用，logger无法给本地系统日志和远端发送消息，无显式报错，而在这之前能够正常工作。 具体复现如下： 排查与定位 首先排除rsyslog升级、配置等原因，因为之前一...

Spark3源码编译-IDEA 之前可以在linux环境进行spark源码的修改和编译，没有在笔记本上走通过编译流程，记录遇到的问题和解决方案。在电脑上修改编译源码方便日常...

运算操作 四则运算 不经常写脚本的同学，遇到的第一个坎就是这个——shell脚本中不能直接做加减乘除（报错command not found）： 可以在线Shell工具尝试...

我们在Spark任务的DAG图中很容易看到WSCG（全阶段代码生成）的身影。CodeGen技术从算子融合角度解决虚函数开销和中间数据物化问题：简单来说，CodeGen框架通...

Obsidian是一款科研笔记和知识管理软件，最近obsidian终于抛掉beta版的帽子，开启了1.0时代。Obsidian是基于Markdown文件的本地知识管理软件，...

当前大部分Elasticsearch集群的使用场景，多是内网部署，且不对外部提供相关服务。或者仅将Elasticsearch集群作为支撑业务的底层服务，不对公网开放9200...

Spark GraphX是一个分布式图处理框架，基于 Pregel 接口实现了常用的图算法。包括 PageRank、SVDPlusPlus、TriangleCount...

常规安装 说明 例如，下载的ik分词器压缩包，解压之后放到ElasticSearch安装路径下的plugins目录，之后重启es即可（文件名字随意，es会自动识别文件）。 ...

业务背景 业务代码本身是没有致命逻辑错误的，程序可以正常的启动和运行较长一段时间，如一周两周； 流计算任务，从kafka读取数据计算后写； 没有使用第三方缓存承接中间数据；...

2019年就快结束啦，又到了总结过去展望未来的时候，最近和小伙伴们在进行Spark的功能的梳理，以便进一步研究学习。 Spark Streaming是核心Spark API...

版本版本spark2.3.1HDPSparkSQLCLIDriver图解1-processCmd图解2-伴生对象main方法总体结构SparkSQLCLIDriver伴生对...

开发层面通常使用嵌入式的Java应用程序或连接JanusGraph Server的模式与JanusGraph数据交互，但作为分布式图数据库的一个代表，不与Spark这样的分...

来源|阿里云峰会文| 技术领导力社区本文整理自阿里高级技术专家-许文奇在2019阿里云峰会上的分享《技术中台-分布式架构在蚂蚁金服的实践》，结合技术领导力社区架构专家的点评...

修改了Spark部分源码，编译成jar包后要替换原rpm包中的jar，并重新打成rpm包以便安装。 运行rpmdev-setuptree生成工作目录，使用rpmbuild ...