红楼遗梦

最近开发了sparkstreaming的程序，且开发语言是采用python的，下述记录了开发的具体代码和过程，方便今后重复使用； 使用场景 需要从kafka的topic上消...

在大数据处理中，PySpark 提供了强大的工具来处理海量数据，特别是在数据清洗和转换方面。本文将介绍如何使用 PySpark 进行数据清洗，并将数据格式转换为 JSON ...

池化技术是一种预先分配并管理某类资源的策略，其主要目的是促进资源的重复使用并降低系统开销。在业务系统开发中，这种策略通常应用在对系统性能有较大影响的地方，如何选择线程池种类...

海量数据存储设计 顶层目标 核心需求 存储规模：400亿条消息（假设单条消息≤1KB，总数据量≈400TB） 高并发写入：支持每秒百万级消息写入 低延迟查询：毫秒级检索用户...

随着ChatGPT的出圈，基于大模型开发的应用也不断涌现，不管是不是相关方向的从业人员，在这一年多总能听到很多新名词，从LLM、Prompt、RAG到Fine-tuning...

在使用Git进行版本控制时，我们可能会遇到git ignore无效的情况。这通常是因为.gitignore文件没有正确设置，或者已经在Git仓库中的文件不会被.gitign...

一、背景说明vivo在2016年引入RabbitMQ，基于开源RabbitMQ进行扩展，向业务提供消息中间件服务。2016~2018年，所有业务均使用一个集群，随着业务规模...

一、背景随着公司业务的发展，商品库存从商品中心独立出来成为一个独立的系统，承接主站商品库存校验、订单库存扣减、售后库存释放等业务。在上线之前我们对于核心接口进行了压测，压测...

不知道你是否遇到过这样的情况，去小卖铺买东西，付了钱，但是店主因为处理了一些其他事，居然忘记你付了钱，又叫你重新付。又或者在网上购物明明已经扣款，但是却告诉我没有发生交易。...

心里忍不住暗骂，这叫啥问题，大家不都是用的这个嘛，但是你不能说出来。 认真回答道：帅气迷人的面试官您好，因为传统的关系型数据库如Mysql已经不能适用所有的场景了，比如秒杀...