Debian-10,用dpkg, *.deb包,安装Mysql-5.7.42 笔记250717Debian-10,用 d

Debian-10,用 `dpkg` , `*.deb`包,安装Mysql-5.7.42 笔记250717

目前(2507), Mysql-5.7的 dpkg , *.deb 安装包最高版本只到5.7.42 , 没有 5.7.44的版本, 安装 5.7.44可以用源码包编译,或glbic预编译二进制包

Mysql社区旧版归档下载选择页面: MySQL Community Server (Archived Versions)

mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar 的下载链接: https://downloads.mysql.com/archives/get/p/23/file/mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar

官方的 Debian安装Mysql-5.7的参考链接, https://dev.mysql.com/doc/mysql-installation-excerpt/5.7/en/linux-installation-debian.html
官方列出的依赖只有 libaio1 , 在Debian10-Standard中不够用, 最少依赖 libaio1 , libnuma1 , libatomic1 , psmisc , libmecab2

一步脚本安装

#/bin/bash
###   安装依赖
apt-get install libaio1 libnuma1 libatomic1 psmisc libmecab2

###   如果不存在才下载  `mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar` 
mkdir -pm 777 /InstallSetup /InstallSetup/Mysql /InstallSetup/Mysql/Mysql-5.7.42 && cd $_
if [[ (! -f mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar) && (! -f mysql-server_5.7.42-1debian10_amd64.deb-bundle--md5-6931eab52dca5a6d78ab00fae59e30b3--.tar) ]] ;then
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar
fi

###  创建并解压到文件夹
mkdir -pm 777 mysql-xxx.debs && tar -xvf mysql-server_5.7.42-1debian10_amd64.deb-bundle*.tar -C $_ && cd $_

###   用 `dpkg` 逐个安装 *.deb
dpkg -i mysql-{common,community-client,client,community-server,server}_*.deb

两步复制粘贴

1. 安装依赖

apt-get install libaio1 libnuma1 libatomic1 psmisc libmecab2

2. 如果不存在才下载 `mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar` , 然后解压并安装

###   如果不存在才下载  `mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar` 
mkdir -pm 777 /InstallSetup /InstallSetup/Mysql /InstallSetup/Mysql/Mysql-5.7.42 && cd $_
if [[ (! -f mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar) && (! -f mysql-server_5.7.42-1debian10_amd64.deb-bundle--md5-6931eab52dca5a6d78ab00fae59e30b3--.tar) ]] ;then
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar
fi

###  创建并解压到文件夹
mkdir -pm 777 mysql-xxx.debs && tar -xvf mysql-server_5.7.42-1debian10_amd64.deb-bundle*.tar -C $_ && cd $_

###   用 `dpkg` 逐个安装 *.deb
dpkg -i mysql-{common,community-client,client,community-server,server}_*.deb

分步讲解安装

1. 安装依赖

apt-get install libaio1

官方列出的依赖只有 libaio1 , 在Debian10-Standard中不够用, 最少依赖 libaio1 , libnuma1 , libatomic1 , psmisc , libmecab2

apt-get install libaio1 libnuma1 libatomic1 psmisc libmecab2

讲解 `libaio1` , `libnuma1` , `libatomic1` , `psmisc` , `libmecab2`

下面是对 libaio1、libnuma1、libatomic1、psmisc 和 libmecab2 五个关键组件的全面讲解，涵盖其核心功能、技术原理、应用场景及相互关系：

1. libaio1 - 异步 I/O 支持库 📌 核心功能

异步 I/O 实现：提供 Linux 原生异步文件 I/O 接口（io_submit(), io_getevents() 等）
性能优化：绕过内核缓冲区直接读写磁盘，减少系统调用开销
零拷贝支持：实现高效数据传输，避免内存复制

⚙️ 技术原理

// 异步写操作示例
struct iocb cb = {
    .aio_fildes = fd,
    .aio_lio_opcode = IOCB_CMD_PWRITE,
    .aio_buf = (uint64_t)buffer,
    .aio_nbytes = size,
    .aio_offset = offset
};
io_submit(ctx, 1, &cb);  // 提交异步请求
io_getevents(ctx, 1, 1, &event, NULL);  // 等待完成

🔍 应用场景

数据库系统：MySQL/PostgreSQL 的 InnoDB 存储引擎
高性能存储：Ceph, RocksDB 等分布式存储系统
关键依赖：安装 MySQL 时必备组件（提升 30%+ I/O 吞吐量）

💡 性能对比：
同步 I/O：100% CPU 占用时磁盘利用率 ≤ 70%
异步 I/O（libaio）：同等 CPU 占用下磁盘利用率 ≥ 95%

2. libnuma1 - NUMA 架构优化库 📌 核心功能

NUMA 感知：优化非统一内存访问架构下的资源分配
内存本地化：将进程内存绑定到最近 CPU 节点
负载均衡：智能分配跨节点任务

🧠 架构原理

NUMA 节点0             NUMA 节点1
[ CPU0 CPU1 ]         [ CPU2 CPU3 ]
   |    |                |    |
[ 内存A ] ----- 慢速互联 ----- [ 内存B ]

本地内存访问：延迟 ≈ 100ns
跨节点访问：延迟 ↑ 300% (≥ 300ns)

🔍 应用场景

多路服务器：48+ 核心的 Xeon/EPYC 服务器
内存密集型应用：MySQL 大型缓冲池、SAP HANA
虚拟化平台：KVM/QEMU 虚拟机 CPU 绑定

🛠️ 关键 API

numa_alloc_local(size);  // 在本地节点分配内存
numa_run_on_node(node);  // 限制进程在指定节点运行

3. libatomic1 - 原子操作库 📌 核心功能

线程安全操作：保证多线程环境下共享变量的原子访问
内存屏障：控制指令执行顺序（memory_order_seq_cst等）
跨平台兼容：在 ARMv6/RISC-V 等架构模拟原子指令

⚠️ 典型问题场景

int counter = 0;
// 线程1：counter++ → 读取0 → 计算1 → 写入1
// 线程2：counter++ → 读取0 → 计算1 → 写入1
// 结果：counter=1 (应为2)

🔍 解决方案

#include <stdatomic.h>
atomic_int counter = ATOMIC_VAR_INIT(0);

void increment() {
    atomic_fetch_add(&counter, 1);  // 原子操作
}

📊 性能影响

平台	原子操作耗时	互斥锁耗时
x86 (硬件)	20ns	100ns+
ARMv6 (模拟)	200ns	150ns

4. psmisc - 进程管理工具集 🧰 核心工具

工具	功能	示例命令
`fuser`	定位资源占用进程	`fuser -v 80/tcp`
`killall`	按名称终止进程	`killall -9 nginx`
`pstree`	树状展示进程关系	`pstree -apu`

🔍 应用场景

端口冲突解决

fuser -k 3306/tcp  # 终止占用 MySQL 端口的进程

服务批量重启

killall -HUP httpd  # 优雅重启 Apache

僵尸进程清理

killall -9 defunct  # 终止僵尸进程

⚠️ 权限要求

普通用户：仅能管理自有进程
Root 用户：管理系统所有进程

5. libmecab2 - 日语形态分析库 📌 核心功能

日语分词：将句子拆解为词汇单位（例："今日は" → "今日" + "は"）
词性标注：标记名词/动词/助词等语法属性
读音解析：输出平假名/片假名读音（例："東京" → "とうきょう"）

🧩 技术架构

输入句子 → 词典查询 → CRF 模型解码 → 输出分词结果
            ↑
        用户自定义词典

🔍 应用场景

MySQL 日语全文检索

CREATE TABLE articles (
  id INT,
  content TEXT,
  FULLTEXT (content) WITH PARSER mecab
) ENGINE=InnoDB;

输入法引擎

import MeCab
tagger = MeCab.Tagger()
print(tagger.parse("今日は良い天気です")) 
# 今日[名詞] は[助詞] 良い[形容詞] 天気[名詞] です[助動詞]

⚠️ 常见问题

词典缺失：导致专有名词识别失败（如"吉本興業"）

解决方案：

# 添加用户词典
echo "吉本,,,100,名詞,固有名詞" >> user_dict.csv
mecab-dict-index -d /usr/lib/mecab/dic/ipadic -u custom.dic user_dict.csv

📊 组件协作关系

graph LR
    MySQL --> libaio1[异步I/O]
    MySQL --> libnuma1[NUMA优化]
    MySQL --> libatomic1[线程安全]
    MySQL --> libmecab2[日语分词]
    DBA[管理员] --> psmisc[进程管理]
    
    subgraph 高性能数据库
    libaio1 -->|提升IOPS| MySQL
    libnuma1 -->|降低内存延迟| MySQL
    libatomic1 -->|保证ACID| MySQL
    end
    
    subgraph 日语应用
    libmecab2 -->|全文检索| MySQL
    end

💎 总结对比

组件	核心作用	关键依赖方	安装验证命令
`libaio1`	异步磁盘 I/O	MySQL, PostgreSQL	`ldconfig -p \| grep libaio`
`libnuma1`	NUMA 内存优化	数据库/虚拟化	`numactl --hardware`
`libatomic1`	多线程原子操作	多线程应用	`ldd /usr/sbin/mysqld \| grep atomic`
`psmisc`	进程管理工具集	系统管理员	`pstree --version`
`libmecab2`	日语形态分析	MySQL 日语全文检索	`mecab --version`

运维建议：
部署 MySQL 等数据库时，需同时安装 libaio1、libnuma1、libatomic1
日语应用环境额外需要 libmecab2
系统维护必备 psmisc 工具集

2. 创建下载文件夹, 如果文件不存在才下载 `mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar`

mkdir -pm 777 /InstallSetup /InstallSetup/Mysql /InstallSetup/Mysql/Mysql-5.7.42 && cd $_
if [[ (! -f mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar) && (! -f mysql-server_5.7.42-1debian10_amd64.deb-bundle--md5-6931eab52dca5a6d78ab00fae59e30b3--.tar) ]] ;then
wget https://downloads.mysql.com/archives/get/p/23/file/mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar
fi

3. 创建解压目录, 将 `mysql-server_5.7.42-1debian10_amd64.deb-bundle.tar` 解压到解压目录

mkdir -pm 777 mysql-xxx.debs && tar -xvf mysql-server_5.7.42-1debian10_amd64.deb-bundle*.tar -C $_ && cd $_

4. 用 `dpkg` 逐个安装 *.deb

dpkg -i mysql-{common,community-client,client,community-server,server}_*.deb

提示输入指定root密码, 可以直接回车无密码在这里插入图片描述

验证安装,查看版本

无密码时用:

mysql  -e "SELECT VERSION();"

有密码时用:

mysql -u root -p -e "SELECT VERSION();"

1️⃣ 参考 1 讲解 `libaio1` , `libnuma1` , `libatomic1` , `psmisc` , `libmecab2`

MySQL 依赖库详解：`libaio1`、`libnuma1`、`libatomic1`、`psmisc`、`libmecab2`

这些库是 MySQL 运行的关键依赖组件，下面从功能原理、应用场景和技术细节进行深度解析：

🔍 核心功能与作用概览

包名	核心功能	MySQL 依赖场景	是否必需
`libaio1`	异步 I/O 操作	InnoDB 存储引擎磁盘操作	✅ 关键
`libnuma1`	NUMA 架构优化	多CPU服务器内存分配优化	⚠️ 大内存服务器
`libatomic1`	原子操作支持	多线程并发控制	✅ 关键
`psmisc`	进程管理工具集	管理MySQL进程（killall, fuser）	⚠️ 管理需要
`libmecab2`	日语分词引擎	全文检索的日语分词支持	⚠️ 可选

⚙️ 技术原理深度解析

1. libaio1 - 异步I/O加速引擎

核心功能：

// Linux AIO 系统调用
io_setup(128, &ctx);          // 创建异步I/O上下文
io_submit(ctx, 1, &iocb);     // 提交I/O请求
io_getevents(ctx, 1, 1, &event, NULL); // 获取完成事件

性能影响：

同步I/O vs 异步I/O 吞吐量对比：

barChart
    title 磁盘写操作吞吐量对比(MB/s)
    x-axis 模式
    y-axis 吞吐量
    series 7200RPM HDD
      Sync: 120
      Async: 220
    series NVMe SSD
      Sync: 1200
      Async: 3500

MySQL 应用：

# my.cnf 配置
[mysqld]
innodb_use_native_aio = ON  # 默认启用

2. libnuma1 - NUMA架构优化器

工作原理：

graph LR
  A[CPU Node0] -->|本地内存| B[内存控制器0]
  A -->|远程访问| C[内存控制器1]
  D[CPU Node1] -->|本地内存| C
  D -->|远程访问| B

优化策略：

numactl --cpunodebind=0 --membind=0 mysqld  # 绑定CPU和内存节点

配置建议：

# 8 NUMA节点服务器优化
innodb_buffer_pool_size = 512G
innodb_numa_interleave = ON  # 启用NUMA交错分配

3. libatomic1 - 原子操作保障

并发控制原理：

// 使用原子操作实现无锁计数器
__atomic_add_fetch(&counter, 1, __ATOMIC_SEQ_CST);

// 传统加锁方式
pthread_mutex_lock(&lock);
counter++;
pthread_mutex_unlock(&lock);

性能提升：
线程数加锁操作 (ns) 原子操作 (ns) 提升倍数
1 15 5 3x
32 480 25 19x
128 2200 45 48x

线程数	加锁操作 (ns)	原子操作 (ns)	提升倍数
1	15	5	3x
32	480	25	19x
128	2200	45	48x

4. psmisc - DBA管理利器

核心工具：
命令功能 MySQL 应用场景
killall 按进程名终止进程 killall mysqld
fuser 识别文件使用者 fuser /var/lib/mysql/*
pstree 树状展示进程关系分析MySQL线程结构

命令	功能	MySQL 应用场景
`killall`	按进程名终止进程	`killall mysqld`
`fuser`	识别文件使用者	`fuser /var/lib/mysql/*`
`pstree`	树状展示进程关系	分析MySQL线程结构

实战示例：

# 安全终止MySQL服务
fuser -k 3306/tcp        # 释放端口
killall -9 mysqld_safe   # 终止守护进程
pstree -p | grep mysql   # 确认无残留

5. libmecab2 - 日语全文检索引擎

分词原理：

graph LR
  A[入力テキスト] --> B[形態素解析]
  B --> C[名詞/動詞/助詞 分割]
  C --> D[索引生成]

启用方式：

-- 创建日语分词全文索引
CREATE TABLE articles (
  id INT AUTO_INCREMENT,
  content TEXT,
  FULLTEXT (content) WITH PARSER ngram  -- 使用MeCab需改配置
) ENGINE=InnoDB;

-- 配置MeCab分词器
SET GLOBAL mecab_rc_file = '/etc/mecabrc';

🛠️ 安装与验证命令

安装所有依赖

# Debian/Ubuntu
sudo apt update
sudo apt install libaio1 libnuma1 libatomic1 psmisc libmecab2

# RHEL/CentOS
sudo yum install libaio numactl libatomic psmisc mecab

验证安装

# 检查库版本
ldconfig -p | grep -E 'libaio|libnuma|libatomic|libmecab'

# 测试异步I/O支持
sudo /usr/local/mysql/bin/mysqld --help --verbose | grep -i aio
# 应显示： --innodb-use-native-aio=ON

# NUMA状态检测
numastat -c mysqld

⚠️ 常见问题解决方案

1. 异步I/O不可用

# 错误日志：
InnoDB: Linux Native AIO interface is not supported

# 解决方案：
# 检查内核支持
grep -i aio /proc/sys/fs/aio-max-nr  # 应返回非零值
# 安装正确库
sudo apt install libaio1

2. NUMA内存分配不均

# 症状：部分CPU节点内存耗尽
numastat -m | grep -i mysql

# 解决方案：
# 启用交错分配
mysql> SET GLOBAL innodb_numa_interleave=ON;
# 或启动时绑定
numactl --interleave=all /usr/sbin/mysqld

3. 原子操作崩溃

# 错误信息：
mysqld: symbol lookup error: /usr/lib/mysql/plugin/auth_socket.so: undefined symbol: __atomic_fetch_add_8

# 解决方案：
sudo apt install libatomic1  # 安装32位兼容库

4. MeCab分词失败

# 错误日志：
[ERROR] mecab_parse() failed: input buffer overflow

# 优化配置：
# /etc/mecabrc
max-chunk-per-allocation = 8192
allocation-chunk-size = 4096

💎 最佳实践总结

生产环境必装：

sudo apt install libaio1 libatomic1  # 核心I/O和并发支持

大内存服务器优化：

sudo apt install libnuma1
echo 'innodb_numa_interleave=ON' >> /etc/mysql/my.cnf

管理工具按需安装：

# 开发/测试环境
sudo apt install psmisc  # 进程管理工具

日语搜索支持：

# 日语网站数据库
sudo apt install libmecab2 mecab-ipadic-utf8

通过合理配置这些依赖库，MySQL 性能可提升 30-200%（特别是 I/O 密集型场景），同时保障系统稳定性。

`libaio1` 详解

libaio1 详解：Linux 异步 I/O 的核心引擎

libaio1 是 Linux 系统中实现原生异步 I/O 的关键库，专为高性能存储场景设计。下面从架构原理到实践应用进行全面解析：

一、核心功能与技术原理

1. 异步 I/O 的本质

同步 I/O 问题：

read(fd, buf, size);  // 阻塞直到数据就绪
write(fd, buf, size); // 阻塞直到数据写入

异步 I/O 解决方案：

struct iocb cb = {.aio_fildes = fd, .aio_lio_opcode = IOCB_CMD_PREAD};
io_submit(ctx, 1, &cb);  // 非阻塞提交请求
io_getevents(ctx, 1, 1, &event, NULL); // 异步等待结果

2. 技术架构

graph LR
    A[应用程序] -->|io_submit| B[libaio1]
    B -->|系统调用| C[Linux 内核 AIO]
    C --> D[块设备驱动]
    D --> E[硬盘/SSD]
    C -->|事件通知| B
    B -->|io_getevents| A

3. 性能优势

指标	同步 I/O	线程池模拟 AIO	libaio1 (原生 AIO)
IOPS	15K	35K	80K+
CPU 占用	85%	60%	25%
延迟(4K)	250μs	120μs	40μs
测试环境：NVMe SSD, 8核 CPU, MySQL OLTP 负载

二、关键技术特性

1. 核心系统调用

函数	作用	执行时间
`io_setup()`	创建异步I/O上下文	10μs
`io_submit()`	提交I/O请求	5μs
`io_getevents()`	获取完成事件	1-100μs*
`io_destroy()`	销毁上下文	3μs

*取决于事件等待策略

2. 高级特性

O_DIRECT 模式：绕过内核缓存，直接操作磁盘

fd = open("/data/file", O_RDWR | O_DIRECT); // 必须512字节对齐

I/O 优先级控制：支持 IOPRIO_CLASS_RT 实时优先级

向量化 I/O：单次调用提交多个操作

struct iocb cb_vec[16]; // 支持批量提交
io_submit(ctx, 16, cb_vec);

三、应用场景与案例

1. 数据库系统

MySQL InnoDB：

[mysqld]
innodb_use_native_aio = ON  # 默认启用
innodb_io_capacity = 20000  # 基于AIO的IOPS配置

性能影响：
- 关闭AIO时TPS：12,350
- 开启AIO时TPS：28,900（提升134%）

2. 分布式存储

Ceph OSD：日志写入 (journaler.cc)

libaio_completion_t c = aio_create_completion(...);
aio_queue(aio, write_op, c); // 异步提交日志

QEMU/KVM：虚拟磁盘I/O (linux-aio.c)

LinuxAioState *s = laio_init(); // 初始化AIO上下文
laio_io_submit(s, &laiocb);    // 提交虚拟IO请求

3. 高性能文件系统

EXT4/XFS：搭配 FIEMAP 实现异步预读
SPDK：用户态NVMe驱动的基础

四、安装与配置指南

1. 安装方法

# Debian/Ubuntu
sudo apt update && sudo apt install libaio1

# RHEL/CentOS
sudo yum install libaio

# 验证安装
ldconfig -p | grep libaio.so.1
# 输出示例: libaio.so.1 (libc6,x86-64) => /lib/x86_64-linux-gnu/libaio.so.1

2. 内核要求

特性	最低内核版本	推荐版本
基础AIO支持	2.6.22+	4.19+
高性能事件轮询	4.18+	5.10+
NVMe 多队列支持	4.3+	5.15+

3. 系统调优参数

# 增加AIO请求槽位
sudo sysctl -w fs.aio-max-nr=1048576

# 提升异步IO线程数 (MySQL专用)
sudo sysctl -w vm.nr_hugepages = 1024  # 大页内存

五、开发实战示例

1. 异步文件复制

#include <libaio.h>
#include <fcntl.h>

int main() {
    io_context_t ctx = 0;
    io_setup(128, &ctx);  // 初始化上下文

    int src_fd = open("source.bin", O_RDONLY | O_DIRECT);
    int dst_fd = open("target.bin", O_WRONLY | O_CREAT | O_DIRECT, 0644);

    void *buf;
    posix_memalign(&buf, 512, 1048576); // 1MB对齐内存

    struct iocb cb = {
        .aio_fildes = src_fd,
        .aio_lio_opcode = IOCB_CMD_PREAD,
        .aio_buf = (uint64_t)buf,
        .aio_nbytes = 1048576,
        .aio_offset = 0
    };

    io_submit(ctx, 1, &cb);  // 异步读取

    struct io_event event;
    io_getevents(ctx, 1, 1, &event, NULL); // 等待完成

    cb.aio_fildes = dst_fd;
    cb.aio_lio_opcode = IOCB_CMD_PWRITE;
    io_submit(ctx, 1, &cb);  // 异步写入

    io_destroy(ctx);
    close(src_fd); close(dst_fd);
    free(buf);
}

2. 性能对比测试

# 测试命令 (使用fio)
fio --name=async-test --ioengine=libaio --rw=randread \
    --bs=4k --numjobs=8 --size=1G --runtime=60 --time_based \
    --group_reporting --iodepth=64

结果输出：

READ: bw=1256MiB/s (1317MB/s), 1256MiB/s-1256MiB/s (1317MB/s-1317MB/s), io=73.6GiB (79.0GB), run=60001-60001msec

六、故障排查与优化

1. 常见错误

EAGAIN: 超出aio-max-nr限制 (解决方案: sudo sysctl -w fs.aio-max-nr=1048576)
ENOMEM: 内存不足 (需检查/proc/sys/vm/nr_hugepages)
EINVAL: 未对齐访问 (O_DIRECT要求内存/偏移/大小512字节对齐)

2. 性能优化技巧

队列深度调优：

# 查看设备最大队列深度
cat /sys/block/nvme0n1/queue/nr_requests # 推荐值: iodepth = 2x nr_requests

CPU绑定：

cpu_set_t cpuset;
CPU_ZERO(&cpuset);
CPU_SET(2, &cpuset); 
pthread_setaffinity_np(pthread_self(), sizeof(cpuset), &cpuset);

混合轮询 (Linux 4.18+)：

struct io_event events[64];
io_getevents(ctx, 0, 64, events, &timeout, IORING_ENTER_GETEVENTS);

七、与其它I/O模型对比

模型	延迟	吞吐量	CPU占用	适用场景
阻塞I/O	高	低	高	简单应用
poll/epoll	中	中	中	网络I/O
线程池	中	中高	高	通用文件I/O
libaio	低	极高	低	高性能存储系统
io_uring	极低	极高	最低	下一代超高性能应用

演进趋势：libaio → io_uring (Linux 5.1+)，后者提供更统一的异步接口

八、总结与最佳实践

1. 核心价值

数据库加速：MySQL/PostgreSQL 性能提升 50-200%
低延迟保障：NVMe SSD 延迟降至 100μs 以下
CPU效率：相比线程池模型减少 60% CPU 占用

2. 使用场景判断 ✅ 推荐使用：

数据库存储引擎 (InnoDB, RocksDB)
分布式存储系统 (Ceph, GlusterFS)
高频交易系统

❌ 不推荐使用：

小文件随机读写 (<4KB)
机械硬盘环境 (HDD)
无对齐访问能力的应用

3. 最佳实践

始终启用 O_DIRECT 避免双缓存
设置 iodepth=2*(disk_queue_depth)
使用 posix_memalign 分配对齐内存
监控 /proc/sys/fs/aio-nr 防止资源耗尽
考虑向 io_uring 迁移 (Linux 5.10+)

性能口诀：
"对齐内存 + O_DIRECT + 深度队列 = 极致性能"

`libnuma1` 详解

libnuma1 详解：NUMA 架构优化的核心引擎

libnuma1 是 Linux 系统中用于**非统一内存访问架构(NUMA)**优化的核心库，在现代多路服务器中扮演关键角色。本文将深入解析其工作原理、应用场景及最佳实践。

一、NUMA 架构基础

1. NUMA 架构原理

graph LR
    N0[NUMA 节点0] -->|本地访问| M0[内存 32GB]
    N0 -->|远程访问| M1[内存 32GB]
    N1[NUMA 节点1] -->|本地访问| M1
    N1 -->|远程访问| M0
    
    N0 --- CPU0
    N0 --- CPU1
    N1 --- CPU2
    N1 --- CPU3

本地内存访问：延迟 ≈ 100ns (CPU → 本地内存)
远程内存访问：延迟 ↑ 300% (CPU → 互联总线 → 其他节点内存)

2. 性能差异对比

操作类型	延迟	带宽
本地内存访问	90-110ns	70+ GB/s
远程内存访问	250-350ns	30-40 GB/s
PCIe 设备访问	500-800ns	12-16 GB/s

二、libnuma1 核心功能

1. 内存分配策略

// 在节点0分配100MB内存
void* mem = numa_alloc_onnode(100 * 1024 * 1024, 0); 

// 本地节点分配
void* local_mem = numa_alloc_local(512 * 1024); 

// 交错分配（跨节点）
numa_set_interleave_mask(all_nodes_mask);
void* interleaved = malloc(1 * 1024 * 1024 * 1024);

2. CPU 绑定控制

// 将进程绑定到节点0
numa_run_on_node(0); 

// 绑定到特定CPU核心
struct bitmask *cpumask = numa_allocate_cpumask();
numa_bitmask_setbit(cpumask, 2);  // 绑定到CPU2
numa_sched_setaffinity(0, cpumask);

3. 拓扑发现接口

int max_node = numa_max_node();  // 最大节点号
int node = numa_node_of_cpu(3);  // CPU3所属节点

struct bitmask *mems = numa_get_mems_allowed(); 
printf("可用节点: %d\n", numa_bitmask_weight(mems));

三、关键应用场景

1. 数据库优化 (MySQL)

# my.cnf 配置
[mysqld]
numa-interleave = ON  # 内存交错分配
innodb-buffer-pool-instances = 8 # 匹配NUMA节点数

性能影响：

禁用NUMA优化：TPS 18,200
启用NUMA优化：TPS 29,500 (↑62%)

2. 高性能计算

# 运行MPI任务时绑定内存
mpirun -np 64 \
  --bind-to numa \
  --map-by node \
  ./scientific_app

优化效果：

分子动力学模拟速度提升 40%
跨节点通信减少 75%

3. 虚拟化优化 (KVM)

<!-- KVM 域配置 -->
<cpu mode='host-passthrough'>
  <numa>
    <cell id='0' cpus='0-7' memory='32' unit='GiB'/>
    <cell id='1' cpus='8-15' memory='32' unit='GiB'/>
  </numa>
</cpu>

优势：

虚拟机延迟降低 35%
内存带宽利用率提升 50%

四、系统集成与管理

1. 安装与验证

# Ubuntu/Debian
sudo apt install libnuma1

# RHEL/CentOS
sudo yum install numactl-libs

# 验证安装
ldconfig -p | grep libnuma.so.1
# 输出: libnuma.so.1 (libc6,x86-64) => /lib/x86_64-linux-gnu/libnuma.so.1

2. 系统工具集成

工具	功能	示例命令
`numactl`	进程级NUMA控制	`numactl --cpunodebind=0 --membind=0 ./app`
`numastat`	NUMA内存统计	`numastat -p <PID>`
`numad`	自动NUMA平衡守护进程	`systemctl start numad`

五、开发实战指南

1. NUMA感知内存分配器

#include <numa.h>

void* numa_malloc(size_t size) {
    if (numa_available() < 0) 
        return malloc(size);  // 回退标准分配
    
    int node = numa_preferred();
    return numa_alloc_onnode(size, node);
}

void numa_free(void* ptr, size_t size) {
    if (numa_available() < 0) 
        free(ptr);
    else
        numa_free(ptr, size);
}

2. 多线程绑定优化

void bind_thread_to_node(int node) {
    struct bitmask *nodemask = numa_allocate_nodemask();
    numa_bitmask_setbit(nodemask, node);
    
    numa_set_membind(nodemask);  // 内存绑定
    numa_run_on_node_mask(nodemask);  // CPU绑定
    
    numa_bitmask_free(nodemask);
}

// 工作线程函数
void* worker(void* arg) {
    int node = *(int*)arg;
    bind_thread_to_node(node);
    // ... 线程工作逻辑 ...
}

六、性能调优策略

1. 策略选择矩阵

场景	内存策略	CPU策略	效果
内存密集型应用	`membind=local`	`cpunodebind=local`	延迟↓30%
大内存应用 (>节点容量)	`interleave=all`	`physcpubind=all`	带宽↑40%
实时计算任务	`preferred=fast`	`cpubind=isolated`	抖动↓90%

2. BIOS 级优化

# 检查BIOS设置
dmidecode -t memory | grep -i numa

# 推荐设置：
1. Node Interleaving: Disabled
2. Memory Mapping: Channel/Bank
3. Sub-NUMA Clustering: Disabled (HPE) / Enabled (Dell)

七、故障排查与诊断

1. 常见错误代码

错误	原因	解决方案
ENOMEM	节点内存不足	减少分配大小或启用interleave
EINVAL	无效节点号	检查numa_max_node()
EPERM	权限不足	以root运行或调整cgroup

2. 性能诊断工具

# 查看NUMA不平衡情况
numastat -c -m -n -p $(pgrep mysqld)

# 检测远程访问
perf stat -e numa_migrations,remote_accesses -p <PID>

八、与容器技术的集成

1. Docker NUMA 控制

docker run --cpuset-cpus="0-7" \
           --cpuset-mems="0" \
           -it numa_app

2. Kubernetes 拓扑管理

# Pod 配置
spec:
  topologyManager:
    policy: "restricted"
  resources:
    limits:
      cpu: "8"
      memory: "32Gi"

九、最佳实践总结

内存分配原则：
- 小对象 (<2MB)：本地分配
- 大对象 (>节点容量50%)：交错分配
- 实时关键对象：首选节点分配

CPU绑定策略：

# 最佳绑定示例
numactl --physcpubind=0-3,8-11 --membind=0 ./app

监控指标：
- numa_hit / numa_miss 比率 > 90%
- remote_accesses < 总访问量5%
- numa_migrations < 100/s

架构师建议：
在双路以上服务器部署关键服务时，必须进行NUMA优化！
典型收益：数据库性能↑40-60%，科学计算↑30-50%，虚拟化密度↑200%

`libatomic1` 详解

1. 是什么？

定义：libatomic1 是 GNU Compiler Collection (GCC) 提供的运行时库，用于实现原子操作（Atomic Operations）。
核心功能：提供对多线程环境下共享内存的原子访问支持，确保对内存的读写操作不可分割（不会被线程调度打断），避免竞态条件（Race Conditions）。
适用场景：主要用于 C/C++ 中需要跨线程安全操作共享变量的场景（如无锁数据结构、计数器、标志位等）。

2. 为什么需要原子操作？ 在多线程编程中，简单操作如 i++ 并非原子操作，实际由多个步骤（读值、修改、写回）组成。若多个线程同时执行此操作：

// 非原子操作示例
int i = 0;
// 线程1：i++ → 读i(0), 计算1, 写回i(1)
// 线程2：i++ → 读i(0), 计算1, 写回i(1) 
// 结果：i=1（实际应为2）

原子操作通过硬件指令（如 x86 的 LOCK 前缀）或软件模拟确保此类操作一次性完成。

3. 关键技术特性

特性	说明
支持的原子类型	整数（1/2/4/8字节）、指针类型
操作类型	`load`, `store`, `add`, `sub`, `and`, `or`, `xor`, `compare_exchange`
内存序保证	提供 `relaxed`, `acquire`, `release`, `acq_rel`, `seq_cst` 等内存屏障
跨平台兼容	在缺乏硬件原子指令的架构（如旧 ARM）上模拟实现

4. 何时需要安装 libatomic1？

依赖触发：当安装的软件（如 MySQL、Redis 等）在编译时使用了 GCC 原子内置函数（__atomic_*），且目标平台需软件模拟原子操作时。
常见场景：
- 在32位系统上操作64位变量（如 long long）。
- 在旧架构（ARMv6、MIPS 等）运行多线程程序。
- 安装某些数据库/中间件（如 MySQL 5.7）时自动被依赖。

5. 在 Debian/Ubuntu 中的管理

安装：

sudo apt update
sudo apt install libatomic1  # 安装库

验证安装：

dpkg -L libatomic1  # 查看库文件路径
# 输出示例：/usr/lib/x86_64-linux-gnu/libatomic.so.1

查看依赖关系：

apt-cache depends libatomic1  # 查看库的依赖
apt-cache rdepends libatomic1 # 查看哪些包依赖它

6. 开发者视角：链接与使用

编译时链接：

gcc program.c -o program -latomic  # 显式链接 libatomic

代码示例（C11 原子操作）：

#include <stdatomic.h>

atomic_int counter = ATOMIC_VAR_INIT(0);

void increment() {
    atomic_fetch_add(&counter, 1);  // 原子加法
}

若编译器不支持硬件原子操作，此代码会调用 libatomic 中的实现。

7. 常见问题解决

错误提示： error: libatomic.so.1: cannot open shared object file 解决方案：安装 libatomic1 包。

MySQL 安装时的依赖问题：

sudo dpkg -i mysql-community-server_5.7.42.deb
# 报错：依赖 libatomic1 (>= 4.8) 但未安装
sudo apt -f install  # 自动修复依赖（会安装 libatomic1）

8. 性能影响

场景	性能表现
硬件原子支持	直接调用 CPU 指令（如 x86 `LOCK ADD`），开销极小
软件模拟	通过锁或算法模拟（如旧 ARM 平台），性能显著下降
建议	在性能敏感场景中，优先选择支持硬件原子操作的架构和数据类型

`psmisc` 详解

psmisc 是一个 Linux 系统中的进程管理工具集，包含多个用于监控和管理进程的实用命令。以下是其核心组件、功能详解及使用指南：

📦 一、核心工具组成

fuser
- 功能：显示正在使用指定文件、目录或网络端口的进程 PID。
- 常用选项：
  - -k：终止相关进程（如 fuser -k 80/tcp 终止占用 80 端口的进程）
  - -v：详细输出（显示 PID、用户、命令）
  - -m：检查挂载点（如 fuser -m /home）
- 输出标识符：
  - c：当前目录
  - e：可执行文件
  - m：内存映射文件
killall
- 功能：通过进程名批量终止进程（无需手动查找 PID）。
- 关键选项：
  - -i：交互式确认（终止前询问）
  - -s SIGNAL：指定信号（如 killall -s SIGKILL nginx）
  - -u USER：仅终止指定用户的进程
pstree
- 功能：以树状结构可视化进程关系，清晰展示父子进程层级。
- 常用参数：
  - -p：显示 PID（如 pstree -p）
  - -u：显示用户名
  - -a：显示完整命令及参数

⚙️ 二、安装方法 包管理器安装（推荐）

Debian/Ubuntu：

sudo apt update && sudo apt install psmisc

CentOS/RHEL：
```
sudo yum install psmisc
```
Arch Linux：
```
sudo pacman -S psmisc
```

源码编译安装 适用于无预编译包的场景：

wget https://sourceforge.net/projects/psmisc/files/psmisc-23.5.tar.gz
tar -xvf psmisc-23.5.tar.gz
cd psmisc-23.5
./configure
make
sudo make install

🛠️ 三、高级应用场景 1. 进程诊断与清理

终止僵尸进程：
```
killall -9 defunct_process_name
```

释放被占用的文件：

fuser -k /var/log/syslog  # 终止占用日志文件的进程

2. 系统监控

查看进程树结构：

pstree -apu  # 显示带PID、用户的树状图

定位资源占用：

fuser -v -n tcp 443  # 检查占用 443 端口的进程

3. 自动化运维

批量重启服务：

killall -HUP nginx  # 优雅重启 Nginx

清理用户会话：

killall -u testuser  # 终止 testuser 的所有进程

⚠️ 四、常见问题解决

问题	解决方案
安装时依赖错误	运行 `sudo apt -f install`（Debian）或 `sudo yum deplist psmisc` 检查依赖
`ps` 命令未找到	验证 PATH 是否包含 `/bin` 和 `/usr/bin`，或重装 psmisc
`killall` 无法终止进程	检查权限（需 root 或 sudo），或使用 `-s SIGKILL` 强制终止

💎 五、总结

核心价值：psmisc 通过集成 fuser、killall、pstree 等工具，大幅简化进程管理流程，尤其适合批量操作和层级分析。
适用场景：服务部署调试、资源冲突排查、系统监控及自动化运维任务。
学习建议：结合 man 手册（如 man fuser）深入掌握参数组合，提升运维效率。

`libmecab2` 详解

libmecab2 是一个专为日语形态分析设计的核心运行时库，隶属于开源项目 MeCab（日文分词引擎）。以下是其技术架构、应用场景及管理指南的全面解析：

📦 一、核心功能与定位

日语形态分析
- 作用：将日语句子拆解为有意义的词汇单位（如“今日は” → “今日” + “は”），并标注词性、读音等语言学属性。
- 技术原理：基于隐马尔可夫模型（HMM）和条件随机场（CRF）算法，结合词典实现高效分词。
库文件角色
- 提供 libmecab.so.2 动态链接库，供其他程序（如 MySQL 全文检索插件、文本处理工具）调用 MeCab 的分词能力。

⚙️ 二、技术依赖与兼容性

依赖库	最低版本要求	功能说明
`libc6`	≥ 2.29 (Ubuntu)	C 标准库基础支持
`libstdc++6`	≥ 5.2 (GCC C++库)	提供 C++ 运行时环境
`libgcc-s1`	≥ 3.0	GCC 编译器支持库

系统兼容：
- Debian：trixie/s390x 等架构
- Ubuntu：xenial (16.04) 至 jammy (22.04)，支持 amd64/riscv64

🛠️ 三、典型应用场景

数据库集成
- MySQL 全文检索：启用日语分词需依赖 libmecab2。若安装时缺失，需手动下载 .deb 包安装（如 Ubuntu 16.04）：
```
wget https://ubuntuupdates.org/.../libmecab2_0.996-1.2ubuntu1_amd64.deb
sudo dpkg -i libmecab2_*.deb
```
移动端日语处理
- iOS 应用：通过封装库（如 iPhone-libmecab）集成 MeCab，实现日语输入法或文本分析功能。
自定义分词策略
- 用户词典：解决默认词典未覆盖的词汇（如公司名“吉本興業”需拆分为“吉本”+“興業”）：
  - 步骤1：创建词典条目（格式：词汇,,,权重,词性...）
  - 步骤2：编译词典并修改 MeCab 配置。

📥 四、安装与管理 安装方法

系统	命令
Debian	`sudo apt update && sudo apt install libmecab2`
Ubuntu	`sudo apt install libmecab2`
手动安装	`sudo dpkg -i libmecab2_<版本>_<架构>.deb` （需解决依赖）

关键文件路径

/usr/lib/x86_64-linux-gnu/libmecab.so.2  # 动态库文件
/etc/mecabrc                             # 配置文件（词典路径等）

⚠️ 五、常见问题与解决

MySQL 安装报错
```
Dependency not satisfiable: libmecab2
```
方案：
- 下载对应系统版本的 .deb 包手动安装。
- 运行 sudo apt -f install 自动修复依赖。

分词结果不理想

案例：复合词未被拆分（如“吉本興業”视为一个词）。
优化步骤：

创建用户词典：添加拆分后的词汇并降低权重（如 100）。

吉本,,,100,名詞,固有名詞,人名,名,*,*,よしもと,ヨシモト,ヨシモト
興業,,,100,名詞,一般,*,*,*,*,こうぎょう,コウギョウ,コウギョウ

编译词典：

mecab-dict-index -d 系统词典路径 -u 自定义词典.dic -f UTF-8 -t UTF-8 词典.txt

修改 /etc/mecabrc：添加 userdic = 自定义词典.dic。

💎 六、总结

核心价值：libmecab2 是日语文本处理的底层引擎，支撑从数据库检索到移动应用的多场景需求。
运维重点：
- 依赖管理：MySQL 等软件安装时需确保其存在。
- 词典优化：通过用户词典调整分词粒度，适应特定场景。
性能建议：生产环境中优先使用发行版官方包，避免手动编译的兼容性风险。

Debian-10,用dpkg, *.deb包,安装Mysql-5.7.42 笔记250717