文本转语音TTS模型部署时UniDic(日语分词包)无法下载问题

566 阅读2分钟

MeCab日语分析器 UniDic 本地配置实战:从 Windows 下载到 Linux 全路打通

在部署日语文本分析或 TTS 系统时,通常需要 MeCab 配合 UniDic 进行分词。然而因网络限制,不容易直接下载,本文将分享如何手动安装 UniDic,并解决 MeCab 无法识别词典的异常问题,适合进行系统实际部署的各位同学。

问题述明

当运行 MeCab,或者基script (import MeCab)时,出现错误:

 RuntimeError:
 [ifs] no such file or directory: .../unidic/dicdir/mecabrc

这表示 MeCab 找不到正确的 dicdir 或 mecabrc 配置文件,并非 code 本身错误,而是 UniDic 没有正确装好。

本地下载 UniDic 词典

Windows 下预处理

在 Windows 上可以通过 GitHub 类似项目或备份下载 [UniDic Bin]文件,并手动解压成相关目录,包括:

 char.bin
 matrix.bin
 model.bin
 sys.dic
 unk.dic
 version
 dicrc

注意: 部分旧版 UniDic 可能缺失 mecabrc 文件,可手动创建:

 # ~/.mecabrc
  dicdir = /absolute/path/to/unidic

通过 SCP 传送到 Linux

在 Windows 上用迁移工具:

 scp -r unidic your-user@linux-ip:~/tts/melotts/MeloTTS/

保证 Linux 目录下有:

 ~/tts/melotts/MeloTTS/unidic/

MeCab 无法识别 dicdir 问题解决

断点分析

MeCab 第一位默认请求路径:

 $CONDA_PREFIX/lib/python3.9/site-packages/unidic/dicdir

但这里的 dicdir 是空的,或说不包含 mecabrc,就会异常。

##给 unidic 创建连接

 cd $CONDA_PREFIX/lib/python3.9/site-packages/unidic
 ln -s /home/awit/.conda/envs/melotts-env/lib/python3.9/site-packages/unidic_lite/dicdir dicdir

或者按照本地安装位置,将 Windows 上 unidic 手动传送后连接迁移过来

配置 ~/.mecabrc

 # ~/.mecabrc
  dicdir = /home/awit/.conda/envs/melotts-env/lib/python3.9/site-packages/unidic_lite/dicdir

加入环境变量

 export MECABRC=~/.mecabrc

永久生效

 echo 'export MECABRC=~/.mecabrc' >> ~/.bashrc

效果验证

 python -c "import MeCab; print(MeCab.Tagger().parse('テスト'))"

如果返回 EOS或正确的分词结果,则表示配置成功!

可选优化: 解耦 httpx[socks] 需要 socksio

如果有 proxy + huggingface 需求需要:

 pip install socksio

总结

这套配置方案,避免了 online 下载失败,解决 MeCab 无法识别 dicdir 的基础性问题,并适合在关网环境下手动搭建的任何 TTS/文本处理项目。

只要这些步骤部署到位,MeCab + UniDic 配置问题一次性解决。