❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
多语言支持：能理解和生成39种不同语言的文本。
多模态理解：除文本外，能处理和理解图像。
跨文化覆盖：在训练中包含与文化相关的多模态任务。
正文（附运行示例）
Pangea 是什么
Pangea是由卡内基梅隆大学团队推出的多语言多模态大型语言模型（LLM），旨在提升全球语言和文化多样性的覆盖。模型包含600万条指令的多样化数据集，支持39种语言，包含高质量英文指令、机器翻译指令及文化相关任务。
Pangea基于包含14个数据集、覆盖47种语言的PangeaABench评估套件进行性能评估。Pangea在多语言和文化背景下的性能超越现有开源模型（如Llava-1.5-7B、Llava-Next-7B）。研究发现英语数据比例、语言流行度和多模态训练样本数量对性能有显著影响。
Pangea 的主要功能
- 多语言支持：能理解和生成39种不同语言的文本，在多语言交流和处理中非常有用。
- 多模态理解：除文本外，能处理和理解图像，在图像描述、视觉问答等任务中表现出色。
- 跨文化覆盖：在训练中包含与文化相关的多模态任务，有助于模型更好地理解和适应不同文化背景。
- 高质量指令遵循：Pangea在训练中使用高质量的英文指令，及经过精心机器翻译的指令，确保模型在不同语言中的准确性和一致性。
Pangea 的技术原理
- 数据集构建：基于Pangea数据集，一个包含600万条指令的多语言数据集，覆盖39种语言。
- 机器翻译：为解决多语言数据的稀缺问题，用机器翻译技术将高质量英文指令翻译成其他语言。
- 文化相关任务：在训练中包含与文化相关的多模态任务，提高模型对文化差异的理解和适应性。
- 评估套件：PangeaABench是包含14个数据集、覆盖47种语言的评估套件，用在全面评估模型在多语言和多模态任务中的表现。
- 模型架构：基于LLaVA-Next架构，用Qwen2-7B-Instruct作为语言模型的骨干，为模型提供强大的语言理解和生成能力。
如何运行 Pangea
设置环境
- 克隆仓库：使用Git克隆仓库到本地环境。
git clone https://github.com/neulab/Pangea.git
- 安装依赖：确保安装了所需的依赖。
cd Pangea/train/LLaVA-NeXT
pip install -e ".[train]"
运行示例
在安装了所需包后，可以运行示例Python代码来使用Pangea-7B。
cd Pangea/predict
python predict_all.py # 可以评估多模态输入和纯文本输入
python predict_multimodal.py # 可以评估多模态输入
python predict_text_only.py # 可以评估纯文本输入
资源
- 项目官网：neulab.github.io/Pangea/
- GitHub 仓库：github.com/neulab/Pang…
- HuggingFace 模型库：huggingface.co/collections…
- arXiv 技术论文：arxiv.org/pdf/2410.16…
- 在线体验Demo：huggingface.co/spaces/neul…
❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
