多模态资源整理

OpenCompass mmbench.opencompass.org.cn/leaderboard

gitHub : github.com/open-compas…

论文：arxiv.org/pdf/2307.06…

中文文档：opencompass.readthedocs.io/zh-cn/lates…

榜单：opencompass.org.cn/home

LVLM-EHub

gitHub: github.com/OpenGVLab/M…

论文：arxiv.org/pdf/2306.09…

体验：vlarena.opengvlab.com/

FlagEval flagopen.baai.ac.cn/#/home/proj…

gitHub: github.com/FlagOpen/Fl…

多模态数据集

github.com/BradyFU/Awe…

MME

论文：arxiv.org/pdf/2306.13…

gitHub: github.com/BradyFU/Awe…

OwlEval

论文：arxiv.org/pdf/2304.14…

开源：github.com/X-PLUG/mPLU…

DEMON

论文：arxiv.org/pdf/2308.04…

开源： github.com/DCDmllm/Che…

LAMM Dataset

GitHub: github.com/OpenGVLab/L…

数据集： opendatalab.com/LAMM/LAMM/t…

论文： arxiv.org/pdf/2306.06…

MM-Vet

GitHub : github.com/yuweihao/MM…

榜单： paperswithcode.com/sota/visual…

论文： arxiv.org/pdf/2308.02…

SEED-Bench

开源： github.com/AILab-CVC/S…

论文： arxiv.org/pdf/2307.16…

M3Exam

开源： github.com/DAMO-NLP-SG…

论文： arxiv.org/pdf/2306.05…

数据集：drive.google.com/file/d/1eRE…

AMBER多模态视觉幻觉

gitHub : github.com/junyangwang…

论文： arxiv.org/pdf/2311.07…

数据集 ： drive.google.com/file/d/1MaC…

CogVLM   gitHub: github.com/THUDM/CogVL…

NExT-GPT github.com/NExT-GPT/NE…

LLaMA-Adapter github.com/OpenGVLab/L…

Qwen-VL github.com/QwenLM/Qwen…

Macaw-LLM github.com/lyuchenyang…

Otter github.com/Luodian/Ott…

Video-LLaMA github.com/DAMO-NLP-SG…

Lynx github.com/bytedance/l…

PandaGPT github.com/yxuansu/Pan…

VisualGLM-6B github.com/THUDM/Visua…

VideoChat github.com/OpenGVLab/A…

InternLM-XComposer github.com/InternLM/In…

MiniGPT-4 github.com/Vision-CAIR…

mPLUG-Owl github.com/X-PLUG/mPLU…

cogvlm github.com/THUDM/CogVL…

MUGE tianchi.aliyun.com/muge

llava1.5 github.com/haotian-liu…