CVHub

随着ChatGPT的病毒式传播，生成式人工智能(AIGC, a.k.a AI-generated content）因其分析和创造文本、图像、视频以及其他方面的出众能力而俨然成为当下最火热的投资赛道。

本文介绍了一种名为LLaMA-Adapter的轻量级适配方法，仅引入1.2M可学习参数，微调一小时即可将LLaMA调整为一个支持下游任务的良好模型，同时支持多模态（文本与图像）输入。

一个高效的混合编码器，通过解耦内部尺度交互和跨尺度融合来高效地处理多尺度特征，并提出了 IoU 感知的查询选择来改进目标查询的初始化。此外，RT-DETR 支持使用不同的解码器层来灵活调整推断速度。

导读 特征金字塔网络现代识别系统中的一种基础网络结构，可有效地用于检测不同尺度的物体。PANet 提出了一种额外的自下而上路径，使高级特征图也可以从低级特征图中获得足够的细节信息。

这篇论文讨论了一种称为 CLIP-Pixels Only（CLIPPO）的多模式模型，它是一个纯基于像素的模型，可以用来执行图像、文本和多模式任务。

在这项工作中，作者结合 CNN+Transformer 设计了一种简单而有效的混合网络结构 CASTformer 并用于 2D 的医学图像分割。

ViT 是一种通过将图像切割成一个个小方块(patch)将图像转换为序列从而输入到Transformer网络进行训练和推理的一种神经网络架构。

随着 ViT 的出现，Transformer 模型在计算机视觉领域遍地开花，一层激起一层浪。虽然精度很高，但被人广为诟病的依旧是它的效率问题，说人话就是这东西压根不好部署在移动端。

这篇论文提出了一种名为Semi-CML的多模态半监督分割框架。该框架使用未标记的多模态数据进行互相监督学习来实现准确的医学图像分割。

开放世界目标检测其实是一个相对来说比较少人关注的领域，其旨在不限定特定目标类别的情况下，对图像中的所有目标进行检测。

这篇论文主要讲述了一种名为 UNETR++ 的 3D 医学图像分割方法，它提供了高质量的分割结果，并具有高效的参数和计算成本。

稳定扩散模型(Stabel diffusion model)是扩散模型的一种，凭借着生成高质量图像并具有高度定制性而闻名。它通过使用扩散的数学模型来生成具有独特抽象外观的图像来实现这一点。

本文着重讨论了如何使用扩散模型来进行图像编辑的问题。之前的工作已经证明了扩散模型在条件图像生成方面具有很强的能力，例如文本指导的图像合成。

这篇论文提出了一种名为UniNeXt的统一架构，通过将空间令牌混合器与其他组件相结合，增加了网络的归纳偏差。

近日，南方科技大学 VIP 实验室开源了一款基于 SAM 的跟踪模型——Track-Anything，可以轻松地对视频中感兴趣的目标进行标注、跟踪和一键隐藏。

本文继而提出了三个有用的基于 CEC 的模块。其中，CECM 和 Self-CECM 用于生成更具区分度的特征表示，CECD 距离度量获得可靠的相似性图。

AI for science 比如跟大气气象有关的天气预报，物理分子有关的分子动力学，生物相关的多组学疾病分析，知友们觉得哪个更好？

在这项研究中，作者构建了一个中文对话场景的医疗问诊测试集，并将HuaTuo与其他三个基准模型进行了比较。