字节跳动开源!超好用的视频抠图工具;GitHub开源项目维护协作指南;自动化数据清洗工具包;强化学习入门教程;前沿论文 | ShowMeAI资讯日报

·  阅读 5643
字节跳动开源!超好用的视频抠图工具;GitHub开源项目维护协作指南;自动化数据清洗工具包;强化学习入门教程;前沿论文 | ShowMeAI资讯日报

持续创作,加速成长!这是我参与「掘金日新计划 · 10 月更文挑战」的第1天,点击查看活动详情

👀日报合辑 | 📆电子月刊 | 🔔公众号下载资料 | 🍩@韩信子

工具&框架

🚧 『Deforum Stable Diffusion Local Version』Deforum Stable Diffusion本地版,可生成动画

github.com/HelixNGC729…

space.bilibili.com/176003

文本提示作画工具。本代码库实现是本地版本的Deforum Stable Diffusion V0.4,支持txt设置文件输入和动画功能!

🚧 『Robust Video Matting (RVM)』强大稳定的视频抠图

github.com/PeterL1n/Ro…

peterl1n.github.io/RobustVideo…

由字节跳动开发的强大稳定的视频抠图工具,本代码库也是论文《Robust High-Resolution Video Matting with Temporal Guidance》的官方代码资料库。RVM是专门为稳健的人类视频消融而设计的。与现有的将帧作为独立图像处理的神经模型不同,RVM使用一个循环神经网络来处理具有时间记忆的视频。RVM可以在没有额外输入的情况下对任何视频进行实时消解。它在Nvidia GTX 1080 Ti GPU上实现了4K 76FPS和HD 104FPS。

🚧 『LCE』高性能、可扩展且用户友好的机器学习方法,适用于分类和回归的一般任务

github.com/LocalCascad…

lce.readthedocs.io/en/latest/

Local Cascade Ensemble (LCE)是一种高性能、可扩展和用户友好的机器学习方法,用于分类和回归的一般任务。它具备以下特性:

  • 通过结合随机森林和XGBoost的优势并采用互补的多样化方法,提高了预测性能
  • 支持并行处理以确保可扩展性
  • 通过设计处理缺失值数据
  • 采用Scikit-Learn的API,便于使用
  • 支持与Scikit-Learn管道和模型选择工具互动

🚧 『AutoClean』自动化数据预处理/数据清洗工具包

github.com/elisemercur…

AutoClean 是一个 Python 工具库,它以自动化的方式对 Python 中的数据进行预处理和清理,帮助您节省时间。AutoClean支持:

  • 处理重复的数据
  • 各种缺失值的估算填充方法
  • 处理异常值
  • 类别型数据的编码
  • 提取时间型数据值

🚧 『HIA (Histopathology Image Analysis)』组织病理学图像端到端AI分析工具

github.com/KatherLab/H…

该资源库包含了 Python 实现的用于组织病理学图像端到端人工智能的一般工作流程。HAI 解决弱监督问题(常见的标签是癌症的分子亚型、二值化的临床结果或治疗反应),使用 Python 和 PyTorch 实现,具有高度的可扩展性,并在多个临床相关问题中得到了广泛的验证。

博文&分享

👍 『RLcode』白话强化学习

github.com/louisnino/R…

zhuanlan.zhihu.com/p/111869532

RLcode 项目是一个强化学习教程,作者以尽量易懂的方式讲解了强化学习原理知识和实现代码。

第一部分:概念

  • 马尔科夫链
  • Q值和V值
  • 用蒙地卡罗方法(Monte-Carlo)估算V值
  • 用时序差分TD估算状态V值

第二部分:核心算法(附代码)

  • Qlearning算法
  • 深度神经网络
  • DQN算法
  • Double DQN
  • 策略梯度(Policy Gradient)
  • Actor-Critic
  • argparse模块
  • PPO算法
  • DDPG算法
  • TD3算法

👍 『How To Start Open Source』GitHub 开源项目维护协作指南

github.com/eryajf/HowT…

eryajf.github.io/HowToStartO…

这是一份 GitHub 新手教程,从零开始讲解如何创建与维护一个GitHub开源项目,帮你稳稳渡过新手期。完整教程包含三个部分『基础内容 』『GitHub-Actions』『GitHub-Tips』,具体文章目录如下,看看是否有你需要的内容:

基础内容

  • 基础配置
  • 个人维护流程
  • 协同开发流程
  • PR与issue的联动维护
  • 如何将个人的GitHub主页配置的优雅好看
  • issue与pr模板的配置及应用

GitHub-Actions

  • 自动为README添加TOC目录
  • 自动将项目贡献者列表添加到README中
  • 自动优雅地为项目构建Releases
  • 自动获取博客rss文章
  • 自动构建兼容多CPU架构的docker镜像并发布到DockerHub
  • 自动执行代码扫描预检查等工作
  • 自动生成GitHub的Fans
  • 自动生成个人star列表并归类
  • 自动获取项目当前star与fork写到Description
  • 自动对仓库内图片进行无损压缩
  • 自动检测项目中的问题链接

GitHub-Tips

  • 如何将README中的表格居中显示
  • 如何在一台电脑上配置多个GitHub账号
  • 如何将多次提交合并为一次
  • 阅读代码运行代码的技巧
  • 使用GitHub键盘快捷键汇总
  • 个人开源项目推介平台汇总整理
  • 如何给GitHub-Pages绑定自定义域名
  • 如何处理文件名变换大小写在Git无法提交的问题

数据&资源

🔥 『Awesome Control Theory』控制论相关资源列表

github.com/A-make/awes…

控制理论是应用数学的一个分支,涉及驱动动力学系统的控制策略的设计。控制工程是一个跨学科领域,将控制理论应用于工厂,航空航天,机器人技术等广泛的系统。

研究&论文

公众号后台回复关键字 日报,免费获取整理好的论文合辑。

科研进展

  • 2022.09.19 『3D人体姿势预估』 D&D: Learning Human Dynamics from Dynamic Camera
  • 2022.09.18 『姿态预估』 LATITUDE: Robotic Global Localization with Truncated Dynamic Low-pass Filter in City-scale NeRF
  • 2022.09.16 『决策』 FairGBM: Gradient Boosting with Fairness Constraints

⚡ 论文:D&D: Learning Human Dynamics from Dynamic Camera

论文时间:19 Sep 2022

领域任务:3D Human Pose Estimation, Human Dynamics,3D人体姿势预估

论文地址arxiv.org/abs/2209.08…

代码实现github.com/jeff-sjtu/d…

论文作者:Jiefeng Li, Siyuan Bian, Chao Xu, Gang Liu, Gang Yu, Cewu Lu

论文简介:In this work, we present D&D (Learning Human Dynamics from Dynamic Camera), which leverages the laws of physics to reconstruct 3D human motion from the in-the-wild videos with a moving camera./在这项工作中,我们提出了D&D(从动态摄像机中学习人类动态),它利用物理定律,从带有移动摄像机的野外视频中重建三维人类运动。

论文摘要:从单目视频中进行的三维人体姿势估计最近有了很大的改进。然而,大多数最先进的方法都是基于运动学的,容易出现物理上不可信的运动和明显的伪影。目前基于动力学的方法可以预测物理上可信的运动,但只限于静态摄像机视角的简单场景。在这项工作中,我们提出了D&D(从动态摄像机中学习人类动力学),它利用物理定律,从带有移动摄像机的野外视频中重建三维人类运动。D&D引入了惯性力控制(IFC),通过考虑动态摄像机的惯性力来解释非惯性局部框架中的人类三维运动。为了在有限的注释下学习地面接触,我们开发了概率接触力矩(PCT),它通过对接触概率的可区分采样计算,并用于产生运动。通过鼓励模型产生正确的运动,可以对接触状态进行弱监督。此外,我们提出了一个贴心的PD控制器,它利用时间信息调整目标姿势状态,以获得平滑和准确的姿势控制。我们的方法完全是基于神经的,运行时无需离线优化或在物理引擎中模拟。在大规模三维人体运动基准上的实验证明了D&D的有效性,在那里我们表现出比最先进的基于运动学和基于动力学的方法更好的性能。代码可在 github.com/Jeffsjtu/Dn… 获取。

⚡ 论文:LATITUDE: Robotic Global Localization with Truncated Dynamic Low-pass Filter in City-scale NeRF

论文时间:18 Sep 2022

领域任务:Pose Prediction,姿态预估

论文地址arxiv.org/abs/2209.08…

代码实现github.com/jike5/LATIT…

论文作者:Zhenxin Zhu, Yuantao Chen, Zirui Wu, Chao Hou, Yongliang Shi, Chuxuan Li, Pengfei Li, Hao Zhao, Guyue Zhou

论文简介:In this paper, we present LATITUDE: Global Localization with Truncated Dynamic Low-pass Filter, which introduces a two-stage localization mechanism in city-scale NeRF./在本文中,我们介绍了LATITUDE。全局定位与截断动态低通滤波器,它在城市规模的NeRF中引入了一个两阶段的定位机制。

论文摘要:神经辐射场(NeRFs)在表现复杂的三维场景方面取得了巨大的成功,具有高分辨率的细节和高效的内存。然而,目前基于NeRF的姿态估计器没有初始姿态预测,在优化过程中容易出现局部优化。在本文中,我们提出了LATITUDE。全球定位与截断动态低通滤波器,它在城市规模的NeRF中引入了一个两阶段的定位机制。在位置识别阶段,我们通过训练过的NeRFs生成的图像训练一个回归器,为全局定位提供一个初始值。在姿态优化阶段,我们通过直接优化切平面上的姿态,使观察到的图像和渲染的图像之间的残差最小。为了避免收敛到局部最优,我们引入了截断动态低通滤波器(TDLF)用于粗到细的姿势注册。我们在合成和真实世界的数据上评估了我们的方法,并展示了它在大规模城市场景中高精度导航的潜在应用。代码和数据将在 github.com/jike5/LATIT… 上公开。

⚡ 论文:FairGBM: Gradient Boosting with Fairness Constraints

论文时间:16 Sep 2022

领域任务:Decision Making, Fairness,决策公平

论文地址arxiv.org/abs/2209.07…

代码实现github.com/feedzai/fai…

论文作者:André F Cruz, Catarina Belém, João Bravo, Pedro Saleiro, Pedro Bizarro

论文简介:Machine Learning (ML) algorithms based on gradient boosted decision trees (GBDT) are still favored on many tabular data tasks across various mission critical applications, from healthcare to finance./基于梯度提升决策树(GBDT)的机器学习(ML)算法在从医疗到金融等各种关键任务的许多表格数据任务中仍然受到青睐。

论文摘要:基于梯度提升决策树(GBDT)的机器学习(ML)算法在从医疗到金融等各种关键任务的许多表格数据任务中仍然受到青睐。然而,GBDT算法并非没有偏见和歧视性决策的风险。尽管GBDT很受欢迎,而且公平ML的研究步伐很快,但现有的处理中公平ML方法要么不能适用于GBDT,要么会产生大量的训练时间开销,要么不足以解决类不平衡度高的问题。我们提出了FairGBM,一个在公平约束下训练GBDT的学习框架,与无约束的LightGBM相比,对预测性能几乎没有影响。由于常见的公平性指标是不可分的,我们采用了一个 "代理-拉格朗日 "的表述,使用平滑的凸形错误率代理来实现基于梯度的优化。此外,与相关工作相比,我们的开源实现显示了训练时间的数量级加快,这是促进现实世界从业者广泛采用FairGBM的一个关键方面。

我们是 ShowMeAI,致力于传播AI优质内容,分享行业解决方案,用知识加速每一次技术成长!

◉ 点击 日报合辑,在公众号内订阅话题 #ShowMeAI资讯日报,可接收每日最新推送。

◉ 点击 电子月刊,快速浏览月度合辑。

收藏成功!
已添加到「」, 点击更改