【GitHub每日速递 20260420】谷歌放大招！开源生产级边缘大模型框架LiteRT-LM支持Gemma4，跨全平台硬件加速，还能部署到Chrome、Pi

AI_Tech
0 阅读4分钟

谷歌放大招！开源生产级边缘大模型框架LiteRT-LM支持Gemma4，跨全平台硬件加速，还能部署到Chrome、Pixel Watch！

[LiteRT-LM] 是一个 轻量级、高效的大型语言模型推理框架 的 C++库。简单讲，它能让大模型在手机或嵌入式设备等低资源环境下快速运行。适用人群：边缘计算开发者、移动端AI工程师

项目地址：github.com/google-ai-e…

主要语言：C++

stars: 2.9k

1

仓库基本信息

LiteRT-LM是谷歌推出的一个高性能、开源推理框架，可用于在边缘设备上部署大语言模型。

最新动态

支持使用LiteRT-LM部署Gemma 4，能在多种硬件上实现出色性能。可在Linux、macOS、Windows（WSL）或树莓派上通过LiteRT-LM CLI进行尝试，示例命令如下：

litert-lm run  \
   --from-huggingface-repo=litert-community/gemma-4-E2B-it-litert-lm \
   gemma-4-E2B-it.litertlm \
   --prompt="What is the capital of France?"

核心功能

  • 跨平台支持：支持Android、iOS、Web、桌面和物联网设备（如树莓派）。
  • 硬件加速：通过GPU和NPU加速器实现峰值性能。
  • 多模态支持：支持视觉和音频输入。
  • 工具使用：支持函数调用，适用于智能工作流。
  • 广泛的模型支持：支持Gemma、Llama、Phi - 4、Qwen等多种模型。

应用场景

该框架已应用于谷歌的多款产品，为Chrome、Chromebook Plus、Pixel Watch等设备提供设备端生成式AI体验。用户还可以通过Google AI Edge Gallery应用在设备上立即运行模型。

快速开始

  • 关键链接

  • 快速尝试（无需代码） ：可使用uv在终端中立即尝试LiteRT-LM，示例命令如下：

uv tool install litert-lm

litert-lm run \
  --from-huggingface-repo=google/gemma-3n-E2B-it-litert-lm \
  gemma-3n-E2B-it-int4 \
  --prompt="What is the capital of France?"

支持的语言API

语言状态适用场景文档
Kotlin✅ 稳定Android应用和JVMAndroid (Kotlin) Guide
Python✅ 稳定原型设计和脚本编写Python Guide
C++✅ 稳定高性能原生开发C++ Guide
Swift🚀 开发中原生iOS和macOS(Coming Soon)

从源码构建

可参考指南从源码编译LiteRT-LM。若要从源码构建程序，应检出稳定的最新版本标签。

版本发布

  • v0.10.1：以出色性能部署Gemma 4，并引入LiteRT-LM CLI。
  • v0.9.0：改进函数调用功能，提升应用性能稳定性。
  • v0.8.0：支持桌面GPU和多模态。
  • v0.7.0：为Gemma模型提供NPU加速。

完整的版本发布列表可查看GitHub Releases。

Python打造的短视频神器！自动生成Reddit爆款视频，零剪辑轻松蹭百万播放

[RedditVideoMakerBot] 是一个 自动将Reddit帖子转为短视频 的 工具。简单讲，它能帮你把Reddit上的热门内容一键生成视频，省去手动剪辑的麻烦。适用人群：内容创作者、短视频运营者、Reddit爱好者

项目地址：github.com/elebumm/Red…

主要语言：Python

stars: 10.4k

2

项目概述

Reddit Video Maker Bot 是一个由 Lewis Menelaws 和 TMRRW 开发的项目，它可以自动化生成基于 Reddit 内容的视频，无需进行视频编辑或资产编译，完全依靠编程实现。

核心功能

  • 自动从 Reddit 抓取内容，生成视频文件。
  • 允许用户选择背景音乐、指定 Reddit 线程、选择背景、选择子版块、更改语音等。
  • 具备检查视频是否已创建、NSFW 帖子过滤、支持明暗模式等功能。

优势

  • 节省时间和精力，无需手动编辑和收集素材。
  • 代码经过简化，便于不同技能水平的开发者参与贡献。
  • 提供了详细的安装和配置指南，降低使用门槛。

应用场景

  • 内容创作者可以利用该工具快速生成吸引人的视频，发布到 TikTok、YouTube、Instagram 等平台。
  • 开发者可以在此基础上进行二次开发，扩展功能。

安装步骤

  1. 克隆仓库：
git clone https://github.com/elebumm/RedditVideoMakerBot.git
cd RedditVideoMakerBot

  1. 创建并激活虚拟环境：

    1. Windows：
python -m venv ./venv
.\venv\Scripts\activate

- macOS 和 Linux：

python3 -m venv ./venv
source ./venv/bin/activate
  1. 安装依赖：
pip install -r requirements.txt
  1. 安装 Playwright 及其依赖：
python -m playwright install
python -m playwright install-deps
  1. 运行脚本：
python main.py
  1. 访问 Reddit Apps 页面，设置一个 "script" 类型的应用，并在重定向 URL 字段粘贴任意 URL。
  2. 按照提示填写连接 Reddit API 的详细信息，并根据喜好配置机器人。

注意事项

  • 目前该仓库不会通过机器人上传内容，生成的文件需要手动上传，以避免社区准则问题。
  • 若安装或运行过程中遇到错误，可尝试使用 python3 或 pip3 替代 python 或 pip。

原文：mp.weixin.qq.com/s/SdRyI_84l…

欢迎关注公zh：AI Tech研习社

关注公zh，后台回复【OpenClaw完全使用手册】，领取OpenClaw完全使用手册.pdf学习资料，更多学习资源敬请期待。

avatar
文章
阅读
粉丝