nvdev
NVIDIA
获得徽章 0
NVIDIA 企业开发者社区
- 8月27日 - 如何开启 AI 职业生涯，业内人士为您解答（学生专场）
加入本专题讨论会，和我们一起探讨如何促进 AI 及其他先进技术领域职业发展。我们的嘉宾将分享他们独特的职业旅程、宝贵的见解，以及在这 AI 时代里取得成功的秘诀和窍门。
立即注册：
www.nvidia.cn 展开评论点赞 - 使用 #LLM 应用程序进行长时间聊天是否导致内存溢出？
我们的资深工程师和 MIT 教授 Song Han 已经研发并整合了 StreamingLLM 到 #TensorRT LLM v0.8。
点击下方链接在 GPU 环境的 Jupyter notebook 上用 Mistral 7B 实现 StreamingLLM 编程。console.brev.dev 展开
评论点赞 - 你知道吗？你可以像 #ChatWithRTX 那样构建基于 TensorRT-LLM 的 RAG(检索增强生成)项目，完全在本地 RTX Windows PC 上运行。
* 无需云服务
* 随时随地可用
* 本地数据存储
* 高性能执行
支持最新的 #LLMs #大语言模型
参考项目github.com 展开评论点赞 - 高性能 #generativeAI 清单：
大语言模型………………#Mistral
优化工具…………………#TensorRT-LLM
量化精度…………………FP8
点击链接进行量化与编程实际操作：console.brev.dev
一个配备 GPU 的 notebook 脚本准备好了等待您的操作。#LLMs展开
2点赞 - #聊一聊 AIGC# TensorRT-LLM API应用 — 加速大模型推理
利用简单易用的TensorRT-LLM API与NVIDIA GPU算力，亚马逊将其在生成式Ai工具的推理效率提高了2倍，并将推理延迟减少了3倍
等人赞过 评论5 - 【官宣】NVIDIA 周二 TensorRT-LLM 日
您知道 TensorRT-LLM 每周二都会有新的主推吗?
TensorRT-LLM 为用户提供了易于使用的 Python API 来定义大型语言模型 (LLM) 并构建包含最先进优化的 TensorRT 引擎，以便在 NVIDIA GPU 上高效地执行推理。
源代码:github.com 展开
等人赞过 评论5
www.nvidia.cn
