《NVIDIA TensorRT Stable Diffusion创作加速指南》是火星时代教育为AI设计爱好者和创作者基于RTX 40 系GPU提升Stable Diffusion创作效率的实操性教程。指南包括:安装与设置,加速引擎构建,加速效果对比以及NVIDIA TensorRT在实际商业创作场景的应用(海报设计、电商设计、室内效果图设计、插画设计),帮助使用者在创作过程中借助详细教程和加速工具实现商业创意落地,提升创作效率。指南由火星时代教育AI设计教研团队主要研发,NVIDIA 技术团队提供技术上的支持,未来将根据应用软件版本优化并迭代升级。
火星时代教育创始人王琦表示:“火星时代是 NVIDIA Studio 中国区生态合作伙伴,双方一同探索AI软件在设计流程中的辅助作用,并在火星影视学院部分专业引入NVIDIA Studio AI应用做教学试点,在2023年共同开发AI设计方向创作加速的公开课,此次联合发布《NVIDIA TensorRT加速Stable Diffusion创作加速指南》是火星时代和NVIDIA聚焦‘科技+教育’在设计领域的积极实践,充分激发学习者对于科技发展的关注,拥抱AI前沿技术,为个人效率加速,为商业创作赋能。”
使用吐司基准测试完整LoRA模型在Stable Diffusion的训练性能,还对不相同的型号RTX 40系显卡和笔记本电脑GPU在Stable Diffusion任务中的性能做全面评估,旨在为AIGC爱好者在后期LoRA模型训练和设备选择时给予参考。
AI模型平台吐司/Tensor.Art 创始人沈振宇表示:“目前吐司和Tensor.Art上已经有超过16w+的模型数量。此次与英伟达联合发布《个人用户玩转Stable Diffusion 的GPU配置推荐》旨在让关注AIGC领域的入门用户以及不同垂类场景的用户在选择RTX AI PC设备做模型训练和应用时提供客观、公正的配置参考,提升用户使用AIGC的生产效率。”
● NVIDIA RTX Remix 可让 Modder 轻松截取游戏素材,使用生成式 AI 工具自动增强材质,以及借助全景光线追踪和 DLSS 快速创建令人惊艳的 RTX 重制版游戏。
● NVIDIA Broadcast 应用可将任何房间变成家庭工作室,为直播提供 AI 增强型语音和视频工具,包括噪音和回音消除、虚拟背景和 AI 绿幕、面部追踪、视频降噪和目光接触
● Inworld AI引擎采用多模态方法来展示非玩家角色(NPC),将认知、感知和行为系统集成在一起,在精心制作的环境中呈现令人惊叹的 RTX 渲染角色,以实现身临其境的叙事效果。
● ChatGLM是基于GLM预训练框架的双语对话模型,采用了独创的多阶段增强预训练方法,包括6B、12B、32B、66B等多种尺寸。同时ChatGLM3 支持多样的加速工具,包括NVIDIA TRT-LLM框架,使模型性能在合理的精度损失下实现推理加速提升。
● 智谱AI副总裁吴玮杰表示:“大模型加持的AI PC将带来生产力范式革命,让AI生产力普惠每个人。随着端侧算力和大模型能力的演进,支撑AI PC的大模型解决方案应该是端云一体的混合AI。端侧和云侧大模型无缝协同,共同为用户更好的提供“智力”强大、随时在线、极速响应、安全可信、个性化的AI PC应用。我们的大语言模型 ChatGLM3-6B 支持 NVIDIA TensorRT-LLM 等加速框架,使模型推理性能实现加速提升,让用户在AI PC上能够得到更加流畅的体验。”
● SD专业工作流:RTX 4090 D GPU在复杂的控制工作流和出图质量中表现出真正的生产力,通过人像生成控制模型InstantID,让用户足不出户就能快速通过搭载RTX 4090 D的RTX AI PC上由普通摄像头的照生成高质量影棚级别的肖像照。而目前,RTX GPU能为Stable Diffusion用户所带来生产力级别的体验。
● SD一秒生成8张图:作为市面上*快的Stable Diffusion 计算出图方案,用户开箱即用就能在RTX 4090 D GPU享受到高达每秒8张图的生成速度。使用当前*快的Stable Diffusion 加速方法TensorRT,再配合开发者进一步的性能优化,目前RTX 4090 D GPU*高能实现每秒超过100张图的生成速度,因此Stable Diffusion用户也能像游戏玩家一样通过高帧率享受丝滑的创作体验。
● 声音克隆:基于 RTX GPU 加速的声音克隆可仅用5秒录音来克隆声音,实现无需训练的个性化声音生成。基于开源的GPT-SoVITS项目,声音克隆快速使用5秒声音样本,根据其发音特征由文本生成个性化语音片段,实现高质量的声音克隆;在RTX AI的加速下,仅仅五分钟就能完成;而基于更多样本(1分钟)的微调训练实现更高质量接近1:1复刻的声音克隆。
● 实时建筑渲染:在建筑规划设计领域,即致AI基于扩散模型和蒸馏技术,通过RTX GPU的加速,实现了秒级的AI实时绘画。结合即致AI自研的全网下载量超50W国内建筑行业大模型,帮助建筑设计师享受AI实时渲染划时代的快捷、便利的同时,依然能够保证极高的出图效果。
● 剪映编辑器AI方向产品负责人伍凡表示:“对于创意应用来说,我们很关注AI能力如何和用户实际的工作流相结合。剪映陆续上线了一系列生成式AI能力,例如音色克隆、视频翻译、数字人和AI生成文字模板/贴纸,其中AI生成文字模板和贴纸功能在 NVIDIA TensorRT 的加速下能轻松实现更高的性能提升。长期以来剪映和NVIDIA一直都是非常紧密的合作伙伴,我们期待RTX AI PC强大的AI性能表现以及TensorRT加速优化对AI模型的解决能力能帮助剪映的用户更高效、智能地进行创作。”
● 数字艺术家 & 策展人土豆人Tudou_Man 表示:“每天有大量AIGC内容涌现,宛如微小的青苔连续改写当下。不久,我们的文明也将被数字所覆盖。通过RTX 40系列AI PC平台的运算加持,震惊之余,我使用RTX 40系列 RTX AI PC创作了《复写苔原》系列作品,RTX 平台为像我这样的数字艺术家提供高效的AI算力加速。我将AIGC作品注入人的思考与灵魂,在不可逆的数据洪流中保持本真。”
● Blender 艺术家、AI创作者Simon阿文表示:“‘AI 如何塑造我们的工作与生活’ 这个在过去听起来是少数大公司才有资格讨论的问题,但在如今这样的一个问题的答案由AI社区和创作者塑造。包括央视春晚AI动画等作品在内,从文字、图像到影像,我的许多探索是基于本地 RTX 4090 完成的。AIGC的可能性是一片蓝海,AI PC是我的帆船。”
● AIGC行业资深顾问、艾哎集瑟科技联合发起人言萧表示:“作为一名常常使用AI工具的建筑师,我对RTX平台的加速优势深有体会。它极大提高了AI图形生成软件的性能,特别是如Stable Diffusion等工具,在建筑规划设计的方案概念阶段特别的重要。通过RTX平台,我们也可以快速获得高质量的渲染图像,有效加速设计过程,增强视觉表现力,极大促进了创意的快速迭代和方案的优化。这种技术进步不仅提升了设计效率,也为建筑师提供更广阔的创作空间。”
● Morph Studio 产品经理、上海国际电影节创投评委海辛表示:“我*开始步入到这个行业,就是从有一块自己的RTX显卡开始的。RTX 40 系显卡给了我探索 AI 在文字、图像、影像可能性的机会。”
自1993年成立以来,NVIDIA (NASDAQ: NVDA) 一直是加速计算领域的先驱。NVIDIA 1999年发明的GPU驱动了PC游戏市场的增长,并重新定义了现代计算机图形,开启了现代AI时代,正在推动跨市场的工业数字化。NVIDIA现在是一家全栈计算公司,其数据中心规模的解决方案正在重塑整个行业。更多信息,请访问。
火星时代教育,创始人王琦在1994年出版中文CG教材——《三维动画速成》,成为初代从业者的启蒙图书。三十年致力于推动中国数字创意产业高质量发展,为影视,游戏,室内设计,互动媒体等热门数字领域,培养数十万计CG人才。2023年初火星时代课程全面融合AI,将持续聚焦AI及元宇宙双域,把前沿领域技术融入课程,为求学者把脉就业风向,培养数字时代全能型CG人才。
吐司/Tensor.Art创立于2023年,由上海必有回响智能可以有限公司投资创立,小组成员由国内AI前沿技术开发者和致力于兴趣社群运营的小伙伴们组成。作为行业里*家实现在线生图的AI模型平台及兴趣社区(Tensor.Art是吐司的国际版)目前我们拥有超过16w+的模型数量,海量可选的模型不仅能下载还能支持在线运行,生成的图片作品可以一键分享到社区。我们始终相信模型是未来AI时代信息交流的媒介,且始终致力于紧跟*前沿的AI技术和国际视角,来帮助AI创作者降低创作门槛,让更多的小白用户以及不同垂类场景的用户使用AIGC提高生产效率。
智谱AI致力于打造新一代认知智能大模型,专注于做大模型的中国创新。公司于2020年底研发GLM预训练架构,2021年训练完成百亿参数模型GLM-10B,同年利用MoE架构成功训练出收敛的万亿稀疏模型,2022年合作研发了中英双语千亿级超大规模预训练模型GLM-130B并开源。2023 年,智谱 AI 推出千亿基座对话模型ChatGLM并两次升级,开源版本的 ChatGLM-6B 让大模型开发者的本地微调和部署成为可能,在开源社区受到广泛欢迎。基于全自研基座大模型的强大能力,智谱 AI 面向AI PC构建了端云一体的大模型解决方案。【天极网IT新闻频道】
