近期 AI 画图是相当热门的议题,仅需给予简单的文字描述, AI 系统就可产生符合描述的精致图像;高通在 MWC 前夕公布一段 Qualcomm AI Research 的研究成果,领先全球首度在手机执行原本需要在云端服务执行 Stable Diffusion 模型,使手机也能如云端服务一样依照文字产生对应的影像。
▲以「穿着盔甲的超级可爱毛茸茸猫武士」得到的成果
▲以「有着野生动物、河流与山的日式庭院」的结果
,,UG官网下载(www.ugbet.us)开放环球UG代理登录网址、会员登录网址、环球UG会员注册、环球UG代理开户申请、环球UG电脑客户端、环球UG手机版下载等业务。
高通强调此次的实验是以搭载高通 Snapdragon 8 Gen 2 的市售装置执行,并透过跨应用程式、神经网路模型、演算法、软硬体等进行最佳化,并动用公司跨部门协作实现此次的实验成果。高通透过由 Hugging Face 的 FP32 version 1-5 开源模型作为基础,透过量化、编译与硬体加速进行最佳化,使复杂的 Stable Diffusion 能在 Snapdragon 8 Gen 2 顺利执行。
为了使复杂的 FP32 模型可在行动处理器执行,团队首先利用自行开发的 AI Model Efficiency Tool Kit ( AIMET )工具将 FP32 转化为 INT8 ,借助将 FP32 转化为 INT8 ,不仅能提升 AI 模型执行效率,并缩减记忆体频宽达到节能效果。 AIMET 技术中的 AdaRound (自适应舍入)能够在转化到低精度后维持模型的精度而不须重新训练模型, Qualcomm AI Research 将这些技术应用在包括文本编码、 VAE 解码与 UNet 等 Stable Diffusion 的结构组件。
此外, Qualcomm AI Research 利用高通 AIE 框架将神经网路映射在目标硬体的高效能执行程序,根据 Qualcomm Hexagon DSP 的硬体架构与记忆体层次结构对操作进行排序,在提升效能的同时也抑制记忆体溢出;其中部分增强是由 AI 最佳化研究人员与编译器工程团队协作改进 AI 推论中的记忆体管理结果,使 AIE 的整体获得最佳化,并减少执行的延迟与功耗。
同时,借助 Snapdragon 8 Gen 2 具备的 Micro Tile Inferencing (微块推论)功能,使复杂的 Stable Diffusion 能够在行动装置执行;不过 Qualcom AI Research 仍期待未来的 Snapdragon 可具备更强大的算力使效率更为提升;在 Qualcom AI Research 的协力下,最终在 Snapdragon 8 Gen 2 的装置于 15 秒执行 20 个步骤,并产生 512 x 512 像素的图像,也是目前手机上最快的 AI 绘图表现,几乎能媲美云端服务的速度。
高通认为,边际 AI 时代即将来临,日后使用者可透过针对行动装置最佳化编译的 AI 模型,不须连接上网路即可执行许多复杂的 AI 应用,。并确保低延迟、网路频宽与隐私权,除了此次的示范外,高通指出 Stable Diffusion 还能用于影像编辑、影像修复、风格转换、超解析等影像处理技术。同时高通认为在手机执行 Stable Diffusion 只是一个开始,意味着未来包括笔电、 XR 头戴显示器皆可由 Stable Diffusion 获得体验增强。
评论列表 (0条)