手游下载
软件下载
资讯攻略
AI人工智能软件下载介绍
AI人工智能为什么吃显存:四样东西同时挤在里面
“显存不够”是本地部署最常见的报错。原因不是模型没优化好,而是有四类数据同时要放在显存里,而且随着上下文变长还会持续增长。
一、模型参数本身
参数是常驻的。参数量乘以精度字节数,就是基本占用。用半精度比全精度省一半,量化到更低位数还能再省。这是第一块,也是最刚性的一块。
二、上下文缓存
模型生成内容时,需要保留前文的中间计算结果,避免重复计算。这段缓存随对话变长而线性增长。上下文越长、并发越多,占用越大。这是很多人忽略的部分:模型没变大,但聊得久了就爆显存。
三、中间激活值
每层计算都会产生临时结果,尤其是训练时还要保留用于反向传播。推理时这部分较小,但长输入、大 batch 时会明显上升。
四、批处理与并发
为了提高吞吐,服务会把多个请求打包一起算。批越大,吞吐越高,但显存占用也越高。并发上来时,缓存和激活值会成倍增加。所以“单条能跑”不等于“并发能跑”。
五、为什么长文本特别吃显存
上下文缓存与长度成正比,注意力计算的开销还与长度的平方相关。一份几万字的长文档,缓存占用可能超过模型本身。这也是为什么长文档处理常常要分段。
六、省显存的五个手段
第一,量化,把参数精度降下来。
第二,限制上下文长度,超长内容先摘要再处理。
第三,控制并发与批大小,按显存上限设队列。
第四,及时释放会话,避免长对话累积。
第五,用更小的模型做预处理,把大模型只用在关键环节。
七、一个判断经验
如果显存峰值经常贴近上限,说明配置已经到边界,任何长输入或高并发都会引发失败。这时应该先降上下文、降并发,而不是直接加卡。
总结
AI人工智能吃显存,是因为参数、上下文缓存、中间激活值、批处理四样东西同时占用,其中上下文缓存随对话长度线性增长,长文本还会放大计算开销。省显存的手段有五个:量化、限长、控并发、释放会话、小模型预处理。理解这四块占用,就能判断“是模型太大,还是用法太重”。
上一个: AI人工智能在招聘行业有哪些案例
下一个: AI人工智能有没有系统课程
AI人工智能软件相关产品
-
AI人工智能训练和推理有什么区别
详情 -
AI人工智能在制造行业有哪些案例
详情 -
AI人工智能在配音中能做什么
详情 -
AI人工智能核心能力有哪些
详情 -
AI人工智能在医疗行业怎么落地
详情 -
AI人工智能是什么
详情 -
AI人工智能在数据分析中能做什么
详情 -
AI人工智能和自动化有什么区别
详情 -
AI人工智能核心能力有哪些
详情 -
AI人工智能怎么写策划案
详情 -
AI人工智能知识库怎么接
详情 -
AI人工智能在教育行业有哪些案例
详情 -
AI人工智能量化是什么意思
详情 -
AI人工智能怎么剪视频
详情 -
AI人工智能有没有系统课程
详情 -
AI人工智能在视频剪辑中效果怎么样
详情 -
AI人工智能在法律行业能做什么
详情 -
AI人工智能在招聘行业能做什么
详情 -
AI人工智能在教育行业有哪些案例
详情 -
AI人工智能需要联网吗
详情
攻略教程
小编推荐AI人工智能软件





