Skip to content

Optimize: 推理完成后自动触发gc回收,避免长时间推理导致内存一直增长。 #1221

New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Merged
merged 1 commit into from
Jun 26, 2024

Conversation

CyberWon
Copy link

在推理完成之后,使用gc控制器对内存进行回收。
@ChasonJiang

#1218

在推理完成之后,使用gc控制器对内存进行回收。
RVC-Boss#1218
@choury
Copy link

choury commented Jun 24, 2024

看起来效果不大……

@LonelyTaker
Copy link

我也尝试过手动回收,但好像没有什么作用

@RVC-Boss
Copy link
Owner

可能需要能稳定复现内存泄漏的方法

@RVC-Boss RVC-Boss merged commit 8dd7cfa into RVC-Boss:fast_inference_ Jun 26, 2024
@LonelyTaker
Copy link

可能需要能稳定复现内存泄漏的方法

目前情况是:使用jmeter进行测试,前几次请求不会导致内存泄露(次数不固定,有时候是几十次,有时候是一百多次),但出现泄露情况后,每一次推理请求都会增加内存占用12M-15M左右。我不确定是否和环境或使用到的包有关
当前使用torch版本:2.0.1+cu118

@ysujiang
Copy link

ysujiang commented Jul 5, 2024

torch2.01 +cu117 也是每次都有内存泄漏的情况,使用gc控制器对内存进行回收效果也不明显,内存泄漏是否有解决方案

@LvHuaiSheng
Copy link

一样的 内存一直在递增,ubuntu22
NVIDIA-SMI 550.120 Driver Version: 550.120 CUDA Version: 12.4
内存DDR5 16G*2
启动server后,有两个电脑连接并同时使用更明显,如果两个请求都是100字左右的长文本生成 请求完一次后接着请求下一次那百分百会爆内存

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

6 participants