Skip to content

[Feature]: Model download can don't put to and read from HF cahe first? #3991

Open
@wikeeyang

Description

@wikeeyang

Feature description

项目是个好项目,兼容性也不错,作者们都挺用心,尽量让用户傻瓜型操作。
不过就是因为太傻瓜型,所以可能在模型下载、存储、或者手工配置这块,有点傻瓜,一定要在 HF Cache 缓存访问。。。
个人测试情况如下:
按照 Wiki 和 Issue 里的各种资料提示,手工将预先下载好的模型,放置到如下路径:
HiDream-Dev-NF4
Image
和 Llama 3.1 8B Instruct 以及 NF4 模型

Image

启动几次,设置好模型加载参数,“不预先加载” , “不自动下载” , Llama repo 改成:unsloth/Llama-3.1-8B-Instruct-bnb-4bit
N 次启动后,本地已经检测到有模型。且只有一个本地模型,如下:

Image

加载模型跑图,后台依然要去 HF 从头开始下载。。。

为了测试这个 Cache 是否必须存在,试着完整下载了上述两个模型,启动跑图正常。。。
删除 Cache 的两个缓存目录,再跑图,又得重新下载。。。

Image

Image

这个模型管理机制是否能更改一下,先访问本地模型目录,没有的话,再去 HF 下载或补充下载缺失的部分?
否则,Cache 需要存一份,项目路径下的 models 目录下再管理保存一份,太傻瓜了。。。不管 SD WebUI 还是 ComfyUI ,都没这么弱智的设计啊。。。

Version Platform Description

Windows 11 x64 ,CUDA 12.4 ,Pytorch 2.60 ,Python 3.12

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions