1. 默认的缓存目录

/root/.cache/huggingface/hub # 其实就是 `/~/.cache/huggingface/hub`

2. 手动设置缓存目录

在文件最开始指定缓存路径

import os
os.environ['HF_HOME'] = '/root/workspace/'

或者使用环境变量

export HF_HOME=/root/workspace/

那么对应的缓存目录就是 /root/workspace/hub

3. 使用缓存目录

例如，指定缓存目录为 /root/workspace/，指定的模型是 google/gemma-2b-it 那么 huggingface 会从目录 /root/workspace/hub/models--google--gemma-2b-it/snapshots/main/ 中查找文件。

也就是会所在网页上看到的 https://huggingface.co/google/gemma-2-2b-it/tree/main 里面的文件，要下载到目录 /root/workspace/hub/models--google--gemma-2b-it/snapshots/main/ 里面。

注意⚠️： - 检测缓存是否存在的动作，在代码文件 /usr/local/lib/python3.10/dist-packages/huggingface_hub/file_download.py 的第 1620 行附近。 - 下载文件的位置是 /usr/local/lib/python3.10/dist-packages/huggingface_hub/file_download.py 文件的 _request_wrapper 函数。

4. 直接使用绝对路径

model_path = "/root/workspace/gemma-2-2b-it"
#model_path = "google/gemma-2b-it"

tokenizer = AutoTokenizer.from_pretrained(model_path) # google/gemma-2b-it
model = AutoModelForCausalLM.from_pretrained(model_path, device_map="auto") # google/gemma-2b-it