基于 ChatGPT WebUI 的一个简单的 ChatGLM WebUI。
pip install -r requirements.txt
Gradio 版本必须大于 3.21.0!
Windows 下 CPU 运行需要安装编译器,可参考 (https://www.freesion.com/article/4185669814/)。
通过 git clone https://huggingface.co/THUDM/chatglm-6b-int4
下载模型文件到根目录下然后 python main.py
即可,默认状态至少需要 4 GB 显存(CPU 运行则需要 5.2 GB 内存)。
--path
:指定模型所在文件夹