Linux
CUDA 安装
CUDA 是由 NVIDIA 创建的一个并行计算平台和编程模型,它让开发者可以使用 NVIDIA 的 GPU 进行高性能的并行计算。
首先,在 https://developer.nvidia.com/cuda-gpus 查看您的 GPU 是否支持CUDA
uname -m && cat /etc/*release
x86_64 DISTRIB_ID=Ubuntu DISTRIB_RELEASE=22.04
gcc
gcc --version
gcc (Ubuntu 11.4.0-1ubuntu1~22.04) 11.4.0
如果您之前安装过 CUDA(例如为12.1版本),需要先使用 sudo /usr/local/cuda-12.1/bin/cuda-uninstaller 卸载。如果该命令无法运行,可以直接:
sudo /usr/local/cuda-12.1/bin/cuda-uninstaller
sudo rm -r /usr/local/cuda-12.1/ sudo apt clean && sudo apt autoclean
卸载完成后运行以下命令并根据提示继续安装:
wget https://developer.download.nvidia.com/compute/cuda/12.2.0/local_installers/cuda_12.2.0_535.54.03_linux.run sudo sh cuda_12.2.0_535.54.03_linux.run
注意:在确定 CUDA 自带驱动版本与 GPU 是否兼容之前,建议取消 Driver 的安装。
完成后输入 nvcc -V 检查是否出现对应的版本号,若出现则安装完成。
nvcc -V
Windows
否则,检查系统环境变量,保证 CUDA 被正确导入。
LlamaFactory 安装
在安装 LlamaFactory 之前,请确保您安装了下列依赖:
运行以下指令以安装 LlamaFactory 及其依赖:
git clone --depth 1 https://github.com/hiyouga/LlamaFactory.git cd LlamaFactory pip install -e . pip install -r requirements/metrics.txt
如果出现环境冲突,请尝试使用 pip install --no-deps -e . 解决
pip install --no-deps -e .
LlamaFactory 校验
完成安装后,可以通过使用 llamafactory-cli version 来快速校验安装是否成功
llamafactory-cli version
如果您能成功看到类似下面的界面,就说明安装成功了。
LlamaFactory 高级选项
QLoRA
如果您想在 Windows 上启用量化 LoRA(QLoRA),请根据您的 CUDA 版本选择适当的 bitsandbytes 发行版本。
pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
FlashAttention-2
如果您要在 Windows 平台上启用 FlashAttention-2,请根据您的 CUDA 版本选择适当的 flash-attention 发行版本。
Extra Dependency
如果您有更多需求,请安装对应依赖。