标签: 模型量化

1 篇文章

thumbnail
单卡微调MiniCPM合并LoRA并转换为llama.cpp用的gguf
介绍 MiniCPM 是面壁智能发布的一款模型,只有2B大小。官方介绍说只需要一张1080/2080可实现高效参数微调,所以我尝试按官方的步骤进行微调,给自己用。 准备 环境 根据官方介绍 LORA 微调: 1张显卡,占用 10619MiB 显存。 我的卡是2060s,只有8G的VRAM,所以我换了一张有12G VRAM的3060来测试。 同时在测…