一、 大模型 ChatGLM3 简介
ChatGLM3 是智谱 AI 和清华大学 KEG 实验室联合发布的对话预训练模型。ChatGLM3-6B 是 ChatGLM3 系列中的开源模型，在保留了前两代模型对话流畅、部署门槛低等众多优秀特性的基础上，ChatGLM3-6B 引入了如下特性：
二、大模型 ChatGLM3 微调步骤
1. 结束当前运行（按键盘上的 Ctrl + C）
2. 安装模型依赖库
# 切换到 ChatGLM3 项目工作目录
cd /ChatGLM3/finetune_demo
# 激活 ChatGLM3 虚拟环境
conda activate ChatGLM3
# 在 ChatGLM3 环境中安装 requirements.txt 依赖
pip install -r requirements.txt
出现以上报错，需要修改 requirements.txt 文件
vim requirements.txt
鼠标往下滑，找到最后一行 双击键盘上的 d 键，即可快速删除
继续执行依赖安装命令
# 在 ChatGLM3 环境中安装 requirements.txt 依赖
pip install -r requirements.txt
3. 准备数据集
3.1 创建文件夹 data 以及 子文件夹 AdvertiseGen
3.2 上传数据集
我们使用 AdvertiseGen 数据集来进行微调。从 Google Drive 或者 Tsinghua Cloud 下载处理好的 AdvertiseGen 数据集，将解压后的 AdvertiseGen 目录放到本目录的 /data/ 下, 例如。/ChatGLM3/finetune_demo/data/AdvertiseGen
3.3 解压数据集
cd data/AdvertiseGen
tar -xzvf AdvertiseGen.tar.gz
这里的选项解释如下：
3.4 转换数据格式
# 切换到 ChatGLM3 项目工作目录
cd /ChatGLM3/finetune_demo
# 创建 AdvertiseGen_fix.py 文件
vim AdvertiseGen_fix.py
import json
from typing import Union
from pathlib import Path
def _resolve_path(path: Union[str, Path]) -> Path:
return Path(path).expanduser().resolve()
def _mkdir(dir_name: Union[str, Path]):
dir_name = _resolve_path(dir_name)
if not dir_name.is_dir():
dir_name.mkdir(parents=True, exist_ok=False)
def convert_adgen(data_dir: Union[str, Path], save_dir: Union[str, Path]):
def _convert(in_file: Path, out_file: Path):
_mkdir(out_file.parent)
with open(in_file, encoding='utf-8') as fin:
with open(out_file, 'wt', encoding='utf-8') as fout:
for line in fin:
dct = json.loads(line)
sample = {'conversations': [{'role': 'user', 'content': dct['content']},
{'role': 'assistant', 'content': dct['summary']}]}
fout.write(json.dumps(sample, ensure_ascii=False) + ' ')
data_dir = _resolve_path(data_dir)
save_dir = _resolve_path(save_dir)
train_file = data_dir / 'train.json'
if train_file.is_file():
out_file = save_dir / train_file.relative_to(data_dir)
_convert(train_file, out_file)
dev_file = data_dir / 'dev.json'
if dev_file.is_file():
out_file = save_dir / dev_file.relative_to(data_dir)
_convert(dev_file, out_file)
convert_adgen('data/AdvertiseGen/AdvertiseGen', 'data/AdvertiseGen_fix')
# 运行 AdvertiseGen_fix.py 文件
python AdvertiseGen_fix.py
4. 使用命令行开始微调,我们使用 lora 进行微调
接着，我们仅需要将配置好的参数以命令行的形式传参给程序，就可以使用命令行进行高效微调。
python finetune_hf.py /ChatGLM3/finetune_demo/data/AdvertiseGen_fix /ChatGLM3/basic_demo/THUDM/ZhipuAI/chatglm3-6b configs/lora.yaml
出现以上问题，需要安装 nltk 依赖
# 安装 nltk 依赖
pip install nltk
再次执行微调命令
python finetune_hf.py /ChatGLM3/finetune_demo/data/AdvertiseGen_fix /ChatGLM3/basic_demo/THUDM/ZhipuAI/chatglm3-6b configs/lora.yaml
微调完成
5. 微调验证以及推理
python inference_hf.py output/checkpoint-500/ --prompt "类型#裙*版型#显瘦*材质#网纱*风格#性感*裙型#百褶*裙下摆#压褶*裙长#连衣裙*裙衣门襟#拉链*裙衣门襟#套头*裙款式#拼接*裙款式#拉链*裙款式#木耳边*裙款式#抽褶*裙款式#不规则"