参考minimind实现一个轻量级的模型,以及预训练,微调流程。
dataset/
pretrain_dataset.py 预训练数据dataset类
sft_dataset.py sft数据dataset类
model/
model.py 定义模型
chat.py 运行模型
tokenizer 词表
train/
pretrain.py 预训练过程
sft.py 全参微调过程
train_lora lora微调过程
train_utils/
utils.py 工具
lora.py lora实现
你: 请优化以下文本,提升质量: “我去,这也太离谱了吧!”林婉儿当时就震惊了,她怎么也没想到事情会变成这样。明明昨天她还在现代都市吃着火锅,一觉醒来就穿越到了古代。你说巧不巧,刚穿越就碰上个王爷要娶她,这剧情也太狗血吧!王爷长得还挺帅,就是有点霸道总裁范儿。林婉儿心想:这不就是标准的甜宠文开局吗?她正想着怎么拒绝,突然系统提示音响起:“叮!恭喜宿主激活任务,请在一个月内嫁给王爷,否则抹杀!”林婉儿:???
助手: “我去,这也太离谱了吧!”林婉儿的下巴差点没掉下来。昨天她还在现代都市吃着麻辣火锅,一觉醒来,就穿越到了古代。说来也巧,刚穿越就碰上个王爷要娶她——这剧情,不就是标准的甜宠文开局吗?王爷长得挺帅,眼神里带着点霸道总裁的范儿。林婉儿心想:这不就是标准的甜宠文开局吗?她正想着怎么拒绝,系统提示音突然炸响:“叮!恭喜宿主激活任务,请在一个月内嫁给王爷,否则抹杀!”林婉儿:???她愣在原地,心跳像擂鼓一样敲得她耳朵嗡嗡作响。一个月?嫁给王爷?抹杀?这剧情,也太狗血了吧!但话又说回来,她穿越了,总不能就这样回去吧?再说,王爷长得也不赖,说不定……林婉儿的嘴角微微上扬,心里却在盘算着怎么拖延时间。她决定,先装作不知道,再慢慢观察。至少,她得搞清楚,这个王爷到底是个什么路数。窗外的阳光透过窗棂,洒在她脸上,暖洋洋的。林婉儿深吸一口气,嘴角的弧度渐渐消失。她知道,这场戏,才刚刚开始。
你: 优化这段文字:夜已深,漆黑一片,景物不可见。但山中并不宁静,猛兽咆哮,震动山河,万木摇颤,乱叶簌簌坠落。
助手: 夜幕深沉,万物皆隐。山中却并不宁静——猛兽的咆哮如雷,震得山河发颤;万木摇曳,乱叶簌簌坠落,声势骇人。山风呼啸,夹杂着野兽的低吼,仿佛整个世界都在颤抖。山林深处,暗影翻滚,每一步都踏在了心跳的节拍上。但在这片黑暗中,谁又敢说,不是自己在颤抖?