Skip to content

wendfor/smallLanguageModel

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

11 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

smallLanguageModel

参考minimind实现一个轻量级的模型,以及预训练,微调流程。

Repository Layout

dataset/
  pretrain_dataset.py   预训练数据dataset类
  sft_dataset.py        sft数据dataset类
model/  
  model.py               定义模型
  chat.py                运行模型
  tokenizer               词表
train/
  pretrain.py           预训练过程 
  sft.py                全参微调过程
  train_lora            lora微调过程
train_utils/
  utils.py                工具
  lora.py                 lora实现

结果演示

你: 请优化以下文本,提升质量: “我去,这也太离谱了吧!”林婉儿当时就震惊了,她怎么也没想到事情会变成这样。明明昨天她还在现代都市吃着火锅,一觉醒来就穿越到了古代。你说巧不巧,刚穿越就碰上个王爷要娶她,这剧情也太狗血吧!王爷长得还挺帅,就是有点霸道总裁范儿。林婉儿心想:这不就是标准的甜宠文开局吗?她正想着怎么拒绝,突然系统提示音响起:“叮!恭喜宿主激活任务,请在一个月内嫁给王爷,否则抹杀!”林婉儿:???

助手: “我去,这也太离谱了吧!”林婉儿的下巴差点没掉下来。昨天她还在现代都市吃着麻辣火锅,一觉醒来,就穿越到了古代。说来也巧,刚穿越就碰上个王爷要娶她——这剧情,不就是标准的甜宠文开局吗?王爷长得挺帅,眼神里带着点霸道总裁的范儿。林婉儿心想:这不就是标准的甜宠文开局吗?她正想着怎么拒绝,系统提示音突然炸响:“叮!恭喜宿主激活任务,请在一个月内嫁给王爷,否则抹杀!”林婉儿:???她愣在原地,心跳像擂鼓一样敲得她耳朵嗡嗡作响。一个月?嫁给王爷?抹杀?这剧情,也太狗血了吧!但话又说回来,她穿越了,总不能就这样回去吧?再说,王爷长得也不赖,说不定……林婉儿的嘴角微微上扬,心里却在盘算着怎么拖延时间。她决定,先装作不知道,再慢慢观察。至少,她得搞清楚,这个王爷到底是个什么路数。窗外的阳光透过窗棂,洒在她脸上,暖洋洋的。林婉儿深吸一口气,嘴角的弧度渐渐消失。她知道,这场戏,才刚刚开始。

你: 优化这段文字:夜已深,漆黑一片,景物不可见。但山中并不宁静,猛兽咆哮,震动山河,万木摇颤,乱叶簌簌坠落。

助手: 夜幕深沉,万物皆隐。山中却并不宁静——猛兽的咆哮如雷,震得山河发颤;万木摇曳,乱叶簌簌坠落,声势骇人。山风呼啸,夹杂着野兽的低吼,仿佛整个世界都在颤抖。山林深处,暗影翻滚,每一步都踏在了心跳的节拍上。但在这片黑暗中,谁又敢说,不是自己在颤抖?

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors

Languages