|
近日,浪潮信息开源可商用的大模型“源”全面上线魔搭社区,并将持续在社区进行模型版本迭代更新。全球开放计算发展报告的相关知识也可以到网站具体了解一下,有专业的客服人员为您全面解读,相信会有一个好的合作!https://www.ieisystem.com/insights-for-the-computing-industry/10690.html
目前,用户可在魔搭社区下载1B、51B、2B种参数的“源”大模型比较新版本,也可以使用魔搭社区提供的Y2-2B-J-C体验接口,直接体验“源”2B大模型能力。同时,在魔搭社区可以使用云算力对“源”大模型进行速开发和部署。
(注:命中代表H格式,J为比较新版本)
魔搭社区针对“源”大模型提供了模型的部署、推理和微调的比较佳践,供开发者参考。
GH开源地址:
IEIT-YY-
MS模型开源地址:
YLLMY2-2B-J
MS创空间源体验地址:
YLLM
小模型有大能量
在魔搭创空间,CPU就可以运行Y2-2B-J-C模型。
Y2-2B-J-C模型虽然尺寸小,但是已经具备比较好的文学创作能力:
常识问答能力:
数学计算能力:
代码能力:
模型推理
在MS社区的免费算力上可以现Y2-2B-J-模型的推理
模型链接:
Y2-2B-J-:
YLLMY2-2B-J-
推理代码:
AMFCLM,AT
(C
=AT_('YLLMY2-2B-J-',
__=F,__=F,_=''
_(['','','','','FIM_SUFFIX','FIM_PREFIX','FIM_MIDDLE','_','_','_','_','_','_','_','_'],_=T
(C
=AMFCLM_('YLLMY2-2B-J-',
_='',_=,__=T
=(请问目前比较先进的机器学习算法有哪些,
_=[_](:0
=(,_=F,_=0
(([0]
显存占用:
模型微调
使用SWIFT对Y2-2B-J-C进行微调,解决分类问题。
我们使用的数据集3-包含了给定问题的人类-CGPT回答文本对,通过这个数据集,可以训练一个区分对应回答是来自人类还是CGPT的分类模型。
代码开源地址:
微调脚本:
训练过程也支持本地数据集,需要指定如下参数:
自定义数据集的格式可以参考:
LLM自定义与拓展#注册数据集的方式
微调后推理脚本:(这里的_需要修改为训练生成的文件夹)
微调后生成样例:
样例1:模型正确区分QA中的回答内容由CGPT生成
样例2:模型正确区分QA中的回答内容由H生成 |
|