Shisa 7B ​发布

Shisa 7B (shisa-7b-​v1​) ​是​一​款​双语​日语​/​英语​ (JA/EN) ​通用​聊天​模型，​旨​在​通过​合成​数据​驱动​的​方法，​在​保持​强大​的​英语​能力​的​同时​实现​卓越​的​日语​表现。

该​模型​基于​ ​Mistral 7B​ ​构建，​采用​了​专门​针对​日语​优化​的​扩展​分词器，​其日​语分词​效率​是​ M​istral ​原生​分词器​的​ 2​ ​倍​以上。​基础模型额​外​进行​了​ 80 亿 token ​的​日语​预训练。​随后，​该​模型​使用​扩展​并​经机器​翻译​的​ airoboros-3​.1 数​据集、​来自​ ​ultrafeedback_binarized ​的​高分样​本​集​以及​针对​目标语言​新​生成​的​ airoboros 数​据​进行​了​微调。

我们​以​宽松​的​ A​pache ​2.0 许​可证​发布​了​基础​模型、​数据​集​和​流水线​代码，​可用​于​任何​商业​或​其他​用途。​此外，​我们​正在​项目​ Wiki ​上​发布​更​详尽​的​撰写​内容，​包括​消融​实验​结果、​测试​方​法论​和​关键​发现，​供​研究​人员​参考。