shisa.ai
ニュース一覧に​戻る
研究

Shisa 7B リリース

合成データ駆動アプローチを​用いた​バイリンガル汎用チャットモデルです。

Shisa 7B リリース

Shisa 7B​(shisa-7b-v1)は、​合成データ駆動の​アプローチを​用いて、​高い​日​本語性能と​英語能力の​両立を​目指すバイリンガル​(日本語・英語)​汎用チャットモデルです。

この​モデルは、​Mistral 7Bを​ベースに、​Mistral本来の​トークナイザーと​比べて​日本語での​効率を​2倍以上に​高めた、​日本語​最適化拡張トークナイザーを​採用しています。​ベースモデルには、​日本語を​中心と​する​80億トークンの​追加事前学習を​実施しました。​その後、​airoboros-3.1を​拡張・機械​翻訳した​データセット、​ultrafeedback_binarizedの​高スコア項目、​そして​対象言語で​直接新規生成した​airoborosデータを​用いて​ファインチューニングを​行っています。

また、​商用を​含めあらゆる​用途で​利用​可能な​Apache 2.0ライセンスのもと、​ベースモデル、​データセット、​および​パイプラインコードも​公開しています。​さらに、​アブレーション結果、​評価手法、​主な​知見など、​開発プロセスの​詳細や​解説記事を​プロジェクトWikiにて順次公開しています。​研究者の​皆様に​とっても​有益な​情報を​まとめています。

ほかの​ニュース