Shisa 7B(shisa-7b-v1)は、合成データ駆動のアプローチを用いて、高い日本語性能と英語能力の両立を目指すバイリンガル(日本語・英語)汎用チャットモデルです。
このモデルは、Mistral 7Bをベースに、Mistral本来のトークナイザーと比べて日本語での効率を2倍以上に高めた、日本語最適化拡張トークナイザーを採用しています。ベースモデルには、日本語を中心とする80億トークンの追加事前学習を実施しました。その後、airoboros-3.1を拡張・機械翻訳したデータセット、ultrafeedback_binarizedの高スコア項目、そして対象言語で直接新規生成したairoborosデータを用いてファインチューニングを行っています。
また、商用を含めあらゆる用途で利用可能なApache 2.0ライセンスのもと、ベースモデル、データセット、およびパイプラインコードも公開しています。さらに、アブレーション結果、評価手法、主な知見など、開発プロセスの詳細や解説記事をプロジェクトWikiにて順次公開しています。研究者の皆様にとっても有益な情報をまとめています。
News
すべての記事 ほかのニュース
研究
Shisa-Gamma-7b-v1のダウンロード数が100万回を突破
公開から1年を経て、当社のモデルがコミュニティで広く活用されていることを改めて実感しています。
続きを読む 研究
Shisa.AI、国内最高性能の多言語対応LLMを開発
GPT-4を上回る日本語処理能力を誇る、405BパラメータのオープンソースLLMを公開。
続きを読む