小型AI「LFM2.5」に4bit軽量版が登場。メモリを抑えたまま精度をほぼ元通りに

30秒でわかる

• LFM2.5の4bit軽量版（Q4_0）が、精度を保つ新手法「QAD」で作り直された
• 軽さはそのままに、精度は元の約97%まで回復（4サイズとも96〜97%台）
• 対象は230M・350M・1.2B・2.6Bの4サイズ。重み（中身のデータ）はHugging Faceで公開

何が変わった

AIを軽くする定番の方法に「量子化」があります。これは、AIの中身の数値を粗く（例：16bit→4bit）してデータ量とメモリを大きく減らすやり方ですが、粗くする分だけ精度が落ちるのが弱点でした。今回Liquid AIは「QAD（量子化を見越して学習し直す蒸留）」という手法を使い、軽い4bit版でも精度をほぼ元通りに戻したLFM2.5のQ4_0版を公開しました。精度は元の高精度版（BF16）と比べて、230Mが97.1%、350Mが96.5%、1.2Bが97.4%、2.6Bが96.6%を維持しています。4bitの軽さ・省メモリはそのままに、精度低下だけを抑えたのがポイントです。重みはHugging Faceで配布されています。

誰に関係する

スマホや小型機器で動くAIを組み込む開発者に関係します。メモリの少ない端末でも、精度をあまり落とさずに動かせるようになるため、端末内で完結するアプリを作りやすくなります。

公式情報

公式（Liquid AI Blog: LFM2.5 Q4_0 Quantization-Aware Distillation） ↗