OKI、AIに最適な量子化値を割り当てる低ビット量子化技術を開発

最終更新日:2024/02/07

OKIと国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）は、AIの学習時に量子化値を最適に割り当てる低ビット量子化技術「LCQ」を開発しました。画像認識で高精度モデルを32ビットから2ビットへと16分の1に圧縮した場合、LCQを適用することで画像認識精度の劣化を1.7%と非常に小さく抑えることに成功しました。

このAIニュースのポイント

OKIとNEDOはAIの学習時に量子化値を最適に割り当てる低ビット量子化技術「LCQ」を開発
画像認識で高精度モデルを32ビットから2ビットへと16分の1に圧縮した場合、画像認識精度の劣化を1.7%に抑えた
エッジ領域での高精細な画像認識、さらには工場のインフラ管理や機器の異常検知など、演算リソースの限られたデバイスでのAI実装を目指す

国立研究開発法人新エネルギー・産業技術総合開発機構（NEDO）と沖電気工業株式会社（OKI）は、「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」において、AIの学習時に量子化値を最適に割り当てる低ビット量子化技術「LCQ（Learnable Companding Quantization）」を開発しました。

LCQは、ディープニューラルネットワークの高精度モデルで、ビット数を32ビットから2ビットへと16分の1に圧縮しても画像認識精度の劣化を世界トップクラスの1.7%に抑えることに成功し、エッジ領域での演算負荷低減を実現します。

ディープニューラルネットワーク（DNN）は、画像や音声などの認識において優れた性能を発揮するAI・人工知能として注目されています。一方で、高い精度を得るためには大量の演算リソースや電力が必要なため、メモリーや電力に制限のあるエッジデバイスへの組み込みには課題がありました。

しかし、FPGA （Field-Programmable Gate Array）などの先行技術では、量子化 (圧縮) する前の値に対する量子化後の値（量子化値）をあらかじめ固定値として割り当てるため、2ビットなどの超低ビットへ圧縮すると固定値との誤差により認識精度が劣化し、実用化への障壁となっていました。

こうした背景のもと、NEDOとOKIは、「高効率・高速処理を可能とするAIチップ・次世代コンピューティングの技術開発」において、DNNの学習時に、推論時の認識精度を維持するのに最適な低ビット量子化値を割り当てることができる低ビット量子化技術「LCQ」を開発。

DNNの性能をはかる指標（ベンチマーク）とされる画像認識で高精度モデルを32ビットから2ビットへと16分の1に圧縮した場合、先行技術では認識精度に約3%の劣化が生じるのに対し、LCQを適用することでこれを1.7%と非常に小さく抑えることに成功し、世界トップクラスの認識精度を達成しました。

NEDOとOKIは音声符号化分野でよく扱われる非線形量子化技術Companding(注5)を応用したLCQにより、DNNの学習での量子化値を柔軟に割り当てることに成功しました。