地域科学研究所は、豊かで活力ある地域社会の実現のために、AI人工知能のシステム研究開発を行っております。

説明可能AI（XAI）の研究

ＸＡＩとは、

「Back Propagation」が話題になった30年前からそうでしたが、「ディープラーニング」でうまく機械学習できたとしても「なぜそういう結果になったか」を説明することができません。単にそれぞれのリンクの重み付けが変化しただけです。そのため、説明機能を可能にする研究が行われています。これを「ＸＡＩ」と呼んでいます。

Ｇｒａｄ‐ＣＡＭ

タグ付けされたクラスに対して影響の大きい画像の箇所を「変化を加えて大きい変化が現れる場所を平均化」して決定するやり方です。変化の大きさは一般的に「Gradient」と呼ばれているので、この方法は「Ｇｒａｄ‐ＣＡＭ」と命名されています。結果は「ヒートマップ」で表され、ソフトウェアは公開されています。