LLMの脆弱性を無料で診断できるツールGarakが登場 多岐にわたる機能を提供：セキュリティソリューション

LLM（大規模言語モデル）の脆弱性を無償で診断できるツール「Garak」の提供が開始された。Hugging FaceやOpenAIなど主要プラットフォームに対応し、プロンプトインジェクションや誤情報生成、ポイズニングといった脆弱性を体系的に特定できる。

[後藤大地，有限会社オングス]

　GBHackers on Securityは2025年1月6日（現地時間）、オープンソースソフトウェア（OSS）のLLM（大規模言語モデル）脆弱（ぜいじゃく）性スキャナー「Garak」を開始した。

　GarakはAIシステムのセキュリティや信頼性を向上させるための無料ツールとされ、特にセキュリティ研究者やAI開発者、AI倫理の専門家にとって重要なツールとして注目されている。

LLMの脆弱性を無料で診断できるツールGarak　幅広い機能を提供

　Garakは、ハルシネーション（幻覚）やデータ漏えい、プロンプトインジェクション、誤情報生成、ポイズニングの発生といったLLM特有の脆弱性を体系的に特定する機能を備えている。

　Hugging FaceやOpenAI、Replicate、Cohere、NVIDIA NIM、OctoAI、Groqといった主要なAIプラットフォームに対応しており、APIベースのモデルやローカルモデルでのテストも可能となっている。またRESTエンドポイントとの統合やカスタムプラグインの開発をサポートしており、ユーザーが独自のニーズに合わせた脆弱性診断を実行できる柔軟性を持つ。

　LLMを対象としたプローブ（テスト）にはプロンプトインジェクションの検出や誤情報生成の評価、ポイズニングのテストなどAIの安全性や倫理性に直結する多岐にわたる項目が含まれる。デバッグやランタイム用のプライマリーログ（garak.log）、プローブの詳細を含む構造化形式のJSONレポートといったログが生成され、ログからデータを分析できる。

　Garakはプログラミング言語「Python」のサードパーティーソフトウェアリポジトリである「Python Package Index」（以下、PyPI）から最新リリースをインストールでき、無償で利用できる。

　この他、NVIDIAの「GitHub」リポジトリー「NVIDIA/garak: the LLM vulnerability scanner」で公開されており、最新の開発版ソースコードを入手できる。Garakのインストール方法や基本的な使い方などは公式ドキュメントサイト「Welcome to garak!」で解説されている。

　生成AIによるリスクや脆弱性への対策はますます重要な課題となっている。Garakのようなツールは、AIシステムの安全性と信頼性を確保するための重要なツールとなり得る。セキュリティ研究者や開発者だけでなく、AI倫理に関心を持つ多くのユーザーにとって不可欠な存在となることが期待される。