ちょっと昔のInnovative Tech(AI+)
そのAIモデルの良い精度結果、たまたま“良い乱数”を引いただけかも? ランダムシードの影響を調査、21年の研究結果
ちょっと昔のInnovative Tech(AI+):
このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」(シームレス)を主宰する山下裕毅氏が執筆。通常は新規性の高いAI分野の科学論文を解説しているが、ここでは番外編として“ちょっと昔”に発表された個性的な科学論文を取り上げる。
X: @shiropen2
フランスの研究者であるデビット・ピカールさんが2021年に発表した論文「Torch.manual_seed(3407)is all you need: On the influence of random seeds in deep learning architectures for computer vision」は、深層学習アーキテクチャにおいてランダムシード(乱数生成器の初期値)の選択が精度に大きな影響を与えるかを検証した研究報告である。
この研究では、CIFAR-10データセット(6万枚の画像データ)に対して最大1万の異なる乱数シードをResNet9で試し、さらにImageNetデータセットでは事前学習モデル3種を用いて少数のシードを検証した。今回はコンピュータビジョン分野の深層学習モデルに焦点を置く。
結果として、良い精度がでる当たりのシード(または悪いシード)が存在することが分かった。またCIFAR 10では同じモデルでも最大1.82%(89.01%~90.83%)の精度差が、ImageNetでも約0.5%の精度差を確認できた。コンピュータビジョンの分野ではこの程度の精度差が“有意な差”として論文掲載の決め手になることがある。
つまり、モデル自体や訓練方法を変えなくても、単にランダムシードが異なるだけで論文に採択されるほどの精度差が生じる可能性がある。これは、研究者が試行錯誤の過程で無意識のうちに“良いシード”を選んでいる可能性を示唆している。
この問題を解決するためには、より多くのシードでテストを行い、平均値、標準偏差、最小値、最大値などの統計情報を報告することが重要だと主張している。これにより、単一の実験結果に依存せず、モデルの真の性能をより正確に評価できるようになる。
Source and Image Credits: Picard, David. “Torch. manual_seed(3407)is all you need: On the influence of random seeds in deep learning architectures for computer vision.” arXiv preprint arXiv:2109.08203(2021).
Copyright © ITmedia, Inc. All Rights Reserved.
Innovative Tech(AI+)
2019年の開始以来、多様な最新論文を取り上げている連載「Innovative Tech」。ここではその“AI編”として、人工知能に特化し、世界中の興味深い論文を独自視点で厳選、解説する。執筆は研究論文メディア「Seamless」(シームレス)を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。
この記事の著者
関連記事
こんなメディアも見られています
ITmedia AI+に関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
アクセスランキング
-
1
「勝手に社外AIを使う」エース社員に困っています……どうすべき?
-
2
「MCPはもう特別な存在ではない」――その普及と“仕様改訂”がもたらした転換点
-
3
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
-
4
「トイレ」に凝ったらAI需要で大躍進――TOTO、利益の7割かせぐ「半導体」ビジネスの正体
-
5
なぜAgodaは「単独で勝てない」と認めたのか? ANAや星野リゾートと組んだ狙い
-
6
なぜ、三井化学は1.8兆円で「半導体材料メーカー」を買ったのか JSR買収の狙い、市村社長が語る
-
7
意思疎通に難? 技術が分かるから強い?――研究者に事業開発させるべきか否か、NEC・イビデンの回答は……
-
8
【図解あり】マルチエージェント設計「15のパターン」 GitHub、Google、Siemensの知見を一気に整理
-
9
“おいしい魚”を届けられないかも──スシロー、漁業の危機にどう挑む? 富士通とタッグ、AIで「海を解剖」するワケ
-
10
「探す」という呪縛から設計者が解放される日
SpecialPR
ITmedia AI+ SNS
インフォメーション
注目情報をチェック
ITmedia AI+をフォロー
あなたにおすすめの記事PR