Innovative Tech

コード専用生成AI「WizardCoder」、米Microsoftが公開　ベースはCode Llama、高い精度を達成

公開 2023年09月01日 08時00分

更新 2023年08月31日 02時07分

著者

山下裕毅

[ITmedia]

印刷する連載新着通知を受け取る

Innovative Tech：

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。

Twitter: ＠shiropen2

　米Microsoftなどに所属する研究者らは、米Metaが最近リリースしたCode LLM（コーディング専用大規模言語モデル）「Code Llama」をベースにしたコード専用生成AI「WizardCoder」を発表した。

　LLMの性能を評価するベンチマーク「HumanEval Benchmark」で、ChatGPT（GPT-3.5）やClaude2を上回る高い精度73.2％を達成し、存在感を示した。唯一下回ったのは、8月26日に同研究者らが計測したGPT-4（82.0％）のみ。ただし、3月に米OpenAIの公式テクニカルレポートが報告したGPT-4の数値67.0は上回っている。あくまでHumanEval Benchmarkによるものであることは留意したい。

　今回のWizardCoderは、モデル名「WizardCoder-Python-34B-V1.0」としてGitHubやHugging Faceで公開されている。「WizardCoder-Python-13B-V1.0」も公開されている。

WizardCoderのリポジトリ

WizardCoder-Python-34B-V1.0と他のLLMとのHumanEval Benchmarkにおいての比較

HumanEval Benchmarkの計測結果。GPT-3.5とGPT-4は2つあるが、3月15日分はOpenAIのGPT-4公式レポートによって報告されたもの。8月26日は、同研究者らが最新のAPIで計測した結果という

　同研究者らは、先月にも米Hugging Face開発のCode LLM「StarCoder」をベースにしたWizardCoderをリリースしており、オープンソースCode LLMの中では最も高い精度を達成していた。

　これは、より正確に人間の指示に従うように微調整する「指示チューニング」（instruction-tuning）をStarCoderに適応させたモデルになる。プログラム作成の指示に対して、非常に精度高く動作するように訓練される。方法として「Evol-Instruct」という手法を使って、コード生成に特化した指示データを生成している。

Source and Image Credits: Luo, Ziyang, Can Xu, Pu Zhao, Qingfeng Sun, Xiubo Geng, Wenxiang Hu, Chongyang Tao, Jing Ma, Qingwei Lin, and Daxin Jiang. “WizardCoder: Empowering Code Large Language Models with Evol-Instruct.” arXiv preprint arXiv:2306.08568（2023）.

この連載新着通知をメールで受け取る

印刷する

SpecialPR

Innovative Tech

2019年にスタートした本連載「Innovative Tech」は、世界中の幅広い分野から最先端の研究論文を独自視点で厳選、解説している。執筆は研究論文メディア「Seamless」（シームレス）を主宰し、日課として数多くの論文に目を通す山下氏が担当。イラストや漫画は、同メディア所属のアーティスト・おね氏が手掛けている。

連載新着通知を受け取る

この連載の記事をもっと見る