OpenAI、Codexに「自律型UI操作」機能など追加 PC画面の直接操作で定型業務と開発フローを高速化：AIニュースピックアップ

OpenAIはAIコーディング支援ツール「Codex」を大幅に刷新し、PC画面を視覚的に認識して直接操作する「自律型UI操作」など多くの機能を導入した。外部ツール連携やメモリ機能によって複雑な事務作業や長期プロジェクトの自律的な遂行を支援する。

[ITmedia エンタープライズ編集部，ITmedia]

　OpenAIは、2026年4月16日（現地時間）、AIコーディング支援ツール「Codex」の機能を大幅に拡張した。今回のアップデートにより、Codexはコード生成だけでなく、システムの理解、デバッグ、チームとの調整、長期的なタスク管理などを一つのワークスペースで完結させるツールとして実行できるようになった。

　追加された主な機能は以下の通り。

コンピュータ操作でUIベースの自動化を実現

コンピュータ操作

　Codexが画面を視覚的に認識し、自らカーソルを動かしてクリックやタイピングをできるようになった。APIを持たないアプリケーションやフロントエンドのテストも、人間と同じように操作、検証できる。

画面上のUIを視覚的に認識し、自らカーソルを動かしてアプリをデバッグするCodexの実行画面（出典：OpenAIのWebサイト）

インアプリ・ブラウザ

　アプリ内にブラウザが統合された。開発者は表示されたページに直接コメントを残すだけで、Codexにプログラムの修正やデザインの変更を指示できる。

画像生成の搭載

　画像生成モデル「gpt-image-1.5」が搭載された。コードやスクリーンショットを基に、フロントエンドのモックアップやゲーム素材などの画像をワークフロー内で直接生成、編集できるようになった。

gpt-image-1.5で作成した素材を即座にコードへ組み込み、ブラウザで表示を確認できる（出典：OpenAIのWebサイト）

プラグインの充実

　90以上の新規プラグイン（「Jira」「 Slack」「 Notion」「Microsoft 365」など）に対応し、外部ツールからの文脈収集とアクション実行ができるようになった。

統合開発ワークフローの強化

ソフトウェア開発ライフサイクルの統合支援

　GitHubのプルリクエストレビューへの対応、複数ターミナルの同時起動、SSHによるリモート開発環境への接続機能（α版のみ）を実装。

リッチプレビュー

　PDF、スプレッドシート、スライド、ドキュメントをアプリ内のサイドバーで直接プレビューでき、エージェントの計画や実行状況をCodex内の「サマリーペイン」パネルで追跡できる。

長期的なタスク実行とパーソナライズ

自動化の拡張

　会話のスレッドを再利用し、過去の文脈を保持したまま作業を継続できる。タスクのスケジュール実行にも対応し、数日〜数週間にわたる長期プロジェクトを自律的に進められる。

メモリパーソナライズ機能（プレビュー版）

　ユーザーの好みや過去の修正履歴を記憶し、使えば使うほど個別のニーズに最適化された回答に変化する。

プロアクティブな提案

　接続されたツール（「Google Docs」やSlackなど）から優先順位の高いタスクを特定し、業務の開始時に「どこから着手すべきか」をユーザーに能動的に提案する。

---

　これらのアップデートは、2026年4月16日から、ChatGPTにログインしているCodexデスクトップアプリのユーザー向けにロールアウトが開始されている。コンピュータ操作機能については、macOS向けに提供され、まもなくEUおよび英国でも利用可能となる。メモリパーソナライズ機能は、「Enterprise」「Edu」プランおよびEU、英国のユーザー向けにも順次展開を予定している。