ChatGPT、“目”と“耳”の実装を発表 写真の内容を認識、発話機能でおしゃべりも可能に
米OpenAIは9月25日（現地時間）、同社のチャットAI「ChatGPT」に、画像認識、音声認識、発話機能が搭載されたと発表した。今後2週間かけて、PlusユーザーとEnterpriseユーザーに展開するという。画像機能はPCやスマートフォンなど全てのプラットフォームからアクセスでき、音声機能はiOS／Androidで利用可能。
画像認識機能は、写真やスクリーンショット、テキストと画像の両方を含むドキュメントなどの読み取りが可能。OpenAIでは「グリルが起動しない原因を解決したり、冷蔵庫の中身を調べて食事の計画を立てたり、仕事関連のデータの複雑なグラフを分析したりできる」としている。
複数枚の画像読み取りにも対応。認識してほしい部分を丸で囲ってChatGPTに読み込ませることができる他、ChatGPTと話している内容を画像で表示させることも可能という。こうした画像認識は、マルチモーダルに対応したGPT-3.5およびGPT-4によって実現している。
自転車のサドルを調整する方法をChatGPTに聞くデモ
「これがレバーか？」という画像付きの質問にも回答。丸で囲われた部分を認識している様子がわかる
音声認識は、OpenAIの音声認識システム「Whisper」を使用。スマートフォンアプリの「Settings」から「New Features」に進み、音声会話機能を有効にすることで利用できる。音声は5つの種類から選択可能だ。
音声機能は、新しいtext-to-speechモデルを採用しており、テキストと数秒のサンプル音声のみで人間のような声を生成可能。モデルの開発にはプロの声優と協力して声を作成したという。なお、この音声合成技術は米Spotifyでも音声翻訳機能として試験運用されているという。
Copyright © ITmedia, Inc. All Rights Reserved.
この記事の著者
関連記事
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
メルカリ、梨の転売疑惑に「盗品の出品は確認されず」 誹謗中傷には利用制限も
-
2
「Xが情報収集に役立たない……」熊本地震で不満の声続出 「Twitterを返して」
-
3
「こんなのに追われたら……」急斜面もやすやす爆走、中国製の車輪付き四足ロボのデモ動画が話題 最高時速20km超
-
4
検索結果に「詐欺ではありません」と表示させる詐欺手口、警視庁が注意喚起 AI要約も餌食に
-
5
Z世代に聞く次の流行、「AIイラスト」が1位に 「Claude Code」も上位
-
6
東野圭吾さん死去、Xなどで追悼相次ぐ 「ガリレオ」など数々の人気作、エンジニアから転身
-
7
はてな、11億円流出の調査報告書を公開 偽警察、口外禁止、残業・休出200時間超、孤立……ほころびが連鎖
-
8
NVIDIAやMicrosoftなど30社超、オープンAIの防御ツール共同開発の「Open Secure AI Alliance」設立
-
9
「あ、その情報メモしたい！」を叶えるワイヤレスイヤフォン、Nothing「Ear (3a)」
-
10
農水省の“クソダサ”ポスター話題 「AIよりよっぽど良い」の声も 担当者に狙いを聞いた
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR