Webページから新語を自動抽出 検索精度向上に
独立行政法人・情報通信研究機構（NICT）と沖電気工業は7月21日、Webページ内の新語を自動抽出し、属性を判別する技術を開発したと発表した。検索エンジンの精度強化に生かす。
文章中の語句の出現頻度や、前後の語句の変化などから新語を判別し、既存辞書とのマッチングを行って品詞など属性を判定する。名詞だけでなく、助詞を含む成句など多様な新語を抽出できるという。
高速処理も特徴だ。2年分の新聞記事（約1億文字）を平均1日で解析できるという。
従来のテキスト解析技術を使った検索では、辞書に登録されていない新語を検索するのが難しく、検索精度を下げる原因となっていたという。新聞記事などを使って新語を獲得する研究が行われているものの、ネット上の文章は書式が多様で、自動獲得が難しかった。
Copyright © ITmedia, Inc. All Rights Reserved.
こんなメディアも見られています
ITmedia NEWSに関連する情報をお探しであれば、こちらのメディアもお役に立てるかもしれません。
SpecialPR
本日の新着記事
アクセスランキング
-
1
GMO、ランサム被害にあった顧客に新しいPC提供へ 犯行グループは1人の顧客情報公開か
-
2
NECのルータ「Aterm」、PHP脆弱性の影響なし 設定画面URLの「.php」は無関係
-
3
GMO、不正アクセス実行犯の手がかりに懸賞金 1億5000万円規模
-
4
auメールで朝から障害 全国で利用しづらい状況に
-
5
「楽天トラベル」に不正アクセス 顧客情報最大約260万件など流出か 予約者約3.6万件のクレカ情報も
-
6
Apple、M6搭載の14インチ「MacBook Pro」発表 AI性能向上、33万9800円から
-
7
GMO、攻撃者の公開情報に「アクセスは絶対に控えて」 悪質な拡散者には法的措置を準備
-
8
IPO目論見書に「AIは人類の存亡リスク」「コードの9割はClaude製」 Anthropicが示した規格外の見立て
-
9
メアドを検索→AIで“その人専用フィッシングメール”を生成する手法、クリック率が約2.7倍に 7000人以上で実験
-
10
So-net、会員情報約259万件が漏えい 一部メールサービスではパスワードも流出
ITmedia NEWS SNS
@itmedia_newsをフォロー
インフォメーション
注目情報をチェック
ITmediaNEWSをフォロー
あなたにおすすめの記事PR