次世代デジタルライブラリーの画像検索の機能追加及び性能改善を行いました

2023年02月21日

実験サービス次世代デジタルライブラリーにおいて、 画像検索の機能追加及び性能改善を行いました。

次世代デジタルライブラリーの詳細については、以下のサービス案内ページをご覧ください。

1. 単語や文章から画像を検索する機能の追加

単語や文章から画像を検索する機能を新たに追加しました。

画像検索のメニューの一番右側から選択できます。

単語や文章から画像を検索する画面のスクリーンショット

この検索機能では、単語や文章によりデジタル化資料から抽出された図版(図、挿絵、写真等)を検索することができます。

英語や日本語のほか、フランス語、ドイツ語、イタリア語、中国語、韓国語、タイ語等でも検索可能です。

この機能は英語の文章と画像を対応付けるよう作成されたモデルを利用しており、機械学習による使用言語の判定及び英語への機械翻訳を行っているため、細かいニュアンスや英語圏で著名でない固有名詞等については、期待する検索結果にならないことがあります。

「チューリップのイラスト」で検索した結果

「イヌが喧嘩している」で検索した結果

「Last Supper」(最後の晩餐)で検索した結果

「小龙虾」(ザリガニ)で検索した結果

2. 画像から画像を検索する機能の改善

類似の画像を検索する機械学習モデルの改良を行い、画像検索機能の検索精度及び応答速度の改善を図りました。

これにより、内容の類似性が考慮された検索結果がより得られやすくなっています。例えば、全く同一の絵が上位にヒットするだけでなく、タッチの類似した絵が上位にヒットします。

検索結果の例

ネズミのスケッチの検索結果

リンカーンの肖像画の検索結果