iPhoneのビジュアルインテリジェンスでスクリーンショットの内容を調べる方法

iOS 26ではApple Intelligenceで機能するビジュアルインテリジェンスで、スクリーンショットで撮影したiPhoneの画面の表示を直接調べることができます。

Webサイトやメール、共有写真などから見つけたアイテムや食べ物をChatGPTに質問したり、すてきなスポットをGoogleで検索できます。翻訳や要約、予定をカレンダーに追加するなど、すでにお馴染みの機能も併用可能です。

スクリーンショットの内容を調べる

iPhoneで表示中の画面をスクリーンショットで撮影してビジュアルインテリジェンスを起動し、内容を調べます。

1. ビジュアルインテリジェンスで調べたい画面を表示する
2. スクリーンショットを撮る
3. 画面下部にある「質問」(ChatGPT)または「検索」をタップ
4. (「質問」の場合) 回答を読む、(「検索」の場合) 「Google」などをタップ

撮影したスクリーンショットがプレビューで表示されると、スクリーンショットの内容についてChatGPTに質問したりGoogleなどで検索できるようになります。

スクリーンショットはそのままのサイズでも良いですが、本来の機能を活用して関心のある部分を切り取ったり、複数のオブジェクトが混在している場合はマークアップで囲んで認識させるのもおすすめです。

もちろんビジュアルインテリジェンスの作用も活かして、直に特定のオブジェクトを指で囲むのもおすすめ。すぐさまオブジェクトにフォーカスして、ターゲットを絞った質問または検索を進行できます。

をタップするだけでChatGPTは回答してくれますが、的確な回答を得るには質問バーで詳しい内容をテキストで伝えると精度が上がります。質問を繰り返すことで、さらにベターな回答を追求できるでしょう。

さまざまな関連情報をビジュアルで一覧表示するなら、手始めに「Google」をタップで画像検索。思うような画像がない場合は、画面下部にある「Googleの検索結果をさらに表示」をタップして検索バー下に配列したカテゴリーで最適な結果を探します。

それでも満足できる結果が出ない場合は、検索中のスクリーンショットが追加された検索バーに具体的な内容をテキストで入力して絞り込みます。

気に入ったアイテムの特徴を情報から確認したなら、ショッピングサイトで本格的に検討するのも良いでしょう。

スクリーンショットの内容に関連する機能を利用する

ビジュアルインテリジェンスはスクリーンショットに写ったオブジェクトを調べるだけでなく、ユーザーにとって有益で役立つ情報があると判断した場合は、すぐに実行できる適切な機能を画面下部に提案します。

カメラコントロールなどで周囲の物体を調べるときにも使用する機能を、スクリーンショットにも適用されました。

ある場所の連絡先のスクリーンショットを撮影した場合は、住所、電話番号、メールアドレスなどですぐにアクセスしたいことがあります。ビジュアルインテリジェンスがスクリーンショットから検出した関連項目をタップするだけで、マップ、通話、メールに誘導してくれます。

文章では要約や読み上げ、リンク、外国語のテキストで翻訳などを利用でき、要点を素早く把握したり、内容をリスニングをしながら他の作業と同時進行できます。

URLをタップすればWebサイトへジャンプし、コピペの手間もなく詳細情報をシームレスにキャッチ。

スケジュール管理の機能も備わっているビジュアルインテリジェンスには、スクリーンショットにイベントなどの日時を認識するとカレンダーへの追加も提案してくれます。

スクリーンショットのフルページには非対応なので、1画面に収まらない場合は必要に応じて他の表示をスクリーンショットするだけです。

まとめ

ビジュアルインテリジェンスでスクリーンショットに対する質問や検索にも対応したことで、使い道の幅が広がりました。iPhoneの画面上で気になるものはスクリーンショットを撮影して、関連するアプリで情報を得たりアクションを実行しましょう。