iPhoneのビジュアルインテリジェンスで周辺にあるものを検索する｜カレンダー・翻訳・要約もあり

Apple Intelligenceで機能するビジュアルインテリジェンスでは、iPhoneのカメラで認識した被写体をChatGPTに質問したりGoogleで検索できます。

テキストの翻訳や要約、カレンダーに日時の追加をするなど、内容に役立つさまざまな機能を提供してくれます。

ビジュアルインテリジェンスを使う設定をする

ビジュアルインテリジェンスは、カメラコントロールをはじめ複数の方法で起動できます。

• カメラコントロール…「設定」→「カメラ」→「カメラコントロール」→「長押ししたときの操作」をオン→カメラコントロールを長押しして起動
• アクションボタン…「設定」→「アクションボタン」→「ビジュアルインテリジェンス」を設定→「設定」→アクションボタンを長押しして起動
• コントロールセンター…「ビジュアルインテリジェンス」をタップして起動
• ロック画面…画面下部のいずれか→「ビジュアルインテリジェンス」を長押しして起動

カメラコントロールはiPhone 16シリーズで利用できます。

コントロールセンターとロック画面では、それぞれにビジュアルインテリジェンスを追加してください。

物理ボタンで起動するカメラコントロールとアクションボタンに対して、コントロールセンターとロック画面ではスクリーン上で起動します。

ChatGPTに質問/Googleで検索する

ビジュアルインテリジェンスのメイン機能である物体の検索機能を使ってみます。ビジュアルインテリジェンスがカメラに写った被写体を認識すると、ChatGPTまたはGoogleを使うように誘導してくれます。

1. ビジュアルインテリジェンスを起動する
2. 調べたい被写体をカメラにかざす、またはシャッターボタンをタップ
3. 「質問」(ChatGPT)または「検索」(Google)をタップ
4. 「x」をタップして閉じる
5. 必要に応じて3でもう一方の方法を使用する

被写体をフォーカスすると、ビジュアルインテリジェンスが「質問」(ChatGPT)と「検索」(Google)を提供してくれます。すでに検索方法が決まっているなら直接タップ、撮影した被写体を確認してから検索方法を決めるときはシャッターボタンをタップすると良いです。

ChatGPTではテキストによる詳しい説明、Googleではテキストでイメージしづらい回答を画像で判断したいときや関連するWebサイトで調べたい場合におすすめです。

ChatGPTの回答は、まるで人間が見たり感じているかのようにリアルに伝わってきます。回答に対する理由や用途、アドバイスを述べたり、触感や状態に関しても詳しく説明してくれます。記載されたテキストをカメラを通して質問することも可能です。

あくまでもビジュアルで判断するので、明らかに間違っていたり不確かな回答もあります。この場合はGoogleのWeb検索結果も併用し満足のいく回答を探し出してください。

ChatGPTではチャットバーで質問を展開でき、Googleでは画像をタップでWebサイトへアクセスしたり検索結果から被写体に関する疑問を引き続き追求できます。

日時をカレンダーに追加する

日付や時間を認識すると、ビジュアルインテリジェンスはカレンダーに追加する準備をしてくれます。

1. ビジュアルインテリジェンスを起動する
2. 日時をフォーカスする
3. シャッターボタンをタップ
4. 表示された日時をタップ、またはをタップ→日時をタップ
5. カレンダーに必要事項を入力する
6. 「追加」をタップ
7. 「x」をタップして閉じる

予約日や期限日など画面に表示された日時をタップすると、該当する日時がすでに設定されたカレンダーの新規予定画面が起動します。

複数の日時が認識され他の予定も追加したい場合は、カレンダーに追加後をタップ→日時をタップしてください。

画面上部に「予定を作成」が表示された場合も、タップで新規イベントを追加する操作ができます。予定の詳細を設定したい場合は「編集」→必要事項を設定→「追加」をタップ、そのまま追加する場合は「スケジュール」→「スケジュール済み」→「予定の詳細」でスクリーンショット(event-img.png)と一緒に内容を確認できます。

カレンダーに追加する前は、オリジナルと日時が同じであるか確認することをおすすめします。

Webサイトヘアクセスする

ビジュアルインテリジェンスはURLも認識します。詳しい情報を知りたい場合に、関連するWebサイトへダイレクトにアクセス可能です。

1. ビジュアルインテリジェンスを起動する
2. URLをフォーカスする
3. シャッターボタンをタップ
4. 表示されたURLをタップ

オリジナルに他のURLもあり他のWebサイトへもアクセスしたい場合は、をタップ→Webサイトをタップします。

Webサイトは設定中のデフォルトのブラウザで表示されます。

テキストを翻訳する

ビジュアルインテリジェンスはテキストを翻訳する機能も持ち合わせています。日常生活や海外の滞在先で見かける外国語の理解をサポートしてくれます。

1. ビジュアルインテリジェンスを起動する
2. 翻訳するテキストをフォーカスする
3. シャッターボタンをタップ
4. 「翻訳」をタップ
5. 「x」をタップして閉じる

カメラに写っているすべてのテキストが翻訳されます。

単純な文章はわかりやすく翻訳できますが、前後の言葉を判断しながら意味合いを変える必要がある場合や、言語独特の言い方は翻訳しづらいようです。

このような欠点は、薬を飲む時間をカレンダーに追加する認識をしたり外国車のナンバープレートのナンバーをフライトナンバーとして捉える、バーコードを電話番号で表示する場合にも見受けられます。

同じテキストを繰り返し翻訳すると多少変更される部分がありますが、改善するよりも言い方を変える程度です。

ChatGPTの英語の回答を日本語に翻訳したものよりクオリティは劣ると考えると、被写体の直訳は特に重要でない場合に行うと良いでしょう。

テキストを要約する

対応するテキストをカメラでフォーカスすると、ビジュアルインテリジェンスで要約できます。

1. ビジュアルインテリジェンスを起動する
2. 要約するテキストをフォーカスする
3. シャッターボタンをタップ
4. 「要約」をタップ
5. 「x」をタップして閉じる

Webサイトなど画面に写っているテキストも対応しています。

ビジュアルインテリジェンスでは、カメラ内のテキスト全体を自然な文体でまとめてくれます。数ページにわたる長文のテキストでも、テーマに沿って内容をフォローしやすいです。

要約の量はテキストによって異なり、関心のある部分をフォーカスしながら本文で効率よくリーディングできます。

「要約」が表示されない場合は、他の項目の右にあるをタップ→「要約」をタップしてください。

まとめ

ビジュアルインテリジェンスにより、検索をはじめ関連する機能で作業を簡易化できます。ご紹介した機能の他にも読み上げや通話など、認識した内容に柔軟に対応。気になるものを見つけたら、ビジュアルインテリジェンスで解決しましょう。