Google DeepMindは2026年5月12日、マウスポインターをAI時代のインターフェースとして捉え直す取り組みを発表した。Geminiを組み合わせた実験的な仕組みで、「AI-enabled pointer」や「AI-Pointer」（AI対応ポインター）と表現している。画面上の位置を示してきたポインターを使い、ユーザーが対象を指し示しながら、音声や短い指示でAIに依頼できるようにする。
We’re reimagining a 50-year-old interface – the mouse pointer – with AI. 🖱️
These experimental demos show how people can intuitively direct Gemini on their screens using motion, speech, and natural shorthand to get things done 🧵 pic.twitter.com/p6fhgNcopz
— Google DeepMind (@GoogleDeepMind) May 12, 2026
「これ」「あれ」で指示できるAIインターフェース
AI対応ポインターの特徴は、ユーザーが別ウィンドウに移動したり長いプロンプトを書いたりしなくても、ポインターの下にある対象をAIが文脈として扱える点にある。Google DeepMindは、AIを別アプリに迂回させないこと、ポインター周辺の文脈をAIが把握すること、「これを直して」「あれを動かして」といった短い指示を使えるようにすること、画面上のピクセルを操作可能なエンティティとして扱うことを、この仕組みの考え方として説明している。
例として、PDFを指してメール用の箇条書き要約を依頼する、統計表にホバーして円グラフへの変換を頼む、レシピの材料をハイライトして分量を2倍にする、といった操作を挙げている。また、走り書きのメモの写真をToDoリストに変換したり、一時停止した旅行動画のフレームからレストランの予約リンクを作成したりする例も紹介している。
Google AI StudioとChromeで用途別に展開
AI対応ポインターの考え方は、Google AI Studioで試せるデモと、既存プロダクトに取り入れられる機能に分かれている。
Google AI Studio：AI-Pointerのデモを試せる
Google AI Studioでは、発表時点で「AI-Pointer」の実験環境が公開されている。画像編集デモでは、画面上のオブジェクトを指し示して「この生き物を」、そして移動先の場所を指し示して「ここに移動して」のように話して移動や編集を行う流れを試せる。地図検索デモも用意されている。
Chrome：Webページ上の関心部分をGeminiに質問
Google DeepMindによると、Chromeでもこの考え方を取り入れている。同日からは、複雑なプロンプトを書く代わりに、Webページ上の関心がある部分をポインターで示してGemini in Chromeに質問できるようになっているという。ページ内の複数の商品を選んで比較を依頼する例や、部屋の画像でソファを置きたい場所を指して可視化を頼む例が挙げられている。
同日発表された今秋発売予定のGooglebookにも「Magic Pointer」が搭載され、こうしたAI対応ポインターの考え方をGooglebookのラップトップ体験にも取り入れる形になる。Google公式Xでも、Googlebookを「Gemini Intelligence」のために設計された初のラップトップと言及している。Google DeepMindはこのほか、Google Labsの「Disco」などでも将来のコンセプトをテストしていることを伝えている。
コラム：Android版Chromeには「auto browse」も登場へ
AI対応ポインターとは別の関連発表として、Chromeチームも同日、Android版ChromeでGemini in Chromeと「auto browse」を使えるようにする計画を発表した。Chrome公式Xも、プロンプトを入力し、提示された計画を承認し、完了後に戻る流れを紹介している。
Android版Chromeの新しいAI機能はGemini 3.1を基盤にする。Gemini in Chromeは閲覧ページの内容を理解し、ページへの質問、長い記事の要約、Googleアプリとの連携などを支援する。
auto browseは、Android版Chromeで初めて提供されるエージェント的なブラウジング機能である。チケット確認情報を使ってSpotHeroで駐車場を探す、Chewyの注文内容を子犬用フードから成犬用フードに変更するといった作業をChromeに依頼できるという。同じ発表では、Nano Bananaによる画像カスタマイズや、閲覧ページのインフォグラフィック化にも触れている。
Auto browse is coming soon to Chrome on @Android, letting you automate time-consuming digital chores. Prompt, approve a plan, then return when the task is complete. pic.twitter.com/I2ipo7nnQ5
— Chrome (@googlechrome) May 12, 2026
いずれも米国からの提供となる。Android版のGemini in Chromeは、Android 12以降を搭載する一部デバイス向けに2026年6月下旬から順次展開される。auto browseは同じ時期に、米国のAI ProおよびUltra加入者向けに提供予定としている。対象はRAM 4GB以上のデバイスで、米国向け提供にあたり端末の言語設定はEnglish-USである必要がある。
セキュリティ面では、デスクトップ版と同じ保護機能を備え、プロンプトインジェクションのような脅威に対抗するという。購入やソーシャルメディア投稿など、機密性の高い操作の前には確認を求める設計になっている。