Claude Code の新機能「Computer Use」:Claude が画面を見てクリックする

Computer Use は、Claude が PC の画面を見て、クリックや入力をする機能です。コマンドで操作できないアプリでも、人と同じように画面から操作します。2026年3月に Mac で始まり、4月には Windows のデスクトップアプリでも使えるようになったと報じられています。9月には、Mac のデスクトップアプリで「裏側で動かす」こともできるようになりました。

※ 私はまだ試していません。この記事は公式ドキュメントで確認した内容です。

何ができるのか

  • 自分で作ったアプリを起動して、ボタンを順に押して動作を確かめる
  • 画面の崩れを、ウィンドウの大きさを変えながら再現して、直す
  • コマンドや API(外から操作する窓口)がない、画面だけのアプリを操作する

実は「最後の手段」

公式ドキュメントには、Claude が操作の方法を選ぶ順番が書かれています。

  1. 専用の連携(MCP サーバー)があれば、それを使う
  2. コマンドでできるなら、コマンドを使う
  3. ブラウザの作業で、Chrome との連携があれば、それを使う
  4. どれも使えないときだけ、Computer Use を使う

画面を見て操作する方法は、一番遅いからです。PC の作業の多くは、Computer Use を使わなくても Claude Code で自動化できます。

使える条件

項目ターミナル(CLI)デスクトップアプリ
OSMac のみMac と Windows
プランPro か MaxPro か Max
オンにする場所/mcp で computer-use を Enable設定の「This computer > System」で Enable computer use
裏側で動かす—Mac のみ(ベータ)

公式ドキュメントでは、今も「リサーチプレビュー(試験公開)」と書かれています。8月に「正式提供になった」と書いている記事もありますが、公式の表記とは食い違っています。

安全のための仕組み

  • 操作するアプリは、その都度、人が許可する
  • アプリの種類によって、できることが決まっている。ブラウザは見るだけ、ターミナルや VS Code はクリックだけ、ほかのアプリは全部の操作ができる
  • Esc キーを押せば、すぐ止まる
  • 同時に PC を操作できるのは、1つのセッションだけ

公式ドキュメントでは、Computer Use は実際の画面で動くため、ふだんのコマンドより注意が必要だと書かれています。銀行など見られたくない画面は、閉じてから使うのが安全です。

頼み方の例

Computer Use を使う前に、コマンドや Chrome の連携でできないかを先に確かめてください。
どうしても画面操作が必要なときだけ使ってください。
操作するアプリの名前を、使う前に教えてください。

出典(確認日:2026-10-15)

  • Let Claude use your computer from the CLI(公式):https://code.claude.com/docs/en/computer-use
  • Desktop application(公式):https://code.claude.com/docs/en/desktop
  • Week 36(公式・裏側で動かす機能):https://code.claude.com/docs/en/whats-new/2026-w36
  • Claude Code can now run your desktop(devops.com):https://devops.com/claude-code-can-now-run-your-desktop/

コメント

タイトルとURLをコピーしました