GitHub Copilotがパソコンのアプリを操作できるように。「computer use」をプレビュー公開
30秒でわかる
- GitHub Copilotがパソコンのアプリを代わりに操作できるようになった(computer use ↗)
- ボタンのクリック、文字の入力や修正、キー操作、スクロール、ドラッグまで行い、複数のアプリをまたぐ作業もこなす
- Copilot CLI(コマンドで操作する版)とGitHub Copilotアプリで使える。macOS・Windows対応のパブリックプレビュー
何が変わった
computer useは、Copilotがアプリの画面の内容を読み取り、人の代わりにマウスやキーボードの操作を行う機能です。ボタンを押す、文字を入力・修正する、キーを押す、スクロールやドラッグをするといった操作ができ、複数のアプリを行き来する作業も任せられます。APIやコマンド操作、MCP(AIが外部ツールとやり取りする仕組み)に対応していない古いソフトや、画面でしか操作できないソフトも自動化の対象になる、とGitHubは説明しています。使い始めるには、Copilot CLIでは「/computer on」と入力し、「/computer off」で止めます。GitHub Copilotアプリでは、設定のComputer Useから有効にできます。アプリを操作する前にCopilotが許可を求めるので、勝手に操作が始まることはありません。「常に許可」にしたアプリは後から見直したり、許可を取り消したりできます。
誰に関係する
画面でしか操作できないソフトの作業をAIに任せたい、GitHub Copilotの利用者に関係します。たとえば「ブラウザの通知をまとめる」「プレゼン資料の中身を更新する」といった頼み方が公式の例として挙がっています。プレビュー段階なので、動作や提供条件は今後変わる可能性があります。macOSではアクセシビリティと画面収録の許可が必要で、組織が管理するアカウントでは管理者がこの機能を止めている場合があります。