PC操作エージェントとは、画面を見て、マウスとキーボードを動かすAIのことです。APIでつながらない業務に手を届かせるための最後の手段にあたります。
つなげるならAPIが先です。その方法は手を持たせるに書きました。つなげない業務は、読むだけの仕事から、人が見ている前で、社内用と社外用の席を分けて小さく試します。では、昔からあるRPAと何が違うのでしょうか。
「そのシステム、APIがないんです」
請求データを、取引先ごとの専用サイトに1件ずつ入力する。古い業務システムの画面を開いて、受注を転記する。どちらも、やっていることは単純です。
ただ、自動化しようとすると壁に当たります。APIがない。あっても、うちの契約では使えない。だから人が画面を開いて、手で入力し続けることになります。
ここに、画面を見て操作するAIが入ってきました。目と手を持たせるという言い方がしっくりきます。
何ができて、何ができないか
図1：できることと、苦手なこと。環境依存が大きい領域です。
Microsoftの公式ドキュメントは、この機能をこう説明しています。ボタンを選び、メニューを選び、画面のフィールドに文字を入力することで、Webサイトやデスクトップアプリを操作する。実行してほしい操作は自然な言葉で書く。用途の例として、データ入力、請求書処理、データ抽出が挙げられています。
一方で、できないことも明記されています。Electron、Java、Unity、ゲーム、コマンドラインの画面、Citrixなどの仮想化環境では、サポートされない場合がある。（Microsoft Learn「コンピューターを使用してWebアプリとデスクトップアプリを自動化する」、確認日：2026年9月21日。日本での提供状況と料金は公式情報でご確認ください）
自社の環境で動くかどうかは、試してみるまで分かりません。古い業務システムや、画面を転送して使う仕組みを使っている会社では、動かないこともあります。
RPAとの違いは、「画面が変わったとき」に出る
「それは昔からあるRPAと何が違うのか」という質問をよくいただきます。違いがいちばん出るのは、画面が変わったときです。
従来のRPAは、画面上の要素を指定して動きます。だから画面の作りが変わると止まります。この弱点は、RPA最大手のUiPathが自社のブログで率直に書いています。画面の変更がロボット停止の主な原因である、と。あわせて、調査会社の数字も引用されています。RPAの案件の30〜50%が当初の目的に届かない（EYの調査）。50%超のRPA案件が、ロボット10体を超えて広がれない（フォレスターの調査）。ロボットの修理には数時間から数週間かかることもある。（UiPath公式ブログ、2025年7月22日、EY・フォレスターの調査の引用を含む、確認日：2026年9月21日）
対して、画面を見て操作するAIは、画面が変わっても続けられるとベンダーは説明しています。Microsoftの公式ドキュメントにも、AIを使っているのでインターフェイスの変更に適応し、ボタンや画面が変わっても動作を続ける、という趣旨の記載があります。
ただし、これはベンダー側の説明で、第三者が検証した数字ではありません。うまくいくこともあれば、止まることもある。この前提で試すのが安全です。
見落としてはいけないリスク
画面を操作するAIには、固有のリスクがあります。開いたページの中に、AIへの指示が紛れ込んでいる場合があるのです。いわゆるプロンプトインジェクションです。
この危うさは、提供している側が数字で公表しています。Anthropicは2025年11月、自社のブラウザ操作エージェントを評価しました。環境ごとに100回の攻撃を試す方式です。攻撃の成功率は1%まで下がったと報告しています。そのうえで、こう書いています。プロンプトインジェクションに免疫のあるブラウザエージェントは存在しない。（Anthropic、2025年11月24日、確認日：2026年9月21日）
国内でも助言が出ています。情報処理推進機構（IPA）が2026年4月に公開した「AI利用者のためのセキュリティ豆知識」です。対策のひとつとして、「AIブラウザは社内用と社外用を分ける」という項目が挙げられています。対象読者は、AIにもセキュリティにも詳しくない利用者や管理者とされています。（IPA、2026年4月2日公開、確認日：2026年9月21日）
つまり、外のサイトを見に行くAIと、社内システムを触るAIを、同じ席に座らせない。これが、いま取れるいちばん簡単な守りです。安全装置の組み方は安全装置に、会社としての守りは中小企業のAIガバナンス・セキュリティ入門にまとめました。
中小企業の始め方：つなげないものだけ、小さく
図2：APIを先に探し、読むだけから、人が見ている前で、席を分けて。
1. APIがあるかを先に確かめる。つながるなら、そちらが安定していて速い。画面操作は、つなげないときの手段です。
2. 読むだけの仕事から試す。画面から数字を取り出して一覧にする、といった作業です。間違えても、書き込んでいないので戻せます。
3. 人が見ている前で動かす。頼まれたときだけ動く形にして、最初の1か月は、人が画面を見守ります。夜中に自動で動かすのは、その後です。
4. 社内用と社外用の席を分ける。外のサイトを見に行くAIに、社内システムの権限を持たせない。IPAの助言はここに効きます。
画面操作エージェントについて、企業名と数値がそろった国内の公開事例は、確認した範囲では見つかりませんでした。製品の発表は増えていますが、実務での成果はこれから出てくる段階です。だからこそ、大きく賭けずに小さく試す価値があります。
よくある質問
Q. いま使っているRPAは、やめたほうがよいですか？
A. 動いているものは、そのままで構いません。画面の変更で止まるたびに直している部分から、置き換えを検討するのが現実的です。
Q. どのくらいの精度で動きますか？
A. 業務と画面によって大きく変わります。公開されているベンチマークもありますが、自社の画面での結果とは別物です。10件ほど試して、手直しの回数を数えるのが確実です。
Q. 人の代わりに操作させるのは、規約上の問題はありませんか？
A. 相手先のサイトを操作する場合は、利用規約の確認が要ります。自社のシステムでも、IDの共有を禁じている契約があります。始める前に、この2点だけは確かめてください。
まとめ：最後の手段として、賢く使う
画面を見て操作するAIは、APIでつながらない業務に手を届かせます。従来のRPAが止まりやすかった「画面が変わったとき」に強いとベンダーは説明していますが、第三者の検証数値はまだありません。対応しないアプリや環境も公式に明記されています。そしてプロンプトインジェクションのリスクは、提供側が「免疫はない」と認めている段階です。
自社のどの業務なら、つながらないぶんを画面操作で埋める価値があるのか。ここは、業務を並べて初めて分かります。ベンチャーネットはFDE型の伴走として、APIでつなげるものと、画面操作に回すものの仕分けからご一緒しています。いま手で転記している作業を1つ思い浮かべて、まず壁打ちから。
次に読むなら
「APIでつなぐ方法を知りたい」
→ 手を持たせる——MCP・APIで基幹システムとSaaSにつなぎ、バーチャル社員に仕事をさせる
「1台のPCを社員にする手順は？」
→ PCの社員化——1台のPCを「1人の社員」にする手順
「権限と承認の設計を知りたい」
→ 安全装置——権限・承認・ログ・線引きを、バーチャル社員に実装する
「会社としての守りを固めたい」
→ 中小企業のAIガバナンス・セキュリティ入門——プロンプトインジェクションから会社を守る
この記事で参照した公開情報
- Microsoft Learn「コンピューターを使用してWebアプリとデスクトップアプリを自動化する」（日本語版）
- UiPath 公式ブログ（2025年7月22日、EY・フォレスターの調査を引用）
- Anthropic 研究記事（2025年11月24日）
- 情報処理推進機構（IPA）「AI利用者のためのセキュリティ豆知識」（2026年4月2日公開）
機能の提供状況と料金は変わります。導入前に各社の公式情報をご確認ください。
