AIエージェントに「任せる範囲」と、経営者が「握る範囲」|Human-in-the-Loopという設計思想

「AIに、どこまで任せていいのか」

AIの活用を検討するとき、多くの経営者がこの問いに突き当たります。

ただ、この問いの立て方には少し無理があります。任せる範囲を先に決めようとすると、判断の基準がないからです。

問いを裏返すと、輪郭がはっきりします。

自社は、何を人が握り続けるのか。

握るものが決まれば、それ以外は任せられます。順序を逆にするだけで、決められる問いになります。

この記事では、その線をどう引くかを整理します。技術の話ではなく、経営が決めるべき範囲の話です。

この記事で分かること

  • 「全部任せる」「全部確認する」がなぜ設計ではないのか
  • 判断を4つの階層に分ける考え方
  • どこに線を引くかを決める、3つの問い
  • 人が握るべきものは、承認だけではないという話

読了時間の目安:約12分

目次

自動化の議論は、たいてい極端に振れる

AIの活用を社内で議論すると、意見は2つに分かれがちです。

一方は、慎重派です。「AIの判断は信用できない。人が必ず確認すべきだ」と考えます。

もう一方は、推進派です。「確認していたら意味がない。任せてこそ効果が出る」と考えます。

どちらの言い分にも理があります。ただ、どちらも設計ではありません。

全部確認する場合、何が起きるか

処理は速くなりません。人の確認待ちが挟まるからです。

しかも確認の件数が増えると、1件あたりの注意が薄くなります。やがて、内容を見ずに承認する状態になります。

形の上では統制が効いているのに、実質は誰も見ていない。これが「全部確認する」の行き着く先です。

全部任せる場合、何が起きるか

うまくいっている間は、問題は表面化しません。

問題になるのは、想定外のことが起きたときです。取り消せない処理が実行される、取引先に誤った内容が届く、後から根拠を説明できない。

そして、こうした事態は頻繁には起きません。だからこそ、備えが後回しになります。

つまり、どちらも「決めていない」状態です。決めていないから、極端に振れます。

必要なのは、その中間を感覚で探ることではありません。どの種類の判断を人が握るかを、基準を決めて仕分けることです。

導入は進み、統制は追いついていない

これは、日本の中堅・中小企業に限った話ではありません。

調査会社ガートナーの調査では、IT部門の責任者のうち74%が、AIエージェントを組織への新たな攻撃経路になり得ると考えていると報告されています。

一方で、そうしたエージェントを管理する適切な統制の仕組みが整っていると強く同意した人は、13%にとどまったとされています。

リスクは認識されているが、備えは追いついていない。数字はその状態を示しています。

同じ調査では、2026年までに企業向けアプリケーションの40%が業務特化型のAIエージェントを組み込むと予測されています。2025年時点では5%未満だったとされる領域です。

つまり、AIエージェントは「導入するかどうか」の段階から、「入っているものをどう扱うか」の段階に移りつつあります。

自社で導入を決めなくても、使っている業務システムの側に組み込まれてくる。この点が、これまでの技術導入と違うところです。

だからこそ、線引きを先に決めておく価値があります。

一律の確認は、設計ではない

ここからが本題です。

線を引くときの原則は、シンプルです。

すべてを同じ扱いにしないこと。

AIが実行する処理には、まったく重さの違うものが混ざっています。

残高を照会するのと、支払いを実行するのでは、失敗したときの結果が違います。社内の下書きを作るのと、取引先に見積書を送るのでは、取り消しやすさが違います。

これらを同じ「AIの処理」として扱うから、判断ができなくなります。

一律に承認を挟めば、軽い処理にも人の時間が奪われます。一律に任せれば、重い処理にも歯止めがありません。

必要なのは、処理を性質ごとに分けることです。

分ける基準は、2つで足ります。

  • 元に戻せるか(可逆性)
  • 影響が社外に出るか(対外性)

この2つの組み合わせで、処理は自然に階層に分かれます。技術的な知識は必要ありません。業務を知っていれば判断できます。

判断を、4つの階層に分ける

前節の2つの基準で分けると、次の4階層になります。

階層性質扱い具体例
第1層見るだけ。何も変えない自動実行残高照会、レポート作成、データ検索
第2層変えるが、元に戻せる自動実行+事後確認下書き作成、社内タスクの登録、分類の付与
第3層戻せるが、社外に影響が出る事前承認見積の送付、発注書の作成、問い合わせへの返信
第4層戻せず、金銭や契約に直結する必ず人が判断支払いの実行、契約の締結、価格の変更

この表の使い方は、上から順に見ていくことです。

第1層と第2層は、迷わず任せてよい領域です。ここに人の確認を挟むと、自動化の効果がほとんど消えます。

第3層は、業種や取引先との関係によって扱いが変わります。定型的なやりとりであれば任せられますし、重要な取引先であれば人が確認します。

第4層は、規模を問わず人が判断する領域です。ここを自動化しても、得られる時間は限られています。それに対して、失敗したときの影響は大きくなります。

多くの会社で議論になるのは、第3層です。ここをどう扱うかに、会社ごとの判断が出ます。

そして重要なのは、この分類が固定ではないことです。

運用しながら、第3層の一部を第2層に下ろしていく。これが現実的な進め方です。最初から広く任せるのではなく、実績を見ながら範囲を広げます。

どこに線を引くか——経営が答えるべき3つの問い

4階層の考え方は、あくまで枠組みです。実際の線引きは、会社ごとに違います。

自社の線を決めるとき、次の3つの問いが手がかりになります。

問い1:いくらから、人が判断すべきか

金額の基準です。

すでに決裁権限の規程があれば、それが出発点になります。人の稟議で10万円以上が上長承認なら、AIの処理も同じ基準で構いません。

新しい基準を作る必要はありません。既存の権限規程に合わせるほうが、社内の納得も得やすくなります。

問い2:取り消せない処理は、どれか

可逆性の基準です。

業務ごとに、実行後に取り消せるかを確認します。取り消せる場合も、どのくらいの手間がかかるかを見ます。

「技術的には取り消せるが、取引先に謝罪が必要」という処理は、実質的に取り消せない側に分類します。

問い3:社外の誰に、何が届くか

対外性の基準です。

社内で完結する処理と、取引先や顧客に何かが届く処理を分けます。

届くものが、金額や条件を含む書類であれば、扱いは重くなります。単なる受領通知であれば、軽く扱えます。

この3つの問いは、いずれも経営や業務の話です。技術の知識は要りません。

逆に言えば、技術部門だけでは答えが出ない問いです。ここを決めるのが、経営の役割になります。

線引きでつまずく、3つのパターン

設計の考え方が分かっても、実際に運用すると別の難しさが出てきます。ここでは3つのパターンを整理します。

失敗1:全部に承認をつけて、誰も見なくなった

よくある現象

  • 不安なので、とりあえずすべての処理に承認を挟んだ
  • 承認依頼の通知が1日に何十件も届くようになった
  • 内容を確認せず、まとめて承認するのが習慣になった

なぜ起きるのか

人の注意力には限りがあるためです。

承認の件数が増えると、1件あたりに割ける時間が減ります。やがて「たぶん大丈夫だろう」という前提で処理するようになります。

このとき、形の上では統制が効いています。承認の記録も残ります。ところが実質的には、誰も見ていません。

もっと悪いのは、本当に確認すべき1件が、その他大勢に埋もれることです。

安全のために増やした承認が、かえって重要な判断の見落としを招きます。

どう避けるか

承認を挟む対象を、絞ることです。

判断の目安は、元に戻せるかどうかと、影響が社外に出るかどうかの2点です。この2点で絞れば、承認の件数は大きく減ります。

件数が減れば、1件あたりの確認は丁寧になります。ベンチャーネットでは、承認を増やす方向ではなく、どこに絞るかから設計します。

失敗2:「元に戻せるか」を確認せずに任せた

よくある現象

  • 「これくらいなら自動でいいだろう」と感覚で判断した
  • 実行後に、取り消せない処理だったことが分かった
  • 取引先に届いてしまった書類を、後から訂正することになった

なぜ起きるのか

処理の見た目と、取り消しやすさが一致しないためです。

画面上は同じ「登録」という操作でも、社内の下書きを作るのと、取引先に通知が飛ぶのとでは、重さがまったく違います。

操作の名前や画面の見た目からは、この違いが分かりません。

判断を任せる範囲を決めるとき、この確認を飛ばすと、本来は人が握るべき処理が自動実行の側に紛れ込みます。

どう避けるか

処理ごとに、2つの質問で仕分けることです。

  • 実行後に、元の状態に戻せるか
  • 実行すると、社外の誰かに何かが届くか

この2つに答えるだけで、扱いが決まります。難しい技術判断は必要ありません。業務を知っている人であれば答えられます。

失敗3:AIの判断根拠を、残していなかった

よくある現象

  • なぜその処理が実行されたのか、後から説明できない
  • 監査で「この判断の根拠は」と聞かれ、答えに詰まる
  • 不具合が起きたとき、どこで判断が分かれたか追えない

なぜ起きるのか

動くことを優先し、記録の設計を後回しにするためです。

人が判断していた頃は、記録は自然に残りました。承認者の名前が残り、やりとりのメールが残り、担当者に聞けば経緯が分かりました。

自動化すると、この記録が消えます。処理は速くなりますが、「なぜそうしたか」が残りません。

そして記録の設計は、後から足すのが難しい部分です。動き始めてから証跡を追加しようとすると、作り直しに近い作業になります。

どう避けるか

何を記録するかを、動かす前に決めることです。

最低限、次の3点が残っていれば説明できます。

  • いつ、どの処理が実行されたか
  • 何を根拠に、その判断がなされたか
  • 人が承認した場合、誰がいつ承認したか

これは監査対応のためだけではありません。うまくいかなかったときに、どこを直せばよいかを知るための記録でもあります。

任せる範囲を広げるほど、この記録の価値は上がります。

「止まって、待って、再開する」という実装

ここまでは考え方の話です。では、実際の業務システムではどう実現されるのでしょうか。

NetSuiteでは、2026.2のリリースで、この考え方に対応する機能が追加されています。

エージェントが処理を進める途中で、承認や担当者の入力を待つために一時停止する。応答を受け取ると、そこから自動的に再開する。こうした制御が組み込まれました。

公式には、統合の処理そのものに承認の確認ポイントを組み込むことで、効率を保ちながら統制と信頼性を高める、と説明されています。

この実装が示しているのは、一つの考え方です。

自動化と承認は、対立しない。

処理を止めて人に渡し、応答が来たら再開する。この形であれば、人が判断する場面を残しながら、それ以外は自動で進みます。

「全部確認する」でも「全部任せる」でもない、中間の設計が実装レベルで可能になったということです。

なお、承認ワークフローそのものの設定方法や、エージェント型AIの機能詳細については、それぞれ別の記事で扱っています。この記事では、どこに承認を置くかという設計の話に絞ります。

人が握るべきものは、承認だけではない

線引きの話をすると、承認をどこに置くかに議論が集中しがちです。

ただ、人が握るべきものは、それだけではありません。あと3つあります。

1. 例外が起きたときの扱い

自動化がうまく動くのは、想定した範囲の中だけです。

想定外のデータが来る、条件に当てはまらない取引が発生する、外部システムが応答しない。こうした場合にどうするかを、あらかじめ決めておく必要があります。

決めていない場合、処理は止まるか、誤った形で進みます。どちらも人が気づいてから対処することになります。

「例外が起きたら止めて人に渡す」と決めておくだけで、扱いは変わります。

2. 何を記録として残すか

処理の記録です。

いつ、何が実行され、何を根拠にその判断がなされたか。人が承認した場合、誰がいつ承認したか。

これは監査対応のためだけではありません。うまくいかなかったときに、どこを直せばよいかを知るための材料でもあります。

記録の設計は、後から足すのが難しい部分です。動かす前に決めておく必要があります。

3. やめる判断

意外と決めていないのが、これです。

どういう状態になったら、自動化を止めるのか。誤りが何件続いたら見直すのか。誰がその判断をするのか。

始めるときの基準は議論されますが、やめるときの基準は決められないまま進むことが多くあります。

止める基準があると、思い切って任せられます。逆説的ですが、撤退の条件を決めておくほうが、範囲を広げやすくなります。

よくある質問

どこから始めるのが現実的ですか

第1層と第2層、つまり「見るだけ」と「元に戻せる処理」から始めるのが安全です。

具体的には、データの検索、レポートの作成、下書きの生成といった範囲です。ここは失敗しても影響が限定的で、AIの精度を実際に確かめられます。

数か月運用して精度が見えてきたら、第3層の一部を検討します。最初から広い範囲を任せる必要はありません。

承認を挟むと、結局スピードが落ちませんか

挟む場所によります。

すべての処理に挟めば、確かに落ちます。ただ、第4層のように「必ず人が判断すべき処理」は、そもそも人が判断していた処理です。ここに承認があっても、以前より遅くなることはありません。

速くなるのは、第1層と第2層です。これまで人が手を動かしていた作業が自動で進みます。

つまり、承認を絞れば、全体としては速くなります。落ちるのは、絞らなかった場合です。

AIが間違えたとき、責任は誰にありますか

事業上の責任は、その処理を実行した会社にあります。AIが判断したから免責される、という考え方は成り立ちません。

だからこそ、どの範囲を任せるかを会社として決めておく必要があります。決めた範囲での結果は、会社が引き受けるという前提になります。

なお、契約上の責任分担については、利用しているサービスの規約や、導入を支援した会社との契約内容によって異なります。個別の判断が必要な場合は、専門家への確認をおすすめします。

中小企業でも、そこまでの設計が必要ですか

規模が小さいほど、簡単に決められます。

大企業では、部門ごとに業務が違い、承認の階層も複雑です。線引きの合意形成に時間がかかります。

中小企業であれば、決裁権限の規程を出発点にして、経営者が判断すればまとまります。むしろ、決めやすい立場にあります。

そして、線引きがないまま導入が進むリスクは、規模を問いません。使っている業務システムの側にAIが組み込まれてくるためです。

まとめ:任せるほど、握るものが明確になる

この記事の要点を整理します。

  • 「全部任せる」も「全部確認する」も、決めていない状態
  • 分ける基準は2つ。元に戻せるか、社外に影響が出るか
  • この2つで、処理は4つの階層に分かれる
  • 第1層・第2層は任せる。第4層は人が握る。判断が要るのは第3層
  • 人が握るべきものは、承認のほかに、例外の扱い・記録・やめる判断がある

そして、線引きを決める3つの問いは、いずれも経営の問いです。

いくらから人が判断するか。取り消せない処理はどれか。社外の誰に何が届くか。

これらに技術の知識は要りません。逆に、技術部門だけでは答えが出ません。

最後に、この記事の題名に戻ります。

「任せる範囲」と「握る範囲」は、対立する概念ではありません。

握るものが明確な会社ほど、それ以外を安心して任せられます。線がないから、任せることが怖くなります。

まず握るものを決める。それが、自動化を進めるための順序です。

今日から着手できることは、一つです。

自社の業務のうち、「取り消せない処理」と「社外に何かが届く処理」を書き出してみてください。

その2つのリストが、そのまま線引きの出発点になります。

もう少し詳しく知りたい方へ

自社の業務でどこに線を引くべきか整理したい方は、NetSuite認定パートナー(Solution Provider)であるベンチャーネットにご相談ください。業務の棚卸しから、一緒に考えます。

ご相談・お問い合わせはこちら

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

この記事を書いた人

持田 卓臣のアバター 持田 卓臣 株式会社ベンチャーネット代表取締役

持田 卓臣(もちだ たくおみ)
株式会社ベンチャーネット 代表取締役

ヒューレット・パッカード社でITコンサルタントとして従事した後、2005年に株式会社ベンチャーネットを設立。
Oracle NetSuite Solution Provider Partner として、中堅・中小企業向けクラウドERP「NetSuite」の導入・運用支援を提供しています。
SEO・広告・SNS・ウェブ・MA・SFAと一気通貫で培ってきたデジタルマーケティング領域の業務知見を活かし、NetSuiteを軸とした経営DXを支援しています。
著書:『普通のサラリーマンでもすごいチームと始められる レバレッジ起業「バーチャル社員」があなたを救う』(KADOKAWA、2020年)

目次