← ハーネス環境のつくり方 ― 4つの要素を順番に整える に戻る
「やらないで」と書いても、止まらないことがある
決まりのファイルに「これはやらないで」と書いても、AIが守れないことがあります。急いでいるとき、指示が長いとき、思いがけない画面に出会ったときです。
大事な操作は、お願いの文ではなく、仕組みで止めます。仕組みは3つです。
- 人の承認：大事な操作の前に、人が「はい」と言う
- 自動の見回り：決まった時間に、機械が状態を確かめる
- 記録：操作の前と後の状態を残す
1. 人の承認は、大事な操作だけに
全部の操作に「やってよいですか」と聞かせると、人は内容を読まずに押すようになります。
あるAIの開発会社は2026年8月、利用者が許可の確認の97%をそのまま承認している、と公表しました。確認が多すぎると、確認は形だけになります。
TOCで見ると、人の確認は会社の中でいちばん限られた資源です。確認がボトルネックなら、確認する場所を減らして、そのぶん1回1回を確実にします。
人が確かめるのは、次の操作だけにします。
- 公開する、送る（取り消せない）
- 消す、上書きする（元に戻せない）
- お金が動く
確かめるときは、「何を・どこに・どう変わるか」をAIに見せさせてから「はい」と言います。1回の「はい」で行うのは、その操作1つだけです。
2. 自動の見回り
人は毎日すべてを見ていられません。大事な所は、機械に決まった時間に見てもらいます。
たとえば、ホームページの大事な部品（申込のボタン、計測のしかけ）が、ちゃんと表示されているかを毎朝確かめます。見回りは「読むだけ」にします。見回りが何かを直そうとすると、それ自体が新しい事故のもとになるからです。
3. 操作の前と後を記録する
AIに設定を変えさせるときは、次の順番にします。
- 変える前の状態を、ファイルに控える
- 変える
- もう一度読み直して、前の控えと比べる
「変える前に読んだ値」を、「変えた後の状態」として控えにはしません。変えたあとは、必ず読み直します。
AI×TOC研究所で実際に起きたこと
2026年10月、AIがホームページの管理画面の一覧で、控えを取る作業の途中に、チェックの箱をまとめて押す操作をしました。その一覧では、行ごとの「有効・無効」の切り替えも、同じ形の箱でした。その結果、サイトに追加していた小さなプログラムが、ほぼ全部止まってしまいました。申込や計測のしかけも止まり、気づくまでに時間がかかりました。
このあと、次の3つを仕組みにしました。
- 一覧の画面で、チェックの箱をまとめて押さない（決まりのファイルに書いた）
- 設定に触る前と後に、状態を読み直して比べる
- 毎朝、公開しているページを読むだけで見回る。大事な部品が消えていたら、人間の責任者に届く確認のメールに載る
「気をつける」では、同じことが起きます。止まった原因を、仕組みで1つずつふさぎます。
まずやること
あなたの会社で、AIに「これだけは人が見てから」にしたい操作を3つまで選んでください。それ以外は、AIに任せて記録を残す側に回します。
あなたの会社で、いちばん取り返しのつかない操作は何でしょうか。