- 老田築
- 約 4,100 文字
目次
はじめに
老田です。
新しいプロジェクトに入ると、まずその業界のことが何も分かりません。せめて取っ掛かりぐらいは AI に手伝ってもらえないかと思って、業界の下調べをやらせる手順を作ってみました。
速さは期待どおりでした。しかし困ったことに中身は参考にならないレベルでした。1 回目に返ってきたものは体裁が整っていて、読むと分かった気になるのに、肝心の項目がまるごと抜けていました。しかも未経験分野の場合は間違っていることや抜けていることにしばらく気づきませんでした。
今回は何が壊れたのか、どう縛ったら直ったのか、人が何を見ればいいのかを書きたいと思います。
試した対象
サンプルとして 2 つのドメインを対象にしました。
- 地形図の図式(未経験)
- ロボットのティーチング(経験有)
知らない業界だけで試すと、出てきたものが正しいのか自分で判断できません。分かっている業界を並べておくと、AI の出力を自分の知識と突き合わせられます。実際、後者では「現場でその言い方はしないな」という違和感からいくつか粗が見つかりました。
例えばロボットティーチングの分野では各メーカーごとに使われている単語が違ったりします。それらが別の単語として独立した意味を持ってしまってるケースがありました。
また、ISO(国際標準化機構)の版ごとに変化があった箇所で古いデータを参照してることで、規格・規則が現在時点に即していないものを提示されることもありました。
最初に渡した指示はこれだけです。
- ドメインの地図を作ること。個別の規則の実装には使わないこと。
- 根拠は 1 次情報に限ること。
- 分量は 1 ファイル 1500 〜 3000 字。
使った環境です。モデルは入れ替わりが早いので、いつ時点の話かを添えておきます。
| 項目 | 内容 |
|---|---|
| 実行時期 | 2026 年 9 月 |
| エージェント | Claude Code |
| モデル | Claude Opus 5(1M コンテキスト)。モデル ID は claude-opus-5[1m] |
| 推論の強さの設定 | xhigh |
以下の壊れ方は、この組み合わせで観察したものです。別のエージェントや別のモデルでも同じように壊れるかは確かめていません。
字数で縛ったら、項目の数が減った
返ってきた成果物には、出典表があり、用語が 15 語定義され、未解決の疑問が並んでいました。形は整っています。
しかし足りないことに気づいたのは、それを持って人に質問しようとしたときでした。その仕事がどの工程に当たるのかが書かれておらず、成果物が何で構成されるのかも書いていません。登場するものの一覧もありません。
工程・構成・オブジェクト。業界を知るときに最初に押さえたい 3 つが、そろって落ちていました。
犯人は「1500 〜 3000 字」です。AI はこの制約を、各項目の説明を短くするのではなく、挙げる項目の数を減らして満たしていました。
人に「短くまとめて」と言えば、たいてい説明のほうを削ります。項目を落とすと網羅性が壊れると知っているからです。おそらく AI はそこを区別していないのでしょう。数字ひとつで雑に縛ると、どこを削るかは向こうが決めます。
人の調査では起きない壊れ方があった
直しながら見つけたものを並べます。
出典がなくても文章が書けてしまう問題がありました。人は知らないことを書けませんが、AI は書けます。しかも書きぶりが自然なので、出典があるかどうかを文体から見分けづらいです。
「見つけた」と「読んだ」が混ざります。検索結果で存在を知っただけの規格を、中身を確認したかのように書きます。有料で本文が読めない規格でも、表題から想像した内容を書いていました。
一番厄介だと思ったのは、「調べたが見つからなかった・分からなかった」を書かないことです。実務ではこの空白が重要な情報源である場合も少なくないと思います。
字数ではなく、書くべき節で縛る
字数の指定をやめて、必須の節のリストに変えました。
- 目的と使い先
- 範囲・範囲外・隣接領域
- 出典表
- ドメインの輪郭
- 工程の地図
- 成果物の構成
- 構成オブジェクトの一覧
- 主体と役割
- 用語集
- 突き合わせ
- 未解決の疑問
- 次に深掘りすべき分野
- 更新履歴
そのうえで「浅くするのは各項目の説明であって、挙げる項目の数ではありません」と書き添え、各項目 1 〜 3 行、オブジェクト 20 〜 40 個、用語 30 〜 50 語という目安を付けました。
これで落ちなくなりました。2 回目は工程が 5 フェーズ、オブジェクトが 32 個、用語が 44 語。全体の分量は 2834 字から 12049 字へ増えましたが、1 項目あたりは 1 〜 2 行のままです。
ひとつコツがあって、埋まらなかった節を削らせてはいけません。「調べたが分からなかった」と書き残させます。削ってよいことにすると、また消えます。
出典を 3 段に分け、確認状況を列に持たせる
情報源の格を先に決めました。
- 1 次情報。規格の原本、法令、業界団体が自ら出した規定や用語集。根拠にできるのはこれだけ。
- 2 次情報。解説記事、書籍の概説。1 次情報へたどる手掛かりにはするが、根拠にはしない。
- 根拠にしないもの。出典のないまとめ記事、SNS、そして AI 自身の出力。
最後の 1 行は地味ですが要ります。前のステップで自分が書いたことを、次のステップで既知の事実として扱うのを止められます。
出典表には確認状況の列を足しました。
| ID | 発行元 | 正式名称 | 版・発行日 | 所在 | 取得日 | 確認状況 |
|---|---|---|---|---|---|---|
| E1 | 業界団体 | 用語集 | 版の表示なし | URL | 2026-09-09 | 全量読了 |
| E2 | 規格協会 | 規格の表題 | 2013 年版 | URL | 2026-09-09 | 表題のみ確認(本文は有料で未読) |
この列があるだけで読み方が変わります。「表題のみ確認」の行を根拠にした記述に断定は書けない、というルールが勝手に効くからです。取得日も必須にしました。ウェブの文書は改訂されるので、いつ時点かが分からないと再検証できません。
情報源を減らしたら、質が上がった
ウェブで公開されていて第三者が URL から開けるものだけに絞りました。ローカルにあるメモや MCP からアクセスできる社内知識が混ざっていると、どこまでが公開情報で裏づけられるのか分からない文書になります。
信憑性の低い 2 次・3 次情報は使わず、1 次情報を使うように制限しました。解説記事を見つけると、そこに書いてあることを事実として書き、又聞きのような情報が成果物に載ります。
ロボットティーチングではどのような手順や作法でロボットにティーチングするかの公開資料がゼロでした。今回の地形図の図式でも同様に、何を描いて何を省くかの判断の作法が分かりませんでした。
地図を例にすると、それが調査不足ではないことも確かめられました。
- 図式は記号の大きさ・線の太さ・文字まで定めているのに、何を描いて何を省くかは定めていない。
- 図式は明治 13 年式から平成 25 年式まで 8 版を重ねているが、どの版も表現の規則であって取捨選択の規則ではない。
- 公開されている地図記号の一覧は 11 の分類に分かれているが、どれも何を描くかの分類であって、何を省くかの区分はない。
ここまで来ると「この先は人に聞くしかない」が根拠付きで言えます。キャッチアップで最初に手に入るのは知識ではなく、知識の境界線でした。境界線があると、質問の形が変わります。「教えてください」ではなく「ここまで調べて、ここが分からない」になります。聞かれる側の負担がだいぶ違うはずです。
人が見るところ
そのまま信じるわけにはいかないので、確認する箇所を決めました。節がそろっているか、出典表に空欄がないかといった形式の点検は AI に回せるので、下の折りたたみに指示としてまとめました。書いたセッションとは別のセッションで回します。ここに挙げるのは、人が見たほうがよい 4 つです。
出典の URL を開いて数値が合うかを確かめます。これは必ずやります。1 か所ずれていたら全体を疑います。
「全量」の主張に数えられる根拠があるかを見ます。「図式は何度か改訂されています」ではなく「図式は明治 13 年式から平成 25 年式まで 8 版ある」と書けているかどうかです。数えられない形のものは、網羅ではなく印象です。
確認状況が「表題のみ」の行に、断定が乗っていないかを見ます。
最後に、導出の計算を追います。ここは AI の得意分野だと思います。地図記号の一覧を分類ごとに数えさせたら、11 分類の合計が 122 個でした。ページのどこにも総数は書かれていません。あわせて、図式の版を並べたページでは、系譜に載っていない「昭和 42 年式」が記号数の説明にだけ出てきます。人が見るには件数が多いうえ、上記のような違いは目で見ていたら気づきにくいです。
向き不向き
データの突き合わせに関してはAI が人より速くて正確です。団体のサイトを片端から当たって全量を数えます。表から関係式を導いて例外を見つけます。複数の資料で同じ語が別の意味になっていないか照合します。どれも人の手だと時間がかかるうえ、ミスも散見されます。AI ならより早く正確に行えます。
あとは「ないこと」の確定と、誰に何を聞くかの判断を人が行い、AI では検知できない部分をキャッチアップできればいいと思います。
まとめ
残ったのは、指示の書き方が 2 つと、ゴールの置き方が 1 つでした。
字数で縛りません。書くべき節で縛って、浅くするのは説明であって項目数ではないと明記します。
情報源の格を先に決めて、出典表に確認状況と取得日を持たせます。
そして、成果物のゴールを「知識」ではなく「知識の境界線」に置きます。埋まらなかったところを消させません。
実際に業務に入る際に使った指示と、成果物を点検する指示の全文は、下に折りたたんでおきます。ドメインを変えても節の構成はだいたいそのまま使えるはずですが、業界によっては合わないところもあると思いますのでご注意ください。人手による最初期の調査を AI にやってもらうこと、その幅・深さ・精度を上げることが大事だと思います。あとはスタイルの違いなどで全然違うアプローチをとってる人の手法なども参考にできればと思いました。
そのまま使える指示文
# ドメイン調査の指示 |
成果物を点検する指示
成果物を書いたセッションでは実行しません。自分の出力を既知の事実として扱うため、見落としが素通りします。別のセッションを立てるか、成果物だけを読む新しいコンテキストのサブエージェントへ回してください。そのとき、リポジトリの他のファイルとドメインに関する資料を読ませないでください。
判定基準として 2 つのファイルを参照しています。手元に同じものがなければ、上の「そのまま使える指示文」を判定基準として読み替えてください。
# 調査の成果物を点検する指示 |