「保険会社を変えた」と答えただけなのに、原稿には「数週間かかっている」と書かれていた。直させたら、直した記事の中でまた同じことが起きた

このブログの記事の下書きを、Claude Codeに書かせている。読んだ本の感想を書く回で、私は質問に答える側にまわった。

聞かれたことに、私はこう答えた。

保険会社を変えた。

出てきた原稿には、こう書かれていた。

今の契約内容を確認して、他社と比べて、担当者とやり取りをして、書類を出す。数週間かかっている。

手続きの中身も、期間も、私は一言も話していない。

私が答えたのは17項目、それだけ

まず、私が実際に答えた内容を全部書く。ここに無いことは、私は言っていない。

# 私が答えたこと
1 本を買ったのは2024年12月6日
2 楽天ブックスで買った
3 1,650円だった
4 買ってすぐ読んだ
5 著者のYouTubeをずっと見ていた
6 当時すでに副業をしていた
7 その副業はせどりとAmazon OEM
8 もっと深く学びたかった
9 お金の知識も学ぶため
10 使っていないサブスクを解約した
11 何を解約したかは忘れた
12 保険会社を変えた
13 積み立てていた保険を解約した
14 使っていないカード2枚は解約していない
15 理由は、電話や本人確認が必要で面倒だったから
16 もうひとつの理由は、いつでもできると思って後回しにしていたから
17 Amazon OEMは、商品を決めて発注するまでに挫折した

これで全部だ。

原稿と、答えた内容を並べる

出てきた原稿から、答えていない記述を抜き出して並べる。

原稿に書かれていたこと 対応する回答 回答にない部分
「今の契約内容を確認して、他社と比べて、担当者とやり取りをして、書類を出す。数週間かかっている」 #12「保険会社を変えた」 手続きの中身、期間
「自分の契約がそれに当たると気づいた」 #13「積み立てていた保険を解約した」 気づいた経緯
「勉強はした。リサーチもした」 #17「商品を決めて発注するまでに挫折した」 リサーチの実施
「自分の名前でまとまった金額を発注する手前で止まった」 #17 止まった具体的な段階
「年会費無料なら、何も起きない」 #14「カード2枚は解約していない」 カードの年会費(無料とは答えていない)
「覚えていないくらい使っていなかった、ということでもある」 #11「何を解約したかは忘れた」 使用頻度についての推測
「そこで学べることは学んだつもりでいた」 #5「YouTubeをずっと見ていた」 当時の心境
「動画は1本ずつ完結しているので、体系だって頭に入っている感じがしない」 #8「もっと深く学びたかった」 動画への評価
「今週中に電話する」 なし 私がしていない約束

原稿末尾の「今週中に電話する」は、答えのどこにも接点がない。私がしていない宣言が、締めくくりに書かれていた。

1か所の創作が、結論の土台になっていた

とくに重かったのは1つ目だ。原稿の結論は、こういうものだった。

答えを先に書くと、実行を分けていたのは面倒さの量ではなかった。

この結論は、保険の乗り換えが重い作業だったことを前提にしている。原稿の中でその重さを支えていたのは、私が答えていない「他社と比べて」「担当者とやり取りをして」「数週間かかっている」という描写だった。

私が答えたのは「保険会社を変えた」の一言だけだ。未確認の描写が、記事全体の結論の根拠にされていた。

Codexに検証させた

自分で読み返しても、違和感には気づかなかった。見つけたのは、別のAI(Codex)にレビューを頼んだときだ。

いつもの頼み方をした。褒め言葉はいらないと先に書き、事実・論理の穴を含む観点を指定する。今回はそこに、上の17項目をそのまま貼り付けて「これ以外の事実は存在しない」と書き加えた。

返ってきたレビューに、この差分が指摘されていた。

とくに「数週間」が、保険のほうが面倒だったという記事全体の前提を作っています。

私が見落としていた「前提になっている」という点まで拾われていた。

直させた記事に、また創作があった

指摘された箇所を直させて、この記事を書かせた。今度は「AIが事実を創作した」ことを書く記事だ。

読み返して、1つ引っかかった。原稿の中に、5日前に別の場所(Zenn)で公開した記事からの引用が2つあった。

1つ目。

無人で動く自動化は、失敗を「もっともらしい値」に翻訳して下流に流す

2つ目、記事の終盤。

止まらないというのは、正しいという意味ではなかった。

見た記憶がない言い回しだった。Zenn記事を開いて、検索した。

どちらも存在しなかった。

Zenn記事の本文最後の段落に書いてあるのはこうだ。

4か月動かして、止まったのは一度もありませんでした。壊れていた4か月と正しかった4か月の見分けは、memory.json を開くまでつきませんでした。

似ているようで、一致していない。原稿は、5日前に公開した記事の趣旨を要約し、それを引用符でくくって「本人がこう書いた」という体裁にしていた。

それを書いた記事に、3つ目があった

ここまでを書き終えて、もう一度Codexに読ませた。今回は、この記事自体に同じ問題が残っていないかを聞いた。

指摘されたのは、この一文だった。

保険の乗り換えという重い作業はできたのに、カード2枚の解約という軽い作業が残っている。だから、実行を分けたのは面倒さの量ではない。

引用符で囲んで「原稿の結論はこうだった」と提示していた。だが、これも私が書いた要約で、元の原稿にこの一字一句の文章は無かった。実在するのは「答えを先に書くと、実行を分けていたのは面倒さの量ではなかった。」という一文だ。

「AIが要約を引用に変える」ことを告発する記事の中で、自分が同じことをしていた。

並べると、こうなる

何回目 何を どう扱われたか
1回目 保険の話 答えていない事実が、答えたことのように書かれた
2回目 Zennの引用 書いていない文章が、書いたことのように引用された
3回目 この記事自体 自分で書いた要約が、元原稿からの引用のように書かれた

1回目と3回目は、同じボツ原稿と照合すれば見つかる。2回目だけは、別の場所(Zenn記事)まで開いて検索しないと見つからなかった。照合先は2種類あったが、共通していたのは1つだけだ。元の資料に、実際に当たらないと分からない。

今回、決めたこと

3回目まで見つけて、分かったことがある。「これで全部確認した」とは、もう言えない。

決めたのは、確認を1回で終わらせないことだ。

引用符で囲んだ文章は、必ず元のファイルを検索する。 趣旨が合っているかではなく、一字一句その場所にあるかを見る。

答えていない内容と、答えた内容の境目を、自分で先に書き出しておく。 今回の17項目がそれだ。

そして、直した原稿をもう一度、同じ基準で読み直す。 1回のレビューで通ったからといって、次の版が同じ問題を持ち込んでいないとは限らない。今回がそうだった。

この記事も、公開前にもう一度読み直した。それでも、今回のように見落としが残っている可能性はある。


個人の副業をAIで回している他の実務は、ブログの他の記事にも書いている。