AIに記事を書かせ、AIに採点させたら73点で止まった|直す回数より、書かせる前が9割

万年筆のペン先から紙にインクがにじむ瞬間

去年から、仕事の文章をAIに書かせることが増え始めました。

記事、提案書、営業のメール。うまくいったものもあれば、やってみて外したものもあります。

今日は、はっきり外したほうの話を書きます。AIに書かせて、AIに採点させて、直させる仕組みを作ったときの話です。

結論から言うと、直す回数を増やしても、文章は良くなりませんでした。


何を作ったのか?

やったことは単純です。

1. AIにネタ収集と記事作成を任せる(僕の場合は、ClaudeCode・ChatGPT・Gemini・NotebookLMを同時利用しています)

2. AIサブエージェントに採点させる(読みやすさ、話の深さ、具体例の強さ、余韻、印象などを基準に100点満点で評価)

3. 点数が足りなければ、採点コメントを見て校正させる(校閲・校正の段取りを事前に仕込んでいます)

4. 80点になるまで、2と3をくり返す

「人が直す代わりに、AIどうしで直させれば楽になる」。そう考えましたし、実際にそのような情報も溢れていたからです。


結果:73点から動かなかった

実際に回してみると、こうなりました。

  • 1回目:73点
  • 直す、直す、直す……6回
  • 最終:77点

点数は4点しか動きません。そして、1本作るのに約100分かかっていました。

読み比べても、6回目の文章が1回目より良いとは感じませんでした。表現が入れ替わっているだけで、話の中身は同じだったからです。

この仕組みは、毎朝の自動作業から外しました。


なぜ点数が動かなかったのか?

理由は、あとになって分かりました。

採点も直しも、文章の「表面」しか触っていなかったからです。

AIの採点は「具体例が足りない」「言い回しが硬い」といった指摘をします。AIはそれを受けて、例を足し、言い回しを変えます。

でも、その記事が誰に向けた、何の話なのかは、最初から変わっていません。土台が同じなら、上に何を足しても同じ建物です。(僕の設計が悪かったといえば、それまでなんですが…苦笑)


もう1つの発見:自分は毎回、同じ所を削っていた

同じころ、別のことも試しました。

AIの下書きと、自分が実際に公開した記事を50本並べて、AIに見比べさせたのです。「僕はいつも、どこを直しているのか」を知りたかった。

答えははっきりしていました。

僕は毎回、全体の 5〜15% を削っていました。そして削っていたのは、ほとんどが同じ種類の文章でした。

  • 「ここで例え話をひとつ」のような、段取りの宣言
  • 「〜な方も多いのではないでしょうか」のような、読者への呼びかけ
  • 文末の、責められないための断り書き

要するに、AIは「書いている姿勢」を書いてしまう。人は、それを消して中身だけ残す。

このとき、もう1つ思い当たることがありました。

AIが書いた記事を読んで「知識をひけらかしていて鼻につく」と感じたことがあったのですが、正体はこれでした。責められないための出典と予防線を、並べすぎていたのです。

丁寧に書かせようとすればするほど、どんどん読みづらい文章になっていく。自己保身記事に走っていく。

そんな感じです。


直した順番:型より先に、テーマと読む人

そこで、順番を変えました。

前は、記事の「型」を選んでから書かせていました。今は、型より先にこの2つを決めます。

1. テーマを1文で書く

「この記事は、◯◯が△△だという話」の形にします。

1文に収まらなければ、話が2本入っています。どちらか1本に絞ります。

2. 読む人を1人に決める

「経営者向け」ではなく、こう決めます。

「50代の居酒屋の店主。口コミが500件あって評価は4.1。そのうち★は上がるだろうと思っている」

ここまで決めると、書き出し方も、たとえ話の素材も、見出しの順番も、勝手に決まります。

この2つを決めてから書かせた1本目のほうが、6回直した文章より良かったというのが、正直な体験談です。

マーケティング業界ではありふれた話なんですけどね。どうしても便利さにかまけて、大事な部分をおろそかにしてしまう。そんな自戒もかねて反省点を記事にしています。


経営者の方に、そのまま使える形にすると

AIに文章を書かせるとき、渡すのはこの4つで足ります。

1. テーマ(この文章は、◯◯が△△だという話)
2. 読む人(1人に絞る。年代・立場・いま困っていること)
3. 絶対に書いてほしくないこと(うちの会社では言えないこと、大げさな言い方)
4. 使っていい事実(数字、実際にあったこと。ここに無いことは書かせない)

逆に、渡さなくていいのは「もっといい感じに」「プロっぽく」という言葉です。この2つを言うたびに、文章は平均に近づきます。


というわけで、僕体験をまとめると…

  • AIに書かせ、AIに採点させて直す仕組みを作ったが、6回直して73点→77点。1本100分で割に合わなかった
  • 直しは表面しか変えられない。中身は、書かせる前に決まっている
  • 自分の直し方を50本ぶん調べたら、削っていたのは「書いている姿勢」の文章だった
  • いまは、型より先に「テーマ1文」と「読む人1人」を決めてから書かせている

AIに文章を任せて「なんか違う」が続いているなら、直す回数を増やすより、渡す前の4つを書き出してみてください。

WEBの文章でも同じことが起きます。何を売るのか、誰に売るのか、なぜ選ばれるのか。そこが空白のまま作ったページは、どれだけきれいでも売上になりません。


「うちの場合はどう使えるか」をいっしょに考えます

AIをどこに使い、どこは人がやるか。自分の会社で試した範囲で、正直にお話しします。

うまくいったことも、外したことも、そのままお伝えします。