日比嘉高研究室

近況、研究の紹介、考えたこと

人文系の論文校正で、ChatGPT 5.5 と Claude(Opus 4.8) を比べてみた結果

某講演記録の校正をする必要があったので、AIに手伝ってもらいました。使ったのは ChatGPT 5.5 と Claude (Opus 4.8) です。いずれも有料版。
結果は、ChatGPT 5.5 の圧勝でした。Claude (Opus 4.8)は同条件での校正には二度と使わないかも、というぐらい、現時点では差があります。(Claude Fable 5 だとどうなるか、知りたいところです)

やったことの概略

対象資料の概略

  • 校正の対象は、縦書きの和文。
  • PDFファイル。14頁。
  • 内容は講演の文字起こし。扱っている話題は大正期の文壇の話で、論文とあまり変わらない話柄。

環境とプロンプト

  • 使ったのは、ChatGPT 5.5 (高)と Claude (Opus 4.8) 。windowsのデスクトップアプリ。いずれも有料契約あり。
  • プロンプトはChatGPT, Claudeのどちらも以下の同文。

「これは、私の講演記録です。これを校正します。誤記、誤変換、表記揺れ、文法の誤り、不明確な記述など、校正作業を行ってください。」

結果の要点

ChatGPT 5.5
  • 早い。1m31s で終了
  • すばらしい。学会編集委員会(20人規模)で2年仕事をしていたが、「もっとも目のいい委員」と同等かそれ以上の校正力がある。
  • 表記揺れや誤字脱字、誤変換、旧字新字の混用などをことごとく指摘。
  • 「索引」とあるべきところが、2箇所「作品」となっていたが、文脈から正確に指摘。
  • 文脈上、否定であるべき文末について、肯定となっている旨指摘
  • 不正確な術語を指摘。「コンピュータ言語」→「プログラミング言語」
  • グラフの計算に関わる不正確な説明を指摘。「x軸が「最後の巻−最初の巻」なら、密度計算は「+1」しないと、x=0の場合に矛盾します。要確認。」
Claude (Opus 4.8)
  • 遅い。途中で放置したので正確にわからないが5分以上。
  • ほぼ校正できていない。

補足、考察

  • 縦書きが影響している可能性がある。Opusのひとりごとを見ていたら、「縦書きで文字組がくずれているから画像変換してOCRする」とかつぶやいていた。
  • 著作権問題はオッケー。自分の文章であり、読ませた引用資料も著作権保護範囲外のものだけ。
  • 極小文字の校正もしてくれてありがたい。ルビの脱字なんて、探せる気がしない(Ro眼なんで)。

追加検証── Wordファイル版

縦書きPDFが問題を大きくしていると考え、入稿データである WordファイルをOpus 4.8に読ませてみた。

  • かなり改善。誤字や表記揺れに関しては、相当検出した。Ⅰつだけ、ChatGPTが見落としていた脱字(厳密にはその1字がなくても意味は通ったが)を発見。しかし総数ではChatGPTが発見数は多い。
  • 文脈上考えないとわからない誤りについては、すべてスルーした。表の説明の誤りも見逃した。

くわしい記録

全文貼ります。

ChatGPT

ChatGPT 5.5 の結果

Claude

Claude Opus4.8 の結果