AIの文章が良くなったかは、同じお題で比べたい

AIへの指示を変えたら、読みやすい文章が出てきた。嬉しいけれど、それがお題の違いなのか、指示の改善なのかは、一本だけでは分かりません。私は、よく頼む仕事をいくつか残して、同じ条件で比べたいです。

OpenAIの評価についての公式資料でも、実際の仕事に近い課題で確かめることや、人の判断を組み合わせることが勧められています。SNSの文章なら、大がかりな採点を始めなくても、いつもの依頼を数本残すところから使えます。

例えば、商品の紹介、イベントの告知、読者への質問、長い記事の短文化。この四つを、比較用のお題にする。毎回、想定する読者と、入れたい事実、文章量を同じにして、前の指示と新しい指示で案を出す。

ここで全部を「自然さ」の点数だけで判断すると、好みの文章が選ばれやすいです。私は少なくとも、事実が変わっていないか、誰に向けた話か分かるか、公開前にどこを直す必要があるかを、別々に見たい。

例えば、文章が短くなったぶん、応募の期限が抜けていたら告知には使えない。語尾は自然でも、読者が知りたい使い方が消えたら商品紹介として弱い。反対に、少し地味な文章でも、直す箇所がほとんどなければ仕事では扱いやすいです。

「好きな案」と「使える案」を分けて見る

前後の案をAとBで並べ、どちらが新しい指示かを隠して読む方法もあります。新しいほうを選びたくなる気持ちを、少し遠ざけられる。数人で見るなら、先に各自で選び、理由を書いてから話すと、声の大きい人に合わせずに済みます。

直す必要があった箇所は、短いメモにします。「冒頭が二文続けて同じ説明」「日時が本文の後ろすぎる」「具体例が読者の仕事と違う」。この記録なら、次の指示で何を変えるか考えられます。

一度良い結果が出たお題だけで判断しないことも大切です。固有名詞が多い告知や、説明を短くしにくい商品など、普段つまずく依頼も混ぜておく。

新しいモデルや長い指示を試すたびに、比較する原稿が変わると迷います。いつものお題を数本持っておけば、「今回は告知の直しが少ない」「質問の投稿はまだ不自然」と、仕事ごとの違いを話せます。