AIには「癖」がある
原題: Has AI Tells
日本語訳
# AI特有の兆候
The Consensusの大きな目標の一つは、ソフトウェア・インフラストラクチャにおける優れたテクニカルライティングを促進することです。私たちは自社による執筆物だけを紹介しているわけではありません。「At a Glance（一目でわかる）」セクションでは、毎日興味深い記事をお届けしています。無料の週刊ニュースレターでは、さらに多くの記事を取り上げています。また、無料かつ公開されているサードパーティ・フィードの中から、優れたテクニカル記事を厳選しています。
しかし、Cynthia Dunlopによる技術読者の嗜好に関する調査では、人々がAIによって書かれた記事を圧倒的に嫌っており、「優れた」AIの文章よりも、たとえ「下手な」人間の文章であっても好むことが示されています。また、私が紹介した記事が、後になってAI生成による特徴が強く出ていることが判明し、ネットのコメント欄で指摘を受けることも時折ありました。中には、コミュニケーションにおけるAIの節度ある責任ある利用について熱心に語っていた企業が、ひどくAI臭い記事を書いていたこともありました（それは非常に残念なことでした）。
正直なところ、私もAIが書いた散文を読むのは耐えられません。フィードの中で良さそうな記事を見つけてクリックしたのに、実際の文章が鼻につくものだったときは、腹立たしく感じました。時間の無駄です。
Pangramのような高品質な商用検知ツールもあります。The Consensusは私がそれを利用するためのサブスクリプション料金を支払っています。しかし、The Consensusのフィードに入るすべての記事に対してPangramを実行するのは、コスト的に不可能です。そこでこの1ヶ月間、サイトに統合された「AI特有の兆候（AI tells）検知器」の開発に取り組んできました。
これは機械学習モデルではなく、2023年以前の文章と2023年以降の文章のさまざまな側面を比較し、それ以降、毎年どのように文章の傾向が変化してきたかを考慮して構築された、一連の静的なルールに基づいています。
この検知器は、その記事がAIによって書かれたと断定するものではありません。あくまで「その記事がAIの文章を彷彿とさせる可能性がある」と示すためのものです。これは重要です。なぜなら、この検知器は低コストであるため、必ずしも正確ではないからです。実際、私自身の記事が「ほぼ間違いなくAI特有の兆候がある」と判定されたこともあります。
検知器の導入に伴い、フィード内の「AI特有の兆候」が上位1%（99パーセンタイル）に該当するすべての記事にラベルを付けています。このようにラベル付けされた記事は、ホームページの「At a Glance」セクションや、私たちのソーシャルメディアに掲載される対象外となります。また、フィードページで「面白そうな記事」であることを示すキラキラしたアイコン（sparkle icon）の対象にもならず、週刊ニュースレターに掲載されることもありません。
これを回避することはできるでしょうか？ ClaudeやChatGPTの標準的な出力のように書かないようAIに学習させること、つまり「ハック」することは可能です。そして正直なところ、それができれば素晴らしいことです。なぜなら、不快感の半分は、これらすべてのAI執筆記事が同じように聞こえることにあるからです！ もし、それぞれの人や企業が独自のルールや好み、キャラクターを持って執筆できるようになれば、それはきっと良いことでしょう。
公の場でどのようにコミュニケーションをとるかを決定するのは、各企業の権利です。AIを使って執筆することが、その人や企業を悪くすることはありません。そして今のところ、AI特有の兆候がある記事を完全に排除しているわけではありません（ただし、キラキラ・フィルターをクリックしたり、フィード検索で `aitells<90` と設定したりすることで、それらを除外することは可能です）。しかし、少なくとも私たちが自由にプロモーションすることに関しては、それらの記事が人間によって思慮深く書かれたものであることを望んでいます。
原文（英語）を表示
A big goal of The Consensus is to promote good technical writing in software infrastructure. We feature more than just our own writing. We give you an interesting article every day in the at a glance section. We feature many more articles in our free weekly newsletter. And we filter for good technical articles in our free and public third-party feed.
But Cynthia Dunlop's survey on tech reader preferences has shown that people overwhelming dislike AI-written articles, preferring even "bad" human writing to "good" AI writing. And occasionally I'd feature something that turned out to read very strongly of AI-generated writing and internet commenters would call me out on it. Sometimes these egregiously AI-written articles were written by companies who spoke very passionately about temperate and responsible use of AI in communication. (That was disappointing).
Honestly, I can't stand reading AI-written prose either. It infuriated me to click on a random cool-sounding article in our feed just for the actual writing to grate. A waste of time.
There are high-quality commercial detectors like Pangram. The Consensus pays for my subscription to it. But running Pangram against every article that enters The Consensus feed is financially impossible. So for the past month I've been working on an AI tells detector that's integrated into the site.
It is not a machine learning model, just a bunch of static rules built up by comparing many different aspects of pre-2023 writing to post-2023 writing, accounting for how writing has drifted each year since then.
The detector does not say that the article was written by AI. It only exists to say the article might remind you of AI writing. This is important because the AI tells detector is cheap and not always correct. It has occasionally labeled some of my own articles as quite certainly having AI tells.
With the AI tells detector in place, we label every article in the feed in the 99th percentile of having AI tells. Articles labelled like this are not eligible to show up in the daily At a Glance section of the homepage and on our social media. They are not eligible for the sparkle icon on the feed page that indicates it seems like an interesting article. And they are not eligible to be featured in the weekly newsletter.
Can this be gamed? Teaching the AI to write less like stock Claude and stock ChatGPT? Yes, absolutely. And honestly that would be great. Because half of the irritation is that all these AI-written article sound the same! If they're all being written with each individial's, each company's, own rules and preferences and character that'd probably be nice?
It is the prerogative of every company to decide how they communicate in public. Using AI to write to doesn't make a person or company bad. And for now, we're not completely filtering out articles that have AI tells (though you can filter them out by clicking on the sparkle filter or setting aitells<90
in the feed search). But at least in terms of what we choose to freely promote, we'd like those articles to be thoughtfully written by a human.