Fableの禁止は、決してジェイルブレイクが理由ではなかった。
原題: Fable ban was never about a jailbreak
日本語訳
# タイトル
Fableの禁止は、決してジェイルブレイクが原因ではなかった
# 本文
米政府がAnthropicに対して送った執行通知書は、週末直前に同社に最新のAIモデルをオフラインにすることを事実上強制した。これは、AIラボであろうとなかろうと、米国のあらゆるテック企業にとって警鐘となるべき出来事である。
一連のニュースを振り返ると、金曜日の午後、米商務省はAnthropicに対し、不特定の国家安全保障上の懸念を理由に、Fable 5およびMythos 5へのアクセスをAnthropicの従業員を含む非米国人に禁止するという、目立たない輸出管理指令を適用した書簡を送付した。Anthropicは、この書簡はモデルのガードレール回避に関連していると考えているが、書簡に具体的な詳細が記載されていないため、確信は持てていない。なお、この書簡は公開されていない。
これを受けて、Anthropicは指令を遵守するため、両社のトップモデルをすべての顧客に対して停止した。その結果、米政府は、裁判所の承認を必要としない迅速かつ一方的な措置によって、テック企業にモデルのオフライン化を強制することに成功した。
トランプ政権による金曜日の介入は、AI業界が政府の介入を免れないことを示している。これは、より広範なテック業界への警告でもある。「従え、さもなくば製品ごと停止させる」というメッセージだ。
Axiosは情報筋を引用し、週末の間、両者の間には緊張した状況があったと報じた。AI製品の技術的な問題ではなく、Anth議とトランプ政権の間の「個人的な対立」が輸出指令につながったとしている。
週末に明らかになった問題に関する新たな詳細は、政府のすでに脆弱な論理に対して、さらなる疑念を投げかけている。
Luta Securityの創設者であり、サイバーセキュリティのベテラン研究者であるKatie Moussouris氏は、ブログ投稿の中で、Anthropicが最近、Fable 5におけるガードレールの回避とされる内容を記述したセキュリティ研究者の論文の私的コピーを彼女に共有したと述べた。（ウォール・ストリート・ジャーナル紙は、その論文の著者がAmazonのセキュリティ研究者であると報じている。）Moussouris氏は、Anthropicが論文に対する彼女の見解を求めて連絡してきたと語った。
Moussouris氏のブログ投稿では、研究者がどのようにガードレールの回避を引き起こしたかが説明されているが、その回避自体は「決して輸出管理を誘発すべきものではなかった」としている。その違いは、主にAIモデルに対して「セキュリティ上の問題がないかコードをレビューして」と頼むのか、「このコードを修正して」と頼むのかという点にある。質問の仕方がわずかに異なるだけで、最終的な結果はほぼ同じである。
「論文に記載された挙動は、有意義に修正することは不可能であり、いかなる試みも防御のためのモデルを弱体化させるだけである」と、Moussouris氏は述べ、輸出管理指令を、拙速で強引、かつ誤ったものであると批判した。
その後、Moussouris氏と数十人のトップクラスのセキュリティ研究者や専門家は、トランプ政権に対し、輸出管理命令の取り消しを求めている。彼らは、米国のネットワーク防御者から高度なサイバーセキュリティ機能を奪うこの動きを「危険である」と呼んでいる。
過去の政権も、規制の範囲に関して広範な決定を下してきた。例えば、サイバー攻撃にも使用され得るサイバーセキュリティ・ツールを対象とした輸出法の修正において、2010年代に米政府が用いた表現は非常に広範であったため、意図せずして正当なセキュリティおよび脆弱性調査をほぼ違法化しかけたことがあった。
しかし、トランプ政権の指令は、報復的なもののように見える。
Tech Policy Pressの編集者であるJustin Hendrix氏は、トランプ政権の動きは「重要アプリケーションにおける米国製AIの信頼性について、諸外国の政府に懸念を抱かせる可能性が高い」と述べている。そのメッセージは、米国のAI企業は、米政府の干渉なしに運営されるとは信頼できない、ということだ。
トランプ政権は、なぜ輸出管理指令を発動したのかを認めていない。当局者は報告書を読み間違えてパニックに陥ったのだろうか？ AmazonのCEOであるアンディ・ジャシー氏が、慎重さからか、あるいは悪意からか、政府高官に対して何らかの発言をしたことが、この反応を引き起こしたのだろうか？ 意味の取り違えがあったのか、それとも、政権がすでに険悪な関係にあるAnthropicに圧力をかけるための手段だったのだろうか？ ホワイトハウスは、この書簡の要求が及ぼす広範な影響に気づいておらず、当局者たちは自ら招いた損害を修復しようと奔走している可能性もある。
Hendrix氏の言葉を借りれば、「状況は、政府高官が個人的・政治的な要因に基づいて、特定の企業を贔屓しているのではないかという疑念に包まれている」。その結果として、政府は、米国製ソフトウェアのリリースに対して、どの程度のコントロールを行使しようとしているかについて、危険な前例を作ってしまった。
今回、政府が問題視したのはAnthropicであったが、明日は他の誰かが対象になるかもしれない。
原文（英語）を表示
The U.S. government’s enforcement letter to Anthropic, which effectively forced the company to pull its latest AI models offline just before the weekend, should be a wake-up call for any U.S. tech company — AI lab or otherwise.
To catch you up on the news blitz: On Friday afternoon, the U.S. Commerce Department sent Anthropic a letter invoking an obscure export control directive that banned non-Americans, including Anthropic’s employees, from accessing Fable 5 and Mythos 5, citing an unspecified national security concern. Anthropic said it believes the letter is related to a bypass of the model’s guardrails, but isn’t sure because the letter doesn’t provide specific details. The letter has not been made public.
In response, Anthropic shut down both of its top models to all customers to ensure that it complied with the directive. The result was that the U.S. government successfully forced a tech company to pull its models offline with a swift and unilateral action that didn’t appear to require court approval.
Friday’s intervention by the Trump administration shows that the AI industry is not immune to government interference. It’s also a warning to the wider tech industry: comply, or we can shut you and your products down.
Citing sources, Axios described a tense situation over the weekend between the two major players, saying that the “personality differences” between Anthropic and the Trump administration led to the export directive, rather than a technical issue with the AI products.
New details about the issue that emerged over the weekend now cast further doubt on the government’s already shaky reasoning.
Katie Moussouris, a cybersecurity veteran and researcher who founded Luta Security, said in a blog post that Anthropic recently shared with her a private copy of a paper written by security researchers describing an alleged guardrail bypass in Fable 5. (The Wall Street Journal reports that the paper’s authors are security researchers at Amazon.) Moussouris said that Anthropic reached out to ask for her take on the paper.
Moussouris’ blog post described how the researchers triggered the guardrail bypass, but said that the bypass itself “should never have triggered an export control.” The difference is largely between asking an AI model to “review code for security issues” versus asking it to “fix this code.” The end result is largely the same, even if the questions are posed slightly differently.
“The behavior described in the paper cannot meaningfully be fixed, and any attempt would only weaken the model for defense,” said Moussouris, who criticized the export control directive as hasty, heavy-handed, and misguided.
Moussouris and dozens of other top security researchers and experts have since called on the Trump administration to revoke the export control order, calling the move to pull advanced cybersecurity capabilities from network defenders in the U.S. as “dangerous.”
Past administrations have made sweeping decisions on knowledge gaps. For instance, language used by the U.S. government during the 2010s to fix export law covering cybersecurity tools that could also be used for cyberattacks was so broad that inadvertently, it nearly outlawed legitimate security and vulnerability research.
However, the Trump administration’s directive appears retaliatory.
Justin Hendrix, the editor of Tech Policy Press, said the Trump administration’s move is “likely to raise alarms in foreign capitals about the reliability of American AI for critical applications.” The message is that AI companies in the United States can’t be trusted to operate without interference from the U.S. government.
The Trump administration hasn’t confirmed why it invoked its export control directive. Did the officials misread the report and freak out? Did Amazon CEO Andy Jassy say something to senior government officials that prompted the reaction, out of caution or spite? Was something lost in translation, or was this a way to pressure Anthropic, with whom the administration already has a fractious relationship? It’s possible that the White House was unaware of the far-reaching consequences of the letter’s demand and officials are scrambling to undo the damage of their own making.
To quote Hendrix, “the climate is one of a cloud of suspicion that senior officials are picking favorites based on personal and political factors.” The aftermath is that the government has set a dangerous precedent about how much control it intends to wield over the release of American-made software.
This time the government took issue with Anthropic; tomorrow it could be with anyone else.