裸のペリカン皇帝
原題: The Emperor Pelican Has No Clothes
日本語訳
# 裸のペリカン皇帝
⚠️ フロンティアAIモデルは、デザインの創造性において、依然として人間のデザイナーに大きく及ばない状況にあります。 ⚠️
UIデザインタスクにおけるAIモデルの創造性を評価する新しいベンチマーク、「Design Creativity Bench」を発表します。
機能的なウェブサイトやプロダクトUIを生成する能力は急速に進化していますが、最先端のAIモデルは依然として、創造的なデザインの意思決定を行うことに苦戦しています。
私たちは、80のオープンエンドなUIタスクを用いて16のフロンティアモデルを評価しました。各タスクは、人間のデザイナーによるリファレンスとともに、2つの異なるプロダクトドメインに適応させています。
既存のUIベンチマークは、単一の出力品質指標を測定することが多いですが、本ベンチマークではデザインの創造性を以下の3つの次元で測定します。
- **独創性（Originality）**: 同じブリーフ（指示内容）に対して、あるモデルのデザインが他のモデルの出力とどれほど異なっているか。
- **創造的範囲（Creative Range）**: プロダクトドメインが変化した際に、モデルがどれだけデザインの意思決定を適応させられるか。
- **適切性（Appropriateness）**: 生成されたUIが、ブリーフの機能要件をどれだけ満たしているか。
結果は、全体的な創造性において大きな隔たりがあることを示しています。最高スコアを記録したモデルである @OpenAI GPT-6 Astra のスコアは65.5であり、人間のリファレンスの92.3に大きく及びませんでした。
私たちは、デザインの創造性をフロンティアモデルの能力を測るための測定可能な指標とするため、リーダーボードの全文、手法、および再現可能な評価フレームワークを公開します。
📄 Paper: https://arxiv.org/abs/2610.11539
🤗 HuggingFace Datasets: https://huggingface.co/datasets/Kombai/design-creativity-bench
🔗 Github: https://github.com/kombai-io/design-creativity-bench/
原文（英語）を表示
⚠️ Frontier AI models still fall significantly short of human designers on design creativity. ⚠️
Introducing Design Creativity Bench, a new benchmark evaluating AI models’ creativity on UI design tasks.
Despite rapid advances in their ability to generate functional websites and product UIs, leading AI models still struggle to make creative design decisions.
We evaluated 16 frontier models across 80 open-ended UI tasks, each adapted to two distinct product domains alongside human designer references.
Existing UI benchmarks often measure a single output quality metric. Instead, we measure three dimensions of design creativity:
- – Originality: How distinct a model's designs are from other models' outputs for the same brief.
- – Creative Range: How much a model adapts its design decisions when the product domain changes.
- – Appropriateness: How well the generated UI satisfies the functional requirements of the brief.
The results reveal a substantial gap in overall creativity: The best model, @OpenAI GPT-6 Astra, scores 65.5 against a human reference of 92.3.
We're publishing the full leaderboard, methodology, and reproducible evaluation framework to make design creativity a measurable dimension of frontier model capability.
📄 Paper: https://arxiv.org/abs/2610.11539
🤗 HuggingFace Datasets: https://huggingface.co/datasets/Kombai/design-creativity-bench
🔗 Github: https://github.com/kombai-io/design-creativity-bench/