Jev 1.14.0 をリリース：夢見る人たちのための実験的な機能も追加
原題: We’re releasing Jev 1.14.0 along with experimental features for dreamers
日本語訳
# タイトル
Jev 1.14.0のリリースと、ドリーマー（夢想家）向けの実験的機能について
# 本文
Jev：ビルダー（構築者）とドリーマー（夢想家）の両方へ
要約：改良されたJev 1.14.0をリリースします。あわせて、ドリーマー向けの実験的機能（画像、新しい型、より長いコンテキスト）も提供します。自己責任で「デンジャーゾーン」へ踏み込んでください。🔥
私たちの哲学
私たちが抱えてきた大きな議論は、信頼性と創造性のバランスについてです。
プロダクション環境で利用するビルダーを真に大切にするなら、知能の品質基準を満たし、社内でのテストを限界まで繰り返したモデルを提供すべきです。
一方で、世界に驚きを与え、素晴らしいSF（サイエンス・フィクション）を生み出すために何が必要かについて、私たちのチームが完全に理解しているわけではありません。私たちは、そのドリーマーたちに対して、極端な信頼性という価値観を押し付けたくはないのです。
私たちの解決策：APIヘッダーの「danger zone」フラグの下で、ドリーマー向けの機能を共有することにしました。これらは将来のモデルでも継続して採用される機能であり、（私たちが判断する限りでは）既存のものよりも優れており、今後飛躍的に向上し続けるものです。ただし警告として、プロダクションでの利用を保証するには、まだ性能のばらつきが大きすぎると考えています！
これらの新機能は、2年間のステルス開発で築き上げてきたものの延長線上にあると考えてください。自動化への準備はまだ整っていませんが、遊ぶには非常に楽しいものです。また、これらはTypeSafe基準を満たすほど信頼性を高めるために、私たちが注力している領域の初期段階の姿でもあります。
構成可能な画像（Composable Images）
将来のJevモデルだけでなく、皆さんが愛用している現在のJevでもマルチモーダル機能を有効にします。驚かないでください。皆さんが愛用しているJev（jev-1.13.0）は、最初からマルチモーダルだったのです！
画像サポートは、アセット内の「find-and-replace」を通じて完全に構成可能です。JSONインターフェースがサポートしている場所ならどこでも（state、instructions、あるいはcriteriaにさえ！）配置できます。ぜひ試して、技術の限界を押し広げ、Jevの改善点があれば教えてください。
警告として、すべてのモデル（Jevを含む）は、純粋なテキストのみの場合と比較して、マルチモーダル機能のパフォーマンスが低下します。質問を可能な限り単純な要素に分解することが非常に効果的です。
TypeSafe-Danger-Zone-Images: true
ドキュメントを確認：docs.typesafe.ai/go/images
「決定」を超えた型
もう一つの新しい型「box」を導入します。これは単一のバウンディングボックスを返します。型エラーは許されません。これは、単なる「smart-if文」のための型ではなく、System One Modelsが他に何をサポートできるかという、単純な決定を超えた探求のプレビューです。
最近、この機能において飛躍的な進歩を遂げたため、jev-1.14.0でのみ有効化しています（ネタバレ）。
ドキュメントを確認：docs.typesafe.ai/go/box
どうやら、サイズは重要なようです 💅
コンテキスト長については、皆さんの声をしっかりと受け止めています。Jevは、実際にはプロダクションで有効にしているものよりもはるかに長いコンテキスト長をサポートしています。あえて制限を設けていたのは、他のすべてのモデルと同様、Jevも長いコンテキストでは信頼性が低下するためであり、この制約によってプロダクションでのより効果的な利用パターンを促すためでした。
ですが、私たちは皆さんの親ではありません。コンテキスト長を制限することを強く推奨しますが、もう制限に従う必要はありません。
TypeSafe-Danger-Zone-Long-Context: true
ドキュメントを確認：docs.typesafe.ai/models#context-length
私たちを助けるためのオプトイン
モデルをより良くしたいというコミュニティの熱意を嬉しく思います！皆さんのクエリを通じてモデルの性能のばらつきを見つけるのを手助けするための、オプトイン機能を追加しました。引き続き、皆さんのクエリを学習に使用することはありませんが、これにより問題の発見や、皆さんのユースケースのデバッグを容易にすることができます。
jev-1.14.0
また、jev-previewとしてJevの新バージョンをリリースします！派手なものではなく、あらゆる面での小さく、さりげない改善を目指しています。ほとんどのものがわずかに向上するはずですが、特に多言語サポートにおいて最大の進歩を期待しています。
モデルのリリースは通常、厳格な改善であるべきですが、開発者が依存関係の更新をどれほど嫌うかもよく理解しています。jev-latestは1週間後にjev-1.14.0に更新されます。jev-1.13.0はしばらく利用可能です。
jev-1.13.0が正式に非推奨（deprecated）になる前には60日間の猶予を、jev-1.14.0には30日間の猶予を設ける予定です。これに先立ち、非推奨ポリシーを公開します。
知能の測定
ご存知の通り、私たちは公開ベンチマークを好んでいません。しかし、開発者にとって最も重要な知能の形態をどのように測定するかについて、独自の内部的な推測を持っています。
ここで新しい試みをしています。皆さまを大人として扱い、これを共有することにします。
いくつかの留意点：
・この測定は私たちの最善の推測であり、今後も進化し続けます。もし再び内部的な数値をお見せすることがあっても、一貫性を期待しないでください。
・全てを鵜呑みにしないでください。常に、自身のユースケースに基づいた実験と評価を優先してください。
・検証セットを厳重に管理しており、モデルプロバイダーのデータポリシーを懸念しているため、オープンウェイトモデルのみを含めています。
・これは私たちのモデルに偏っている可能性があります。私たちのモデルは無視して、オープンソースモデルの相対的なランキングに注目しても構いません。
次は何が？
次にどのようなSFをリリースするのか、多くの人に尋ねられます。私たちは驚くようなものに取り組んでいますが、ほとんどのリリースは（私たちがAIにあるべき姿だと考えるように）「美しく退屈な」ものになると予想してください。つまり、全体的な小さな改善、安定性の向上、そして実際のデプロイに向けた機能です。
∵ ⩆
⩆ ∵
原文（英語）を表示
Jev: For the builders AND dreamers
TL;DR: We're releasing an improved Jev 1.14.0 along with experimental features for our dreamers: images, a new type, and longer context. Enter the danger zone
at your own risk. 🔥
Our philosophy
A huge debate we’ve been having is on the balance between reliability and creativity.
To really care about the prod builders, we should be shipping models that meet our quality bar for intelligence and have been battle-tested to the limits of what we can do internally.
On the other hand, there’s no way that our team has a full understanding of what is needed to spark delight in the world and build sick sci-fi. We don’t want to impose our values of extreme reliability on those dreamers.
Our solution: share those dreamer-ready features under “danger zone” flags in our API headers. These are features that will be here to stay for future models, are (as far as we can tell) better than what exists out there, and will continue to get better by leaps and bounds. But as a warning, we think there is still way too much jaggedness for us to vouch for these for production use cases!
See these new capabilities as a continuation of what we’ve built over 2 years of stealth. They’re less ready for automation, but very fun to play with. They’re also an early glimpse into what we’re focused on making reliable enough to meet TypeSafe standards.
Composable Images
Not only are we enabling multimodality for future Jev models, we’re enabling it for the current Jev that you all know and love. Surprise: the Jev you all know and love (jev-1.13.0
) was multimodal all along!
Image support is fully composable via a find-and-replace in assets
. You can put them anywhere that our JSON interface supports: in the state
, instructions
, or even criteria
! Play around with it, push the boundaries of technology, and let us know where Jev can improve.
As a warning, all models (Jev included) perform worse on multimodality over pure text. Breaking down questions into the simplest possible decompositions helps a lot.
TypeSafe-Danger-Zone-Images: true
Check out docs: docs.typesafe.ai/go/images
Types Beyond Decisions
We’re introducing another new type as well: box
. It returns a single bounding box - no type errors allowed. It’s our first type that’s not purely meant for smart-if statements, and is a preview for our explorations beyond simple decisions into what else System One Models can support.
We made huge leaps and bounds on this one recently, so we’re enabling this only for jev-1.14.0
(spoilers).
Check out docs: docs.typesafe.ai/go/box
Size does matter, apparently 💅
We’ve heard you loud and clear on context lengths. Jev actually supports a much longer context length than we’ve enabled in production. We chose to limit it intentionally because Jev, like all models, is less reliable on longer contexts, and this constraint encourages more effective usage patterns in prod.
We aren’t your parents though, so while we strongly recommend limiting context length, you no longer have to:
TypeSafe-Danger-Zone-Long-Context: true
Check out docs: docs.typesafe.ai/models#context-length
Opt-in to help us
We love the community’s desire to help make models better! We’ve added an opt-in to allow you to help find model jaggedness with your queries. We will still not train on your queries, but this does make it easier for us to find issues and help debug your use cases.
jev-1.14.0
We’re also releasing a new version of Jev under jev-preview
! Not meant to be flashy but instead be small, subtle improvements to everything. Most things should be a tiny bit better, but we expect the largest gain in multi-lingual support.
Model releases should generally also be strict improvements, but we’re well aware of how much developers hate updating their dependencies. jev-latest
will be updated to jev-1.14.0
in a week. jev-1.13.0
will be available for a while.
We intend to give 60 days warning before jev-1.13.0
is formally deprecated, and 30 days for jev-1.14.0
. We’ll release a deprecation policy prior to this.
Measuring Intelligence
As you all know, we dislike public benchmarks. However, we have our own internal best guesses on how to measure the form factor of intelligence that matters most for developers.
We’re trying something new out here: we’re going to treat you guys like adults and share this with you all.
Some nuance:
This measurement is our best guess and will continue to evolve. If ever we show you our internal numbers again, don’t expect them to be consistent.
Don’t believe it entirely. Always favor your own experimentation and evals with your use cases.
We’re including only open weight models because we guard our validation set very closely and are spooked out about the data policies of our model providers.
This is likely biased towards our models. Feel free to ignore our model, and instead focus on the relative ranking of open source models.
What’s next
Lots of people love to ask what kind of sci-fi we’re releasing next. While we are working on some mindblowing stuff, expect most releases to be beautifully boring (like we think AI should be): small improvements across the board, better stability, and features for real deployment.
∵ ⩆
⩆ ∵