GateGPT：80 MHzのFPGA上で毎秒56kトークンを実現するTransformer (KVキャッシュ)
原題: GateGPT: 56k tokens per second Transformer (KV cache) on FPGA at 80 MHz
gategpttransformerkv cachefpgatokens per secondintegrated circuitmicrogptcustom chip
日本語訳
# タイトル
GateGPT: 80 MHzのFPGA上で実現した、毎秒56kトークンのTransformer (KVキャッシュ)
# 本文
わずか80 MHzで56,000トークン/秒以上。🤯
KVキャッシュを備えた完全なTransformerをカスタムチップに実装しました。100%デジタル集積回路として、ゲート単位で設計。FPGA上でプロトタイプを作成しました。（GPUもCPUも使用していません）
@karpathy の microGPT を動作させる、純粋なデジタル・シリコン。GPTが名前を綴っています 👇
原文（英語）を表示
56,000+ tokens/sec at just 80 MHz. 🤯
I burned a full Transformer with KV cache into a custom chip. Designed gate by gate as a 100% digital integrated circuit. Prototyped on a FPGA. (No GPU. No CPU)
Just pure digital silicon running @karpathy microGPT, spelling out names on a GPT 👇