Z1T

Z1T är ett forskningsprojekt från Extropic, ett företag i San Francisco som bygger så kallade probabilistiska eller termodynamiska chip. Deras chip Z1 består av drygt 269 000 "p-bitar", små komponenter som slumpar fram värden, sammankopplade i ett glest nät, och drar under en watt. Z1T är inte ett chip utan en familj språkmodeller som byggts om så att de passar sådan hårdvara.

Vanliga transformermodeller bygger på stora, täta matrismultiplikationer, vilket Z1 inte är gjort för. I Z1T ersätts de av glesa enheter där varje värde bara kopplas till ett fåtal andra, uppmärksamhetsmekanismen byts mot en grindad faltning och normaliseringen mot en enklare funktion. De glesa lagren körs på Z1 medan resten körs på en vanlig krets (FPGA) på samma kort.

Enligt Extropics uppskattningar skulle Z1T använda cirka 295 nanojoule per token, ungefär 139 gånger mindre än ett H100 vid låg utnyttjandegrad och ungefär 14 gånger mindre vid full utnyttjandegrad, och klara cirka 17 000 tokens per sekund för en användare. Extropic påpekar själva att siffrorna är teoretiska uppskattningar baserade på försök med tidigare hårdvara, att FPGA-kretsen står för över 95 % av energin och att ordförrådsdelen i slutet inte är medräknad; med den blir energin cirka 136 mikrojoule per token. Den glesa modellen behövde också ungefär tio gånger mer beräkning i träningen för att nå samma nivå som GPT-2 small.

Artikeln publicerades på Extropics webbplats den 4 september 2026. Träningskoden finns öppet på GitHub under Apache 2.0, och vikterna från en av de större träningskörningarna har enligt Extropic lagts ut på Hugging Face.