OpenAI bouwt niet langer alleen modellen en software. Met Jalapeño, de eerste eigen chip van het bedrijf, schuift het ook de hardwarelaag in. De eerste resultaten zijn opvallend: bij het serveren van grote taalmodellen combineert de chip volgens OpenAI een hoge doorvoer met een relatief laag energieverbruik en korte responstijden.

Dat betekent nog niet dat NVIDIA is verslagen. Jalapeño is een gespecialiseerde inference-ASIC, terwijl NVIDIA-GPU's veel breder inzetbaar zijn. Bovendien komen de gepubliceerde cijfers uit een beperkte benchmarkopzet. De interessante conclusie is daarom niet dat één chip de markt overneemt, maar dat de AI-industrie steeds verder opschuift naar verticale integratie.

Een ASIC voor het duurste deel van AI

Een GPU is ontworpen als een breed inzetbare accelerator. Dezelfde hardware kan worden gebruikt voor het trainen van modellen, wetenschappelijke berekeningen, grafische toepassingen en inferentie. Een application-specific integrated circuit kiest een andere strategie: minder algemene flexibiliteit in ruil voor efficiëntie bij een beperkt aantal taken.

Jalapeño is vanaf het begin ontworpen voor inference — het moment waarop een getraind model daadwerkelijk antwoorden voor gebruikers genereert. Juist daar lopen de kosten snel op. Een model wordt één keer getraind, maar kan daarna miljarden verzoeken moeten verwerken. Iedere bespaarde watt en milliseconde telt dan mee in de operationele kosten.

OpenAI richt zich met Jalapeño op twee verschillende fasen van inferentie:

• Prefill: het verwerken van de volledige prompt, waarbij rekenkracht en geheugencapaciteit zwaar wegen.
• Decode: het stap voor stap genereren van tokens, waarbij geheugenbandbreedte vaak de beperkende factor is.

De chip, het HBM4-geheugen, de netwerklaag en de servingsoftware zijn gezamenlijk rond deze belasting ontworpen. Dat full-stack ontwerp is de belangrijkste bron van het voordeel — niet één los specificatiecijfer.

Wat de eerste benchmarks werkelijk laten zien

OpenAI testte Jalapeño met InferenceX, een openbare benchmark van SemiAnalysis. Daarin draaide de chip drie verschillende open modellen: GPT-OSS 120B, DeepSeek R1 670B en Kimi K2.5 1T. Volgens OpenAI leverde Jalapeño bij piekdoorvoer 1,5 tot 1,9 keer meer AI-werk per watt en 1,7 tot 3,6 keer lagere end-to-end-latency dan de gebruikte vergelijkingssystemen.

De vergelijking is genormaliseerd op het opgegeven energieprofiel van de chips. Jalapeño heeft een rating van 700 watt, terwijl OpenAI meldt dat het gemeten verbruik tijdens de geteste workloads niet boven 550 watt uitkwam. Dat maakt de chip vooral interessant voor datacenters waar niet alleen ruwe snelheid, maar ook stroomvoorziening en koeling harde grenzen stellen.

Jalapeño's sterkste argument is niet maximale rekenkracht, maar de combinatie van doorvoer, latency en energie-efficiëntie binnen één specifieke workload.

De verschillende modellen zijn eveneens relevant. Ze komen niet allemaal van OpenAI en gebruiken uiteenlopende architecturen. Dat spreekt het simpele beeld tegen dat Jalapeño uitsluitend geschikt zou zijn voor GPT-modellen. De hardware blijft gespecialiseerd in inferentie, maar lijkt binnen dat domein breder inzetbaar dan één modelfamilie.

Waarom dit nog geen definitief oordeel is

De cijfers zijn voorlopig en moeten binnen hun testopzet worden gelezen. De gepubliceerde InferenceX-resultaten gebruiken een 8K/1K-profiel: ongeveer 8.000 invoertokens en 1.000 uitvoertokens in een enkel verzoek. Dat is nuttig om prestaties onder een vaste belasting te vergelijken, maar vertegenwoordigt niet automatisch een langdurige agentsessie.

Bij agentic workloads ontstaan andere problemen. Een agent kan tientallen tools aanroepen, context hergebruiken, meerdere gesprekken tegelijk onderhouden en steeds wisselende hoeveelheden tokens verwerken. Cachebeheer, routing, scheduling en netwerkverkeer worden dan belangrijker. De video wijst erop dat er nog geen publieke AgentX-resultaten beschikbaar zijn voor zulke langere, multi-turn scenario's.

Daar komen drie beperkingen bij:

1. De cijfers zijn door OpenAI gepubliceerd. De gebruikte benchmark is openbaar, maar het volledige beeld is nog niet onafhankelijk en op grote productieschaal bewezen.
2. De vergelijking is workload-specifiek. Een inference-ASIC vergelijken met een general-purpose GPU zegt weinig over training of andere rekentaken.
3. De markt staat niet stil. Jalapeño wordt vergeleken met beschikbare Blackwell-systemen, terwijl NVIDIA zijn Rubin-generatie verder uitrolt.

De juiste lezing is dus: Jalapeño presteert sterk in de getoonde inference-tests. Niet: Jalapeño is onder alle omstandigheden sneller of beter dan NVIDIA.

Specialisatie creëert ook technisch risico

Een gespecialiseerde chip is gebouwd op aannames over toekomstige workloads. Als modelarchitecturen of agent-frameworks fundamenteel veranderen, kan een ASIC minder eenvoudig meebewegen dan programmeerbare GPU-hardware. OpenAI moet daarom niet alleen silicium ontwerpen, maar ook voortdurend nieuwe kernels en optimalisaties ontwikkelen.

Op dat punt ontstaat een opvallende wisselwerking. OpenAI stelt dat AI-modellen hielpen bij het ontwerpen, verifiëren en programmeren van Jalapeño. Voor drie open modellen die oorspronkelijk niet in het productieplan zaten, ontwikkelde het team binnen twee maanden ondersteuning met Codex en GPT-Astra. Bij geselecteerde attention- en mixture-of-experts-blokken draaiden AI-gegenereerde implementaties volgens OpenAI 1,5 tot 1,8 keer sneller dan bestaande, door experts geschreven versies.

Ook hier geldt een belangrijke nuance: die versnelling betreft geselecteerde kernels, niet het volledige model. Toch laat het zien hoe een eigen modelstack het tempo van hardware-optimalisatie kan verhogen.

Van losse chip naar compleet systeem

Grote modellen passen niet op één accelerator. De praktische waarde van Jalapeño hangt daarom ook af van de manier waarop honderden of duizenden chips worden verbonden. De video beschrijft een rackontwerp met 128 Jalapeño-chips en een grotere configuratie waarin maximaal zestien racks worden gekoppeld.

OpenAI kiest daarbij een andere balans dan NVIDIA's NVLink- en NVSwitch-ecosysteem. Binnen een rack is de opgegeven verbinding per chip minder snel dan bij NVIDIA's schaalstrategie, terwijl OpenAI juist inzet op een grotere gezamenlijke schaal en een infrastructuur die specifiek rond inferenceverkeer is ontworpen.

Dat onderstreept waarom een vergelijking op chipniveau onvolledig is. De werkelijke prestaties ontstaan uit een keten:

model → kernels → servingsoftware → chip → geheugen → netwerk → rack → datacenter

Wie meerdere onderdelen van die keten beheerst, kan optimaliseren over grenzen waar een losse leverancier minder zicht op heeft.

De strategische inzet: minder afhankelijkheid per token

Voor OpenAI is Jalapeño vooral een economische en strategische zet. Het bedrijf is voor groei afhankelijk van enorme hoeveelheden inferencecapaciteit. Met eigen hardware kan het de kosten per token verlagen, het energiegebruik beter beheersen en de infrastructuur afstemmen op de eigen modellen en producten.

Die beweging is breder zichtbaar. Google bouwt TPU's, Amazon ontwikkelt Trainium en Inferentia en meerdere grote AI-bedrijven werken aan eigen accelerators. NVIDIA blijft belangrijk, maar krijgt steeds vaker concurrentie van chips die niet alles hoeven te kunnen — zolang ze één dominante workload maar goedkoper uitvoeren.

Conclusie

Jalapeño laat zien dat OpenAI zich ontwikkelt van modellenbedrijf naar een full-stack infrastructuurspeler. De eerste resultaten zijn technisch geloofwaardig en strategisch belangrijk: een inferencechip die snelheid en energie-efficiëntie combineert kan de kostenstructuur van AI-diensten merkbaar veranderen.

Tegelijkertijd blijft terughoudendheid nodig. De publieke tests bestrijken een beperkt 8K/1K-profiel, grootschalige productie moet nog worden bewezen en resultaten voor langdurige agentworkloads ontbreken. Jalapeño is daarom nog geen algemene vervanger voor NVIDIA, maar wel een serieus bewijs dat gespecialiseerde AI-hardware sneller volwassen wordt.

Kernpunten:

• Jalapeño is een gespecialiseerde inference-ASIC, geen general-purpose GPU.
• OpenAI claimt 1,5–1,9× meer piekdoorvoer per watt en 1,7–3,6× lagere latency in de getoonde tests.
• De benchmark omvat drie verschillende open modellen, maar gebruikt een beperkt 8K/1K-profiel.
• Publieke resultaten voor langdurige, multi-turn agentworkloads ontbreken nog.
• Het voordeel komt uit de combinatie van chip, geheugen, netwerk, kernels en servingsoftware.
• Eigen chips kunnen OpenAI minder afhankelijk maken van externe hardware per geserveerd token.

---

Deze blogpost is gebaseerd op een video van Caleb Writes Code. Bekijk de originele video.
Primaire bron: Jalapeño’s first results show industry-leading speed and efficiency in AI inference — OpenAI.