BLOG

Terug naar overzicht
JEPA: leren hoe de wereld werkt zonder iedere pixel te voorspellen
Klik om te vergroten
AI Begrijpen

JEPA: leren hoe de wereld werkt zonder iedere pixel te voorspellen

JEPA leert visuele representaties door ontbrekende informatie te voorspellen. Dat biedt een basis voor wereldmodellen, maar van video begrijpen naar betrouwbaar handelen blijft een grote stap.

Een AI-model hoeft niet ieder detail van een beeld te reconstrueren om er iets bruikbaars van te leren. JEPA kiest een ander trainingsdoel: voorspel de interne representatie van ontbrekende informatie. De belofte is dat het model daardoor meer aandacht kan besteden aan samenhang en beweging dan aan moeilijk voorspelbare visuele details. Maar een goede voorstelling van een scène is nog geen betrouwbare besturing voor een robot.

Caleb Writes Code bespreekt die spanning aan de hand van I-JEPA, V-JEPA en V-JEPA 2. De rode draad is niet dat taalmodellen ineens overbodig zijn. Het is de vraag welke informatie een model moet leren bewaren om later de gevolgen van handelingen te kunnen voorspellen.

Niet de pixels, maar een bruikbare representatie

JEPA staat voor Joint-Embedding Predictive Architecture. Een embedding is een verzameling getallen waarmee een netwerk kenmerken van invoer vastlegt. Waar een generatief beeldmodel uiteindelijk pixels kan produceren, vergelijkt JEPA tijdens training voorspellingen in zo'n geleerde representatieruimte.

Neem een foto waarop een deel van een voorwerp is afgedekt. Het model krijgt context uit het zichtbare beeld en voorspelt de representatie van het ontbrekende deel. Het hoeft dus niet exact te raden welke kleur iedere verborgen pixel heeft. Het trainingsdoel verschuift van visuele reconstructie naar het voorspellen van kenmerken.

Dat verschil is belangrijk bij onzekere details. De precieze stand van ieder grassprietje kan lastig te voorspellen zijn, terwijl de beweging van een object wel relevante structuur bevat. De onderzoekers willen dat de representatie vooral die voorspelbare structuur vastlegt. Dat is een ontwerpdoel, geen garantie dat alle voor een toekomstige taak belangrijke informatie behouden blijft.

Het I-JEPA-onderzoek laat bovendien zien dat de keuze van afgedekte gebieden ertoe doet. Grote doelgebieden en voldoende verspreide context moeten het netwerk aanmoedigen verder te kijken dan lokale textuur. Alleen zeggen dat een model ontbrekende stukken voorspelt, beschrijft dus nog niet het volledige leerrecept.

Waarom de leraar zelf ook moet leren

In een vereenvoudigde beschrijving heeft JEPA een context-encoder, een predictor en een target-encoder. De context-encoder verwerkt wat zichtbaar is. De predictor probeert daaruit de ontbrekende representaties af te leiden. De target-encoder ziet de volledige invoer en levert de doelen waarmee die voorspellingen worden vergeleken.

Die target-encoder is niet simpelweg een alwetende leraar. Zijn gewichten worden tijdens training bijgewerkt met een exponential moving average, kortweg EMA, van de gewichten van de context-encoder. Dat is een geleidelijk voortschrijdend gemiddelde: de leraar volgt de leerling vertraagd, zodat het doel niet bij iedere update even abrupt verandert.

Een gevaar bij zulke systemen is representation collapse. Als allerlei verschillende beelden vrijwel dezelfde representatie krijgen, kan het verschil tussen voorspelling en doel klein worden zonder dat het model iets nuttigs onderscheidt. Een lage trainingsfout is dan geen bewijs van goed begrip.

EMA is onderdeel van het ontwerp om dat te voorkomen, samen met onder meer de predictor en het tegenhouden van gradiënten door de target-tak. Het is geen los wondermiddel dat onder alle trainingsomstandigheden bruikbare representaties garandeert. Maskering, architectuur en trainingsinstellingen blijven van belang.

Dat maakt de aanpak tegelijk aantrekkelijk en lastig. Er zijn geen handmatig geschreven labels voor ieder beeld nodig, maar de onderzoekers moeten nog steeds zorgvuldig bepalen welk voorspelprobleem het netwerk krijgt.

Video voegt tijd toe, niet automatisch handelingsvermogen

V-JEPA past het idee toe op video. Het model moet nu niet alleen ruimtelijke samenhang leren, maar ook informatie over verandering door de tijd vastleggen. De afgedekte ruimtelijke blokken worden over de frames herhaald. Daardoor kan het netwerk een ontbrekend gebied minder gemakkelijk invullen door simpelweg dezelfde plek in een aangrenzend frame te bekijken.

De oorspronkelijke V-JEPA-studie onderzoekt of zulke voorspellingen bruikbare representaties opleveren voor beeld- en videotaken. Daarbij kan de geleerde encoder worden vastgezet en wordt er een afzonderlijke taakgerichte component bovenop getraind. Zo wordt onderzocht wat er al in de representatie beschikbaar is, zonder het hele netwerk voor iedere test opnieuw aan te passen.

Hier ligt een belangrijk onderscheid. Herkennen welke handeling in een video plaatsvindt, voorspellen wat waarschijnlijk volgt en bepalen wat een robot zelf moet doen, zijn verschillende problemen. Goede scores op de eerste twee maken het derde niet vanzelf opgelost.

Een video toont namelijk meestal niet rechtstreeks welke besturingsinstructie een robot moet uitvoeren. En waargenomen samenhang vertelt niet zonder meer wat er gebeurt wanneer het systeem zelf ingrijpt. Voor handelen is daarom extra informatie over toestanden en acties nodig.

V-JEPA 2 maakt de stap naar actie expliciet

Het V-JEPA 2-onderzoek combineert grootschalige training op internetvideo met een latere fase voor robotinteractie. Volgens de onderzoekers omvat de voortraining meer dan een miljoen uur video. Voor de actiegeconditioneerde variant gebruiken zij minder dan 62 uur robotvideo uit de DROID-dataset, met bijbehorende toestandsinformatie.

Die kleine hoeveelheid robotdata mag niet worden gelezen als de totale trainingsrekening. De algemene visuele representatie is daarvoor al op grote schaal geleerd. Tijdens de robotfase blijft de encoder bevroren en wordt een aparte predictor getraind die mogelijke volgende representaties voorspelt op basis van toestand en actie.

Dat levert een concreet planningsmechanisme op. Het systeem kan kandidaat-acties vergelijken door hun voorspelde gevolgen af te zetten tegen een gewenst doelbeeld. Het hoeft daarvoor niet eerst voor iedere mogelijkheid een fotorealistische video te genereren.

De onderzoekers demonstreren daarmee grijp- en verplaatstaken met Franka-robotarmen in nieuwe testomgevingen. Dat is een betekenisvol resultaat binnen die opzet. Het is geen bewijs dat een robot zonder aanvullende inrichting ieder onbekend huishoudelijk of industrieel probleem kan oplossen.

De grens ligt bij planning en controle

Het paper benoemt zelf beperkingen die in een korte demonstratie gemakkelijk verdwijnen. Langere reeksen voorspellingen stapelen fouten op. Meer mogelijke acties maken de zoekruimte groter. En de berekeningen voor het kiezen van een actie kosten tijd.

Ook het doel komt niet vanzelf uit het model. Bij de getoonde pick-and-place-opzet worden tussenstappen met doelbeelden aangegeven. Het systeem laat daarmee zien dat het onder voorwaarden naar opgegeven doelen kan plannen; niet dat het zelfstandig ieder langetermijndoel kan opdelen in een veilige uitvoerbare strategie.

Voor een praktijktoepassing is dat verschil doorslaggevend. Een bruikbare evaluatie moet niet alleen vragen of de robot een object ooit kan verplaatsen. Zij moet ook meten hoe vaak dat lukt, hoe lang beslissingen duren en hoe het systeem omgaat met afwijkende camerastanden, voorwerpen of onverwachte gebeurtenissen.

De zakelijke afweging zit dus niet uitsluitend in minder labels of een compactere voorspelling. Ook dataverzameling, rekentijd tijdens uitvoering, veiligheidsgrenzen en herstel bij fouten horen bij de kosten. Een efficiënt trainingsdoel garandeert geen goedkoop of zelfstandig inzetbaar robotsysteem.

Conclusie

JEPA is vooral een andere keuze voor wat AI leert voorspellen: geen volledige pixelwereld, maar representaties die bruikbare structuur moeten bewaren. De stap van beelden naar video en vervolgens naar actiegeconditioneerde voorspellingen maakt duidelijk waarom die keuze interessant is voor wereldmodellen.

Voor een nuchtere beoordeling tellen vooral deze punten:

  • Onderscheid representaties voorspellen van beelden genereren.
  • Behandel stabiele training niet als automatisch of gegarandeerd.
  • Verwar videoherkenning niet met betrouwbaar robotgedrag.
  • Lees beperkte robotdata samen met de grootschalige voortraining.
  • Beoordeel planning op horizon, rekentijd, benodigde doelinformatie en foutafhandeling.

De interessante vooruitgang is dat geleerde visuele kennis kan helpen om handelingen te plannen. De open vraag blijft hoeveel daarvan overeind blijft zodra de omgeving minder gecontroleerd en de opdracht minder afgebakend wordt.

Verder lezen

Zelf aan de slag met AI of een nieuwe website?

Code Lieshout bouwt het voor je — vaste prijs vooraf, reactie binnen één werkdag.

© 2026