In i maskinrummet: bagging, boosting, attention och varför allt hände på en gång

I förra artikeln reddes bokstavssoppan ut på ytan, vad AI, ML, DL och NLP faktiskt betyder, och vad en LLM gör i grunden. Den här artikeln går ett steg djupare: hur fattar de här systemen egentligen sina beslut, och varför kändes just de senaste åren som att allt exploderade samtidigt?

Att fråga flera experter: bagging vs. boosting

Ett av de äldre och mer robusta ML-knepen är att inte lita på en enda modell, utan bygga många småmodeller och kombinera deras svar. Det finns två helt olika sätt att göra det på, och skillnaden mellan dem säger en hel del om hur man tänker kring fel och osäkerhet.

Bagging är som att fråga hundra oberoende experter samma fråga och rösta fram majoritetens svar. Varje expert (i praktiken ett litet beslutsträd) tränas på ett lite annorlunda urval av datan, helt utan att veta vad de andra experterna gör. Poängen är inte att varje enskild expert ska vara bra. Det är att deras enskilda misstag tenderar att ta ut varandra när man slår ihop rösterna. Random Forest, en av de mest använda ML-modellerna i praktiken, är i grunden precis det här: hundratals beslutsträd som röstar tillsammans.

Boosting fungerar tvärtom. Istället för hundra oberoende experter bygger man dem i en kedja, en efter en, där varje ny expert specifikt får i uppdrag att fokusera på det de tidigare experterna hade fel om. Den första modellen gör sitt bästa, den andra tränas nästan uteslutande på de fall den första missade, den tredje fokuserar på det de två första fortfarande missar, och så vidare. Resultatet blir ofta träffsäkrare än bagging, men eftersom modellerna byggs i sekvens, en i taget baserat på föregående fel, är boosting känsligare för brus i datan och lättare att överanpassa om man inte är försiktig. XGBoost, som vunnit en lång rad datavetenskapstävlingar, är en boosting-modell.

Den korta versionen: bagging minskar varians genom oberoende röstning, boosting minskar bias genom att aktivt jaga tidigare misstag. Ingen av dem är en LLM eller ens djupinlärning, men de är fortfarande de modeller som i praktiken används mest för strukturerad affärsdata (kreditbedömning, bortfallsprognoser, prissättning), just för att de är snabba, robusta och relativt lätta att förklara för en revisor.

Vad attention faktiskt gör

Innan 2017 lästes text i princip ord för ord, i en lång kedja, där varje ord bara påverkade nästa steg genom det som redan hunnit "glömmas bort" lite på vägen. Det fungerade, men blev sämre ju längre meningen var, precis som ett viskningslek-spel där budskapet urvattnas för varje person det passerar.

Attention löste det genom en enkel men kraftfull idé: låt varje ord i en mening "titta på" alla andra ord samtidigt, och räkna ut hur relevant vart och ett av dem är för att förstå just det här ordet. Ordet "den" i meningen "hunden jagade katten för den var arg" måste väga in både "hunden" och "katten" för att avgöra vem "den" syftar på, och attention är mekanismen som låter modellen göra exakt den avvägningen, för varje ord, samtidigt, istället för att läsa i en rak linje.

Det är den mekanismen, beskriven i den numera berömda artikeln "Attention Is All You Need", som ligger bakom transformer-arkitekturen, och därmed bakom praktiskt taget varje LLM som finns idag.

Varför exploderade allt just nu?

Transformer-arkitekturen presenterades redan 2017, men det tog flera år innan den ledde till verktyg som ChatGPT. Anledningen är inte ett enda geni-genombrott, utan tre saker som råkade falla på plats ungefär samtidigt:

Arkitekturen: transformers med attention gjorde det möjligt att träna på mycket större datamängder mycket mer effektivt än tidigare arkitekturer, eftersom beräkningarna för varje ord kan göras parallellt istället för i följd.
Datan: internet hade vid det här laget vuxit till en nästan ofattbar mängd fritt tillgänglig text, precis den typen av rådata som djupinlärning (som vi kom fram till i förra artikeln) kan lära sig av utan att någon behöver märka upp den för hand.
Beräkningskraften: GPU:er, ursprungligen byggda för att rita grafik i datorspel, visade sig vara extremt bra på just den typen av parallella beräkningar som transformers kräver, och blev billiga nog i stor skala för att träna modeller med hundratals miljarder parametrar.

Ingen av de tre hade räckt ensam. Utan attention hade den stora datan och beräkningskraften inte gått att utnyttja effektivt. Utan de enorma mängderna textdata som internet gav tillgång till hade arkitekturen inte haft något att lära sig av. Och utan billig, parallelliserbar beräkningskraft hade det hela varit ekonomiskt omöjligt att träna i den skala som krävs. Det är därför det kändes som en explosion snarare än en gradvis förbättring: tre kurvor som alla passerade en tröskel ungefär samtidigt.