Det som känns abstrakt blir tydligt när du får experimentera.
Utforska nätverken, ändra en sak och se vad som händer.
Lokala pedagogiska exempel · Byggd
Ett CNN letar efter små mönster i en bild. Flera lager kan sätta ihop dem till större former.
Följ den gula rutan: varje steg läser nio pixlar och bygger bilderna till höger. Filmen stannar till vid slutresultatet och börjar sedan om.
Flytta reglaget eller klicka i den första resultatbilden. Rutan i originalbilden visar de nio pixlar som används.
Convolution använder samma vikter i hela bilden. Ett lodrätt streck kan därför ge utslag både till vänster och till höger.
För varje position multipliceras nio pixelvärden med nio filtervikter. Produkterna summeras: z = Σ(xᵢ · wᵢ) + b. Här är b = 0. Operationen kallas strikt korskorrelation, men brukar kallas convolution i CNN.
ReLU sätter negativa svar till noll. Max pooling behåller sedan det största värdet i varje 2 × 2-ruta och minskar bildens storlek.
ReLU, f(z) = max(0, z), ger nätverket en icke-linjär funktion. Pooling komprimerar information och kan göra små förskjutningar mindre betydelsefulla, men förlorar också detaljer.
I ett tränat CNN lärs många filter från exempel. Djupare lager kombinerar mönster och ett klassificeringslager ger poäng för siffrorna 0–9.
Under träning jämförs svaret med rätt etikett. Backpropagation beräknar gradienter och en optimerare uppdaterar vikterna för att minska felet. Här använder vi handvalda filter och egna ritade exempel, inte MNIST eller en tränad modell. Labbet ger därför ingen klassificering eller sannolikhet.
Generatorn försöker skapa trovärdiga exempel. Diskriminatorn övar på att skilja dem från riktiga data.
Börja med att träna diskriminatorn. Sedan får generatorn använda dess återkoppling.
D ger ett värde mellan 0 och 1. Nära 1 betyder att diskriminatorn bedömer talet som riktigt. Det är modellens bedömning, ingen garanti. Brusreglaget undersöker modellen utan att träna den.
Generatorn omvandlar z till ett tal. Här lär den sig två parametrar: mittpunkt och bredd. I ett bild-GAN kan ett stort neuralt nätverk i stället omvandla brus till bildpixlar.
G(z) = μ + s·z. Generatorn minimerar −medel(log D(G(z))). Gradienterna går genom diskriminatorn till μ och s, medan diskriminatorns vikter hålls fasta.
Riktiga exempel har etiketten 1 och genererade exempel etiketten 0. Den gröna kurvan visar hur diskriminatorn bedömer varje talvärde.
D(x) = sigmoid(w₀ + w₁x + w₂x²). Förlusten är −medel(log D(x)) − medel(log(1 − D(G(z)))). Vikterna uppdateras med gradientnedstigning. Generatorn hålls fast under detta steg.
Motspelarna ändras hela tiden. Lägre förlust för den ena kan göra uppgiften svårare för den andra. Jämför därför också var de två grupperna ligger och hur breda de är.
Detta är verklig gradientträning av två små funktioner, inte ett bildnätverk. Vi använder 80 fasta, jämnt fördelade brusvärden. Mittpunkten begränsas till ±3 och bredden till 0,05–2 för stabilitet. Generatorn kan bara skapa en jämn fördelning; flera separata toppar och mode collapse hos större GAN visas inte. Ett D-värde nära 0,5 kan betyda balans eller en otränad diskriminator.
Ett spamfilter kan både larma i onödan och missa spam. Flytta tröskeln och se avvägningen.
Poäng ≥ tröskeln → larma som spam. Låg tröskel ger fler larm.
S = spam, V = vanligt mejl enligt facit. Varje kort visar mejlets fasta poäng.
Rader = facit · kolumner = beslut. Välj en ruta för att markera mejlen.
Hur stor andel av alla beslut blev rätt?
Hur ofta har ett larm rätt?
Hur stor andel av allt spam hittar vi?
Harmoniskt medelvärde av precision och recall.
Sätt tröskeln till 0: allt blir spam och recall blir 100 %. Sätt den till 1: inget mejl ger larm. Inget av valen löser hela problemet.
Precision = TP / (TP + FP). Recall = TP / (TP + FN). F1 = 2TP / (2TP + FP + FN). Accuracy = (TP + TN) / N. Ett mått med nämnaren 0 visas som ej definierat. Utan larm är precision ej definierad, medan F1 här är 0 eftersom det finns missade spam.
Välj ovanligt spam och tröskeln 1. Alla mejl frias: 90 % blir rätt, men inget spam hittas. Läs därför flera mått tillsammans.
Hög precision minskar andelen falska larm bland larmen. Hög recall minskar andelen missat spam. F1 väger ihop båda, men tar inte hänsyn till rätt friade mejl eller olika kostnader för felen.
I en riktig modell väljer du tröskel på valideringsdata och gör slutmätningen på separat testdata. Exempel från träningen ger ingen rättvis slutmätning.
Här finns två klasser, fasta syntetiska poäng och bara 40 exempel. Byte av testmängd ändrar facit för demonstrationen. Resultatet säger inget om en verklig modells kvalitet, kalibrering eller förmåga att fungera på annan data.
Ett LSTM bearbetar en sekvens, ett steg i taget. Tre grindar styr vad som sparas, skrivs och visas.
Hela sekvensen visas. Strecket markerar valt steg. Startvärden: c₀ = h₀ = 0.
| Steg | f | i | o | g | c | h |
|---|
Cellminnet c bär information mellan tidssteg. Utdata h är den del som skickas vidare och används när nästa steg beräknas. LSTM står för Long Short-Term Memory.
I ett vanligt återkopplat nätverk kan gradienter krympa eller växa genom många steg. LSTM:s additiva minnesväg och grindar kan hjälpa nätverket att lära längre beroenden, men garanterar inte obegränsat minne.
Glömgrinden skalar det gamla minnet. Ingrinden styr hur mycket nytt som läggs till. Utgrinden styr hur mycket av det omformade minnet som syns i h.
Grindarna beräknas från aktuell indata xₜ och föregående utdata hₜ₋₁: fₜ = σ(Wf · [hₜ₋₁, xₜ] + bf), och motsvarande för i och o. Kandidaten g använder tanh. Vikter och bias lärs vid träning. I labbet väljer du grindarna och kandidaten direkt; återkopplingen till grindarna simuleras inte. Ändpunkterna 0 och 1 är idealiserade.
1. I ”Kom ihåg en signal”: sänk f i en paus och följ förlusten.
2. I ”Byt instruktion”: sätt f = 1 vid ”Kallt”. Tar motsatta bidrag ut varandra?
3. I ”Samla observationer”: jämför c och h. Cellminnet kan överstiga 1, medan tanh begränsar utdata.
LSTM kan användas för exempelvis tidsserier, ljud och text. Riktiga modeller har många minneskomponenter och tränas på data. Våra etiketter illustrerar en idé; labbet tolkar inget språk och gör inga prognoser.
Välj ett svar och testa sedan med reglaget.