La rete neurale A impara le prestazioni che aiutano a risolvere un'attività. Per scegliere un'architettura, si noti come i dati sono correlati: posizioni in una immagine, passi di una sequenza o colonne di una tabella.
Obiettivi: monitoraggio del calcolo di un neurone; spiegare formazione e backpropagation; Confronto di MLP, CNN, RNN e LSTM e riconoscere limiti di capacità e generalizzazione.
Concetti Chiave
A neuro calcola una somma ponderata di ingressi, aggiunge un Biascinante e applicando funzione di attivazione. I pesi determinano il contributo di ogni entrata. L'attivazione porta la non linearità: impilare trasformazioni puramente lineari non produce di per sé un confine non lineare.
Il caratteristico strato di ingresso riceve Gli strati nascosti producono rappresentazioni intermedie. La figura dell'uscita rappresenta la previsione. Per riconoscere le cifre 0 a 9, un immagine 28 × 28 dà valori 784 se è da un canale e pit, e l'uscita può avere dieci punteggi.
Durante la formazione, la rete prevede, calcola la perdita e diffonde gradienti indietro (backpropagation). L'ottimizzazione A utilizza questi gradienti per aggiornare i parametri. A epoca Questo è un passaggio attraverso il set di allenamento. a lotto di lotto E' un gruppo che elabora un aggiornamento. Più periodi o più neuroni non garantiscono una generalizzazione migliore.
MLP e reti convoluzionali
A Perceptron multistrato (MLP) Collega strati di neuroni e può imparare confini non lineari. Nella dimostrazione di cerchi concentrici, una linea non separa il cerchio interno dall'esterno. Per aggiungere capacità e attivazioni consente un bordo più adatto Il risultato deve essere controllato in nuovi punti.
Uno. Rete neurale rivoluzionaria (CNN) Approfitta dei modelli locali e condividi filtri su posizioni diverse. Il kernel A attraversa le regioni dello immagine e produce una mappa delle caratteristiche. I primi strati possono rispondere a bordi e texture. Altri combinano modelli più complessi.
ReLU introduce la non linearità. Piscina riduce le dimensioni dello spazio; non sostituisce l'allenamento del filtro. I tappi finali combinano le caratteristiche per classificare. Softmax converte i punteggi in una distribuzione di classe. Goccia disattiva casualmente alcune delle unità durante l'allenamento per regolarizzare. non significa eliminare definitivamente i dati.
A CNN può essere parte di classificazione, rilevamento o segmentazione. La classificazione identifica le categorie, rilevando aggiunge la posizione e la segmentazione assegna i tag per pixel. Non sono outlay equivalenti.
Modelli di pensionamento
Uno. RNN Processi ordinati passi e mantiene nascosto stato. Il risultato di un passo ha un'influenza sul prossimo. A recensione completa che produce un'etichetta di sensazione è molti a uno; una voce che genera una sequenza musicale, da uno a molti; traduzione tra sequenze, manand-to- molti.
Semplice RNN può avere difficoltà con lunghe dipendenze, tra le altre ragioni di pendenza che sbiadiscono durante la formazione. LSTM aggiungere la cella e l'ingresso stato, l'oblio e i cancelli di uscita. Regolano informazioni nuove, conservate ed esposte. Aiuta a preservare il contesto, ma non garantisce di ricordare qualsiasi lunghezza.
Altri modelli risolvono obiettivi diversi: autoveicoli imparano a ricostruire gli input attraverso una rappresentazione. e GAN generatori di faccia e discriminatori e trasformatori Essi utilizzano la cura e sono studiati nel modulo seguente. Non tutte le reti sono addestrate esclusivamente con etichette umane.
Esempio guidato
Supponiamo un neuro con ingressi x1 = 2, x2 = 3, pesos w1 = 0,5, w2 = −1 e bias 1.
- Multiples:
2 × 0,5 = 1y3 × (−1) = −3. - Aggiungi e aggiungi bias:
1 − 3 + 1 = −1. - Applicare ReLU:
max(0, −1) = 0. - Durante la formazione, confrontare l'output di rete con l'obiettivo, la perdita calcolo e regolare i parametri con gradienti.
Nell'esempio dei cerchi, cambia una singola variabile come un numero di neuroni e guarda al confine. Mantenere una valutazione separata: una curva che segue perfettamente il rumore di allenamento può peggiorare all'esterno.
Errori comuni
- Attribuire a pooling il tuning di tutti i pesi di una CNN.
- Per credere che il backspread sia inferenza: fa parte del calcolo utilizzato durante l'allenamento.
- Scegliere un RNN solo perché i dati contengono numeri, anche se l'ordine non è rilevante.
- Per interpretare un punteggio softmax come una certezza che l'etichetta sarà corretta.
- Per sostenere che una rete più grande è sempre migliore o più spiegare.
Esercizio di architettura
È necessario rilevare i difetti visivi in un pezzo e analizzare una serie temporanea di vibrazioni. Quali famiglie useresti come punto di partenza e cosa valuteresti?
Soluzione
A CNN è un punto di partenza per i modelli di spazio nelle immagini. Per le vibrazioni ordinate in tempo, confrontare un modello di sequenza come RNN o LSTM con una semplice alternativa. Valuta con nuove immagini e periodi, impedendo campioni pressoché identici dalle stesse apparecchiature di apparire su entrambi i lati della divisione. L'architettura non sostituisce i dati rappresentativi.
Fonti e recensioni
Deep Learning Foundations e dimostrazione di MLP a itinerario ufficiale. Senza guardare la tabella, spiegare quali cambiamenti tra la classificazione immagine, il rilevamento degli oggetti e una sequenza di output.