A rede neural aprende performances que ajudam a resolver uma tarefa. Para escolher uma arquitetura, observe como os dados estão relacionados: posições em um imagem, passos de uma sequência ou colunas de uma tabela.
Objetivos: monitorando o cálculo de uma neuroona; explicar treinamento e retropropagação; Comparação de MLP, CNN, RNN e LSTM e para reconhecer limites de capacidade e generalização.
Conceitos de Chave
A neuro calcula uma soma ponderada de entradas, acrescenta um Viés. e aplicando um função ativada. Os pesos determinam a contribuição de cada entrada. A ativação traz não linearidade: empilhar transformações puramente lineares não produz, por si só, uma borda não linear.
A característica camada de entrada recebe As camadas ocultas produzem representações intermediárias. A figura de saída representa previsão. Para reconhecer os dígitos 0 para 9, um imagem 28 × 28 dá valores 784 se for de um canal e poços, e a saída pode ter dez pontuações.
Durante o treinamento, a rede prevê, calcula perda e espalha gradientes de volta (Propagação reversa.). Otimizador A usa esses gradientes para atualizar parâmetros. A epoch Isso é uma passagem através do conjunto de treinamento. a Lote É um grupo processando uma atualização. Mais períodos ou mais neurônios não garantem melhor generalização.
MLP e redes convolucionais
A Perceptron multicamadas (MLP) Ele conecta camadas de neurônios e pode aprender limites não lineares. Na demonstração de círculos concêntricos, uma linha não separa o círculo interno do exterior. Para adicionar capacidade e ativações permite uma borda mais adequada o resultado deve ser verificado em novos pontos.
Uma. Rede Neural Revolucionária (CNN) Aproveite os padrões locais e compartilhe filtros sobre diferentes posições. O kernel A cruza regiões do imagem e produz um mapa de características. As primeiras camadas podem responder a bordas e texturas. Outros combinam padrões mais complexos.
ReLU introduz não linearidade. Pooling reduz as dimensões do espaço; Não substitui o treinamento de filtro. As capas finais combinam as características para classificar. Softmax converte as pontuações em uma distribuição de classe. Abandonar Desativa aleatoriamente algumas das unidades enquanto treina para regularizar. Não significa eliminar permanentemente os dados.
A CNN pode ser parte da classificação, detecção ou segmentação. A classificação identifica categorias, detectando a localização e segmentação atribui etiquetas por pixel. Não são gastos equivalentes.
Modelos de aposentadoria.
Uma. RNN Processos ordenados passos e mantém um estado escondido. O resultado de um passo tem uma influência no próximo. A revisão completa que produz um selo sentimento é muitos-para-um; uma entrada que gera uma sequência musical, Um a muitos.; Tradução entre sequências, Manand-to-muitos.
RNN simples pode ter dificuldades com dependências longas, entre outras razões para o gradiente que desaparece durante o treinamento. LSTM Adicione estado célula e entrada, esquecimento e saída portões. Eles regulam informações novas, retidas e expostas. Ajuda a preservar o contexto, mas não garante lembrar de nenhum comprimento.
Outros modelos resolvem diferentes objetivos: Autoencoders Eles aprendem como reconstruir entradas através de uma representação. e... GAN geradores de face e discriminadores e Transformadores Eles usam cuidados e são estudados no seguinte módulo. Nem todas as redes são treinadas exclusivamente com rótulos humanos.
Exemplo passo a passo
Suponha que um neuro com entradas x1 = 2, x2 = 3, pesos w1 = 0,5, w2 = −1 e o preconceito. 1.
- Múltiplos:
2 × 0,5 = 1y3 × (−1) = −3. - Adicione e adicione preconceitos:
1 − 3 + 1 = −1. - Aplicar ReLU:
max(0, −1) = 0. - Durante o treinamento, compare a saída da rede com o alvo, perda de computação e ajuste os parâmetros com gradientes.
No exemplo dos círculos, muda uma única variável como um número de neurônios e olha para a fronteira. Mantenha uma avaliação separada: uma curva que segue perfeitamente o ruído de treinamento pode piorar lá fora.
Erros comuns.
- Atribuindo ao agrupamento de todos os pesos de um CNN.
- Acreditar que o respaldo é inferência é parte do cálculo usado durante o treinamento.
- Escolha um RNN só porque os dados contêm números, mesmo que seu pedido não seja relevante.
- Para interpretar uma pontuação softmax como uma certeza de que o rótulo estará correto.
- Argumentar que uma rede maior é sempre melhor ou mais explica.
Exercício de arquitetura.
Você tem que detectar defeitos visuais em uma peça e analisar uma série temporária de vibrações. Que famílias você usaria como ponto de partida e o que você avaliaria?
Solução
A CNN é um ponto de partida para padrões de espaço em imagens. Para vibrações ordenadas no tempo, compare um modelo de sequência como RNN ou LSTM com uma alternativa simples. Ele avalia com novas imagens e períodos, impedindo amostras quase idênticas do mesmo equipamento de aparecer em ambos os lados da divisão. A arquitetura não substitui dados representativos.
Fontes e revisão
Fundações Deep Learning e demonstração de MLP em Rota oficial.. Sem olhar para a mesa, explique quais mudanças entre a classificação imagem, detecção de objetos e uma sequência de saída.