Tipuri de retele neurale

Tipuri de retele neurale

Dupa cum a fost mentionat anterior, exista mai multe tipuri de retele neurale. Ele pot fi clasificate dupa tipul lor ( feedforward sau feedback ), si dupa algoritmul de antrenare pe care il folosesc.

Tipul de RN indica faptul in care neuronii de pe layere sunt conectati intre ei. Feedforward RN permit doar conectarea neuronilor de pe layere diferite intr-un singur sens ( de la layerul de intrare spre layerul de iesire ), in timp ce RN de tip feedback permit conexiuni intre neuronii aceluiasi layer si pot permite aparitia buclelor ( se pot construi deci retele foarte complexe, dinamice ).

In continuare vor fi descrise cateva dintre cele mai folosite RN :

Perceptronul

Perceptronul a fost prima data introdus de catre F.Rosenblatt in 1958.

Este o RN foarte simpla, care poate lucara cu intrari binare sau reale. Procesul prin care se antreneaza este unul supravegheat. Antrenarea supravegeata este o antrenare bazata pe modificarea ponderilor, deci a comportarii RN, pe baza erorii dintre iesirea dorita in cazul unor intrari stabile, de antrenare, si iesirea reala in cazul acelor intrari.

O astfel de RN este capabila sa rezolve operatii logice de baza ca OR sau AND. Operatii logice mai complicate ( ca XOR ) nu pot fi rezolvate cu aceasta RN.

Multi-Layer-Perceptron

Multi-Layer-perceptronul a fost introdus prima data de M.Minsky and S.Papert in 1969. Este o extensie a Perceptronului si are una sau mai multe layere ascunse de neuroni intre layerele de intrare si cele de iesire.

Datorita structurii sale mai complexe el este capabil sa rezolve toate operatii logice, inclusiv problema XOR.

Retea de tip Backpropagation

Reteaua de tip Backpropagation a fost prima data introdusa de catre G.E.Hinton, E.Rumelhart si R.J.Wiliams in 1986 si este una dintre cele mai puternice tipuri de RN.

Are aceeasi structura ca Multi-Layer-Perceptronul insa aici se foloseste algoritmul de antrenare de tip backpropagation tot timpul.

Retele de tip Hopfield

Retelele de tip Hopfield au fost prima data introduse de catre fizicianul J.J.Hopfield in 192 si apartin RN numite "modele termodinamice".

Este alcatuita dintr-un set de neuroni, set in care fiecare neuron este conectat cu toti neuronii. Nu exista diferente intre neuroni de intrare si neuroni de iesire.

Ponderile sint simetrice, adica , unde w_ij reprezinta ponderea legaturii nodului i cu nodul j.

Cel mai des se folosesc acest tip de retele la recunoasterea paternurilor ( de exemplu al imaginilor ).

Retele de tip Kohonen

Retelele de tip Kohonen au fost prima data introduse de catre profesorul finlandez Teuvo Kohonen in 1982.

Este probabil el mai folosit tip de retele neuronale , daca vrem sa simulam modul de invatare al creierului uman. Feature-mapul este baza acestui tip de retele in care neuronii se reorganizeaza in functie de anumite valori de intrare.Aceste retele sunt atat de tpul feedforward ( layerul de intrare ) cat si de tip feedback.

Exemple de functii de activare

Functia de activare poate fi de forma: