Elementy składowe sieci neuropodobnych

Wymóg prostoty jest uwzględniony (wręcz wbudowany w strukturę współczesnych sztucznych sieci neuropodobnych) na wiele sposobów. Po pierwsze elementy składowe tych sieci, tzw. sztuczne neurony, uwzględniają jedynie trzy najprostsze właściwości swoich biologicznych odpowiedników. Są to: 1) zdolność do agregacji wielu sygnałów pochodzących z różnych źródeł (najczęściej od innych neuronów albo z wejść podających dane potrzebne do rozwiązania zadania); 2) zdolność do różnicowania, w oparciu o wiedzę gromadzoną w trakcie uczenia, wpływu na końcowy wynik obliczeń sygnałów pochodzących z różnych źródeł; 3) zdolność do wypracowywania sygnału wyjściowego, kierowanego do dalszych elementów sieci lub wysyłanego na zewnątrz jako składnik rozwiązania stawianego sieci zadania. Te trzy wymienione wyżej zdolności występują oczywiście także w rzeczywistych (biologicznych) neuronach, jednak w sztucznych sieciach neuropodobnych przyjmuje się (arbitralnie!) maksymalnie uproszczone interpretacje matematyczne dla każdej z tych zdolności, co pozwala na budowanie małym kosztem nawet bardzo dużych sieci. I tak w celu zdolności do agregacji wejściowych sygnałów przez sztuczny neuron przyjmuje się najczęściej model prostej sumy odpowiednich składników (rzadziej stosuje się metodę agregacji sygnałów przez ich mnożenie, zaś bardziej skomplikowane techniki spotyka się wyjątkowo).

Rysunek 1. Struktura i podstawowe elementy sztucznego neuronu

Sumę taką w neuronie o numerze oznaczać będziemy . Wektor sygnałów wejściowych neuronu będziemy dalej oznaczali (z ewentualnymi indeksami różnicującymi różne dane wejściowe), przyjmując dodatkowo, że wektor ten ma elementów. Składowe tego wektora, oznaczane (gdzie numer kolejny wejścia neuronu) stanowią jedyną informację, jaka do neuronu dociera w sposób bezpośredni. W trakcie uczenia tam, gdzie to możliwe (to znaczy głównie na wyjściach sieci) do neuronu o numerze może docierać dodatkowo informacja o pożądanej wartości jego sygnału wyjściowego . Jeśli porównać ten model z niezwykle złożonymi możliwościami agregacji wejściowych sygnałów w przestrzennie rozkrzewionych strukturach drzewka dendrytycznego rzeczywistego neuronu — to uproszczenie jest tu ogromne, ale za cenę tej symplifikacji uzyskuje się możliwość taniego operowania bardzo dużą liczbą sygnałów w sztucznych sieciach neuropodobnych — i o to zwykle chodzi. Zdolność do różnicowania sygnałów docierających do neuronu z różnych źródeł także realizuje się w maksymalnie uproszczony sposób — najczęściej poszczególne sygnały wejściowe są przed zsumowaniem przemnażane przez nastawialne współczynniki ("wagi synaptyczne") (współczynnik wagowy na wejściu o numerze neuronu o numerze ), oczywiście zwykle w każdym neuronie (identyfikowanym przez numer ) wartość jest inna, przy czym większa wartość bezwzględna współczynnika oznacza ważniejszy sygnał , a różnica znaku współczynników (które mogą być zarówno dodatnie, jak i ujemne) pozwala różnicować sygnały na pozytywnie i negatywnie wpływające na dany neuron.

Porównanie opisanego tu mechanizmu różnicowania sygnałów z ogromnie złożonymi elektrochemicznymi procesami przebiegającymi w prawdziwej synapsie, ujawnia ogromną skalę uproszczeń, jakie wprowadza się do budowanych sztucznych sieci neuropodobnych, oddalając je w tym obszarze od biologicznego oryginału bardziej, niż w innych aspektach ich działania. Jednak za cenę tego właśnie uproszczenia uzyskuje się możliwość prostego i skutecznego uczenia nawet dużych sieci, co jest niezwykle ważne ze względu na zastosowanie sieci neuropodobnych.

Najbardziej zbliżona do wiernego modelu biologicznego oryginału jest, używana w sieciach neuropodobnych, funkcja — oznaczana , generująca wyjściowy sygnał neuronu. Najczęściej przyjmowana jest sigmoidalna postać tej funkcji, oparta na wykorzystaniu funkcji logistycznej lub funkcji tangens hiperboliczny, ale w użyciu są także i inne funkcje.

Rysunek 2. Przebieg typowych funkcji generujących wyjściowy sygnał neuronu

Nie są to funkcje idealnie odwzorowujące charakterystyki rzeczywistych neuronów, jednak przy założeniu, że wartość sygnału wyjściowego generowanego przez rzeczywisty (biologiczny) neuron skojarzona zostanie z częstotliwością impulsów generowanych przez tę komórkę — charakterystyka sigmoidalna wykorzystywana w sztucznych sieciach neuropodobnych jest dosyć wiernym odwzorowaniem biologicznej rzeczywistości. Także i tu można wskazać na daleko idące uproszczenia biologicznej rzeczywistości, chętnie stosowane, gdy tylko okazuje się to korzystne z punktu widzenia praktyki obliczeń realizowanych przez sztuczne neurony. Pierwszym takim uproszczeniem, nie mającym biologicznego uzasadnienia, jest stosowanie neuronów o charakterystykach liniowych. Ułatwia to obliczenia, lecz z pewnością nie znajduje biologicznego uwiarygodnienia, szczególnie w obszarach, gdzie liniowa funkcja produkuje na wyjściu sztucznego neuronu ujemne wartości sygnału. Inny przykład swobodnego porzucania charakterystyk biologicznych znajdujemy w przypadku stosowania sieci RBF (ang. Radial Basis Functions, wprowadzonych w latach 1994-95 przez S. Haykina i Ch.M. Bishopa; w sieciach tych charakterystyka wyjściowa neuronów zakłada niemonotoniczny kształt ich funkcji przejścia, najczęściej w formie zbliżonej do krzywej Gaussa, co zdecydowanie nie odpowiada żadnym biologicznym wzorcom, ale za to gwarantuje dobrą sprawność obliczeniową sztucznej sieci, zwłaszcza w przypadku budowy modeli interpolacyjnych).