Andrzej
Pacut
SNR Sieci neuronowe
Semestr letni
2004/2005
Wykłady:
Czwartki, godz. 10:15 - 12:00, s. 164
Konsultacje: Czwartki,
godz. 12:15 – 13:00, pok. 522; inne terminy po uzgodnieniu (e-mail)
Projekt: Rozwiązanie zagadnienia
klasyfikacji, identyfikacji, lub minimalizacji przy użyciu sieci neuronowych.
Egzamin: Warunkiem przystąpienia do
egzaminu jest oddanie projektu najpóźniej do godz. 12 we wtorek poprzedzający
egzamin.
Uwaga: terminy i miejsce egzaminu są wyznaczone
przez Dziekanat
Przykłady tematów egzaminacyjnych
2003 2004 2005
Projekty należy składać w
Sekretariacie IAIS pok. 521.
Treść wykładu
UWAGA:
Slajdy - (w
formacie pdf) są tylko przewodnikiem po materiale
wykładu.
Slajdy
wykłady 1-14 (pdf)
1. Wstęp
Charakteryzacja dziedziny: sieci neuronowe. Bio-modelowanie,
bio-inżynieria, modelowanie neuronowe.
Charakteryzacja tematyki sieci neuronowych.
2. Korzenie biologiczne: neuron. Modelowanie neuronowe. Elementy
budowlane systemu nerwowego. Budowa neuronu. Potencjał spoczynkowy, potencjał
czynnościowy, model Hodgkin’a-
Huxley’a. Transmisja sygnału między neuronami.
Struktury połączeń neuronów.
3. Korzenie
biologiczne: system nerwowy Funkcje systemu nerwowego.
System nerwowy jako układ sterowania. Elementy budowy systemu nerwowego:
receptory, efektory, budowa mózgu.
Biologiczne sieci neuronowe, geometria skupień neuronów.
4. Typowa
sieć warstwowa Struktura typowego neuronu, wagi, funkcja aktywacji. Warstwy: własności warstw,
sieci warstwowe, sieci uporządkowane, perceptron wielowarstwowy. Sygnały w sieciach,
reprezentacje sygnału. Struktura sieci neuronowych, sieci statyczne, sieci
dynamiczne, trening sieci.
5. Problem
klasyfikacji Klasy obiektów: obiekty i obrazy, cechy obiektów, klasy w przestrzeni
obiektów, dziedziczenie klas, problem niejednoznaczności. Klasyfikacja obrazów: cechy, funkcja decyzyjna, dostępna informacja, klasyfikacja binarna
Klasyfikacja liniowa: liniowa separowalność, liczba
klas liniowo separowalnych, pojemność klasyfikacji
liniowej. Klasyfikatory: klasyfikatory liniowe, binarne klasyfikatory liniowe,
klasyfikatory nieliniowe, łączenie klas. Podejście probabilistyczne:
klasyfikacja bayesowska, minimalizacja
prawdopodobieństwa błędu, niezależne obserwacje binarne.
6. Perceptron
Rosenblatta Perceptron Rosenblatta: struktura perceptronu, perceptron jako
klasyfikator, problem reprezentacji, kodowanie. Uczenie perceptronu Rosenblatta, trajektorie wag, płaszczyzny decyzyjne.
Maszyny liniowe. Współczesne modyfikacje perceptronu.
7. Maszyna
wektorów podpierających (SVM). Postać dualna perceptronu Rosenblatta. Region separujący, separacja optymalna, rola
zbioru cech, dobór warstwy ukrytej. Dobór warstwy ukrytej, iloczyn skalarny w
przestrzeni cech, warunek Mercera. SVM
maksymalizujące margines, Rozwiązywanie problemów nieseparowalnych
liniowo, SVM dla liniowej kary za naruszenie ograniczeń, skalowanie.
8: Sieci do
celów aproksymacji: perspektywa historyczna: Adaline,
algorytm $\alpha$-LMS, algorytm $\mu$-LMS,
algorytm Kaczmarza, normalizowane najmniejsze
kwadraty. Sieci sigmoidalne, problem
doboru wag.
9. Problem
aproksymacji funkcji Aspekty teoretyczne aproksymacji
neuronowych: problem Hilberta i twierdzenie Kołmogorowa, aproksymacja funkcji ciągłych, nieciągłych,
całkowalnych, aproksymacja funkcji ciągłych wraz z pochodnymi, aproksymacja
funkcji losowych.
10. Techniki
minimalizacji dla sieci neuronowych Metody
minimalizacji; metody pierwszego
rzędu: najszybszy spadek, gradient sprzężony; metody drugiego rzędu: Newtona, Levenberga-Marquardta, zmiennej metryki. Implementacje
sieciowe: potrzeba obliczania lokalnych gradientów, wygładzanie inercyjne,
modyfikacje typu delta-delta. Mody minimalizacji: wzorzec za wzorcem,
moda wsadowa, modyfikacje.
11.
Propagacja zwrotna gradientu Systemy warstwowe i
systemy uporządkowane, obliczanie gradientów dla systemu warstwowego, obliczanie
gradientów dla systemu uporządkowanego, przypadek wektorowy.
12.
Propagacja gradientu w perceptronie wielowarstwowym. Graf wpływów. Propagacja do wagi, propagacja przez warstwę. Gradienty
dla sieci dwuwarstwowej. Gradienty dla sieci wielowarstwowej. Operator
propagacji zwrotnej. Propagacja zwrotna przez sieć. Aproksymacja drugich
pochodnych.
13. Sieci
neuronowe a układy dynamiczne Sieci dynamiczne. Zastosowania
sieci dynamicznych. Reprezentacja NARX układów nieliniowych, zastosowanie sieci
neuronowych do modelowania i identyfikacji układów nieliniowych. Propagacja
zwrotna w układach dynamicznych. Gradienty wag dla sieci wyjścia, sieci stanu.
Gradienty wag dla układu dynamicznego sieci. Porównania.
14. Stabilność
sieci dynamicznych. Problemy stabilności w sieciach
rekurencyjnych, sieci Hopfielda z czasem dyskretnym,
pamięć adresowana zawartością. Zastosowania do minimalizacji, projektowanie
macierzy wag. Sieci Hopfielda z czasem ciągłym.
Andrzej Pacut
Feb. 2001