From: "Michał Pierewicz" <mihaj_p gazeta.pl>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
Użytkownik "KA" <a b.c> napisał w wiadomości
news:dil1pm$m9v$2 inews.gazeta.pl...
> A.L. wrote:
>> On Wed, 12 Oct 2005 09:07:46 +0200, KA <a b.c> wrote:
>>
>>
>>>A.L. wrote:
>>>
>>>>W tym roku lepiej niz poprzednio - 4 samochody ukonczyly rajd, VW
>>>>zwyciezyl:
>>>>
>>>>http://www.cnn.com/2005/TECH/science/10/10/robot.race.ap/index.html
>>>>
>>>>A.L.
>>>
>>
>> Stanford University.
>>
>
> Ciekaw jestem z czego taki system musi się składać. Pewnie kupa sprzętu i
> tona softu.
Wszystko jest na http://www.stanfordracing.org/
Pozdrawiam
Mihaj
From: KA <a b.c>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
Michał Pierewicz wrote:
>>Ciekaw jestem z czego taki system musi się składać. Pewnie kupa sprzętu i
>>tona softu.
>
>
> Wszystko jest na http://www.stanfordracing.org/
No to ja jestem ciekaw więcej niż wszystkiego :-)
Konrad
From: J.F. <jfox_xnospamx poczta.onet.pl>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
On Thu, 13 Oct 2005 10:35:21 +0200, KA wrote:
>Michał Pierewicz wrote:
>>>Ciekaw jestem z czego taki system musi się składać. Pewnie kupa sprzętu i
>>>tona softu.
>>
>> Wszystko jest na http://www.stanfordracing.org/
>
>No to ja jestem ciekaw więcej niż wszystkiego :-)
Wiecej to juz tajemnica wojskowa :-)
J.
From: A.L. <lewando_won_ kalabambuko.com>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
On Thu, 13 Oct 2005 10:35:21 +0200, KA <a b.c> wrote:
>Michał Pierewicz wrote:
>>>Ciekaw jestem z czego taki system musi się składać. Pewnie kupa sprzętu i
>>>tona softu.
>>
>>
>> Wszystko jest na http://www.stanfordracing.org/
>
>No to ja jestem ciekaw więcej niż wszystkiego :-)
>
>Konrad
Prosze bardzo:
http://www.ri.cmu.edu/pubs/pub_5096.html
To nie jest ze Stanford tylko z CMU, ale facio ktory byl szefem
zespolu programistycznego przeszedl niedawno z CMU do Stanford. CMU
bylo od dawna w czolowce "bezludnych samochodow".
A.L.
From: KA <a b.c>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
A.L. wrote:
> On Thu, 13 Oct 2005 10:35:21 +0200, KA <a b.c> wrote:
>
>
>>Michał Pierewicz wrote:
>>
>>>>Ciekaw jestem z czego taki system musi się składać. Pewnie kupa sprzętu i
>>>>tona softu.
>>>
>>>
>>>Wszystko jest na http://www.stanfordracing.org/
>>
>>No to ja jestem ciekaw więcej niż wszystkiego :-)
>>
>>Konrad
>
>
> Prosze bardzo:
>
> http://www.ri.cmu.edu/pubs/pub_5096.html
>
> To nie jest ze Stanford tylko z CMU, ale facio ktory byl szefem
> zespolu programistycznego przeszedl niedawno z CMU do Stanford. CMU
> bylo od dawna w czolowce "bezludnych samochodow".
>
Dzięki. Jest co poczytać.
Konrad
From: "Jerzy" <jciruk poczta.fm>
Subject: Re: DeepBlue vs Kasparov
Filip Sielimowicz wrote:
>
> Fajne ... :)
>
> I dlatego własnie wydaje mi się, że jeśli
> kiedyś ludzkość zostanie zmieciona z ziemii przez "inną rasę"
> - to bardzo prawdopodobne, że nie ze względu na większą
> inteligencję tamtej, ale właśnie ze względu
> na "sheer muscle". Np. zginiemy w szczękach mechanicznej
> szarańczy, którą sobie dla eksperymentu sami wyhodujemy.
> Żadnej inteligencji. Czysty brute force rozdzielony na
> biliony sprawnie mnożących się procesorków ...
Ale to ludzie tworzą maszyny. Oczywiście, jeśli będą tworzyć wbrew 1 prawu
robotyki, to maszyny mogą wyrządzić komuś krzywdę. Jednak moim zdaniem to są
tylko wizje dla maluczkich, aby ich trzymać w strachu, no i oczywiście
zbijać kasę na "hollywoodzkich" produkcjach ;-)
From: "PP" <porzu op.pl.USUN>
Subject: troche [OT]: sieć semantyczna
Witam wszystkich.
Otrzymałem za zadanie zaimplementowanie struktury danych w celu efektywnego
przeszukiwania dużych zbiorów danych, > 1GB. Została mi przydzielona sieć
semantyczna. Niestety nie mogę znaleźć żdanych w miarę przystępnych
materiałów odnośnie mojego tematu. Dlatego zastanawiam się, czy nie mogę
wykorzystać sieci semantycznej jako po prostu grafu skierowanego i opisać
jego zawartość przy pomocy RDF? Czy może jest jakiś inny lepszy sposób z
wykorzystaniem zalet sieci semantycznych? Prosze o pomoc...
Pozdrawiam,
PP.
From: "Michał Pierewicz" <mihaj_p gazeta.pl>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
Użytkownik "KA" <a b.c> napisał w wiadomości
news:dil65q$cuj$1 inews.gazeta.pl...
> Michał Pierewicz wrote:
>>>Ciekaw jestem z czego taki system musi się składać. Pewnie kupa sprzętu i
>>>tona softu.
>>
>>
>> Wszystko jest na http://www.stanfordracing.org/
>
> No to ja jestem ciekaw więcej niż wszystkiego :-)
>
Kliknij ten link aby dojsc do materialow o zespole i pojezdzie
http://cs.stanford.edu/group/roadrunner/presskit.html
Wszystko = "All about Stanley" jest dokladnie w tym linku
http://cs.stanford.edu/group/roadrunner/presskit/about_stanley.pdf
Kontakt prasowy wziety z tej samej strony www.stanfordracing.org:
Pamela Mahoney
650-854-7236
pmahoney mdv.com
David Orenstein
(650) 736-2245
david.orenstein stanford.edu
Dr. Sven Strohband
(650) 861-1019
Sven.Strohband vw.com
Mihaj
P.S. Do czytania PDF trzeba miec Acrobat Readera.
P.P.S. Czy wystarczajaco wyjasnilem? ;-)
From: A.L. <lewando_won_ kalabambuko.com>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
On Fri, 14 Oct 2005 15:42:43 +0200, "Michał Pierewicz"
<mihaj_p gazeta.pl> wrote:
>Kliknij ten link aby dojsc do materialow o zespole i pojezdzie
>http://cs.stanford.edu/group/roadrunner/presskit.html
>
>Wszystko = "All about Stanley" jest dokladnie w tym linku
>http://cs.stanford.edu/group/roadrunner/presskit/about_stanley.pdf
>
>Kontakt prasowy wziety z tej samej strony www.stanfordracing.org:
>
>Pamela Mahoney
>650-854-7236
>pmahoney mdv.com
>
>David Orenstein
>(650) 736-2245
>david.orenstein stanford.edu
>
>Dr. Sven Strohband
>(650) 861-1019
>Sven.Strohband vw.com
>
>Mihaj
>
>P.S. Do czytania PDF trzeba miec Acrobat Readera.
>P.P.S. Czy wystarczajaco wyjasnilem? ;-)
>
Nie. "Press releaases" to "mumbo, jumbo" czyli zawracanie glowy.
A.L>
From: "Filip Sielimowicz" <sielim poczta.onet.pl>
Subject: Re: DeepBlue vs Kasparov
Użytkownik "Jerzy" <jciruk poczta.fm> napisał w wiadomości
news:dio575$40r$1 nemesis.news.tpi.pl...
> Filip Sielimowicz wrote:
> Ale to ludzie tworzą maszyny. Oczywiście, jeśli będą tworzyć wbrew 1 prawu
> robotyki, to maszyny mogą wyrządzić komuś krzywdę.
Jeśli, jeśli ...
A wirusy komputerowe to same sobie złamały pierwszą zasadę?
A badania nad bronią biologiczną to też sf ?
Technika idzie naprzód to i szaleńcy mają większe możliwości.
From: mucha <mucha mat.uni.torun.pl>
Subject: pattern recognition
Czesc
Szukam informacji na temat rozpoznawania obrazow przez komputer. Chodzi
mi o teorie i gotowe narzedzia/biblioteki. W tej chwili rozpoznaje
opencv. Bede wdzieczny za wszelkie sugestie.
pozdrawiam
From: "Tomasz 'Merlin' Kolinko" <news px.qs.pl>
Subject: Re: pattern recognition
> Czesc
> Szukam informacji na temat rozpoznawania obrazow przez komputer. Chodzi mi
> o teorie i gotowe narzedzia/biblioteki. W tej chwili rozpoznaje opencv.
> Bede wdzieczny za wszelkie sugestie.
> pozdrawiam
Dwa watki niżej podałem adres:
http://www.cs.nyu.edu/~yann/research/dave/index.html
Przejrzyj "Final Report" - tam opisane jest jak konstruuje się sieci
rozpoznające obrazy. Poza tym obejrzyj stronę Yanna LeCuna - tam jest wiele
informacji.
Jeśli chodzi o gotowe biblioteki - nie widziałem (ale słabo szukałem). Będę
wdzięczny jeśli podzielisz się z grupą jak znajdziesz jakieś.
Pozdrawiam,
Merlin
From: abu <aub_zabi wp.pl>
Subject: Re: =?ISO-8859-2?Q?Sie=E6_neuronowa_i_nauka_sterowania_?=
Tomasz 'Merlin' Kolinko napisał(a):
> Witam,
> Wczoraj znalazłem to:
> http://www.cs.nyu.edu/~yann/research/dave/index.html
> Wpakowali do samochodzika dwie kamery i uczyli go omijać przeszkody.
>
> Na stronce jest "Final Report" w którym bardzo ciekawie opisano cały
> projekt - od konstrukcji sprzętu, poprzez architekturę sieci neuronowych, po
> porównanie wyników przy jednej i dwu kamerach. (Okazało się, że samochód z
> jedną kamerą osiąga niemal równie dobre wyniki, co samochód z dwoma)
W sumie obraz z jednej kamery niezbyt różni się od obrazu z drugiej kamery.
A to co dają dwie kamery to to, że na podstawie obrazu z dwóch kamer
można wyciągnąć informacje o 3d. Być może sieć się jeszcze nie nauczyła
tego robić i wynik jest podobny.
Arek.
From: "Tomasz 'Merlin' Kolinko" <news px.qs.pl>
Subject: Re: Sieć neuronowa i nauka sterowania pojazdem
>> Na stronce jest "Final Report" w którym bardzo ciekawie opisano cały
>> projekt - od konstrukcji sprzętu, poprzez architekturę sieci neuronowych,
>> po porównanie wyników przy jednej i dwu kamerach. (Okazało się, że
>> samochód z jedną kamerą osiąga niemal równie dobre wyniki, co samochód z
>> dwoma)
>
> W sumie obraz z jednej kamery niezbyt różni się od obrazu z drugiej
> kamery.
Różni się na tyle, że można rozpoznać głębię (sprawdzałem).
> A to co dają dwie kamery to to, że na podstawie obrazu z dwóch kamer można
> wyciągnąć informacje o 3d. Być może sieć się jeszcze nie nauczyła tego
> robić i wynik jest podobny.
Nauczyła się - naukowcy sprawdzili prowokując specjalnie sytuacje, które
wymagały wykorzystania wiedzy o trzecim wymiarze i w przypadku obrazu z
dwóch kamer - sieć wykorzystywała tą wiedzę.
IMO - to świadczy o tym, że sieć była w stanie b. dobrze nauczyć się
rozpoznawania obrazu z jednej kamery (a nie b. słabo z dwóch:)
Pozdrawiam,
Merlin
From: "Tomasz 'Merlin' Kolinko" <news px.qs.pl>
Subject: Re: Poprawione linki
> Praca: http://satan.aster.net.pl/~samuel/MScThesis.pdf
> Program: http://satan.aster.net.pl/~samuel/annsim.tgz
Coś te poprawione linki dają 404.
Pozdrawiam,
Merlin
From: A.L. <alewando kapturek62.com>
Subject: Re: Regulowy system ekspertowy
On Sun, 23 Oct 2005 12:39:15 +0200, infested
<lukas_stanczak poczta.onet.pl> wrote:
>Witam
>
>Poszukuje ciekawego pomyslu na regulowy system ekspertowy z ok. 50
>regulami (program na zajecia z metod sztucznej inteligencji na
>studiach). Zastanawialem sie nad filtrem antyspamowym, ale z tego co sie
>zorientowalem nie zadaje sie w takich systemach regul z gory, tylko
>system (oparty na logice rozmytej) uczy sie sam, a poza tym zupelnie
>nietrywialne wydaje sie wymyslenie 50 rozsadnych regul do takiego
>systemu. Jezeli macie jakies fajne pomysly, to bylbym wdzieczny.
>
>Pozdrawiam,
>Lukasz
No fajnie,. To juz trzeci post. A sam nie mozesz wymyslec?..
A.L.
From: =?ISO-8859-2?Q?Pawe=B3_=27R=F3=BFa=27_R=F3=BFa=F1ski?= <rozie friko2.onet.pl>
Subject: Re: Regulowy system ekspertowy
infested wrote:
> Poszukuje ciekawego pomyslu na regulowy system ekspertowy z ok. 50
> regulami (program na zajecia z metod sztucznej inteligencji na
> studiach). Zastanawialem sie nad filtrem antyspamowym, ale z tego co sie
> zorientowalem nie zadaje sie w takich systemach regul z gory, tylko
> system (oparty na logice rozmytej) uczy sie sam, a poza tym zupelnie
> nietrywialne wydaje sie wymyslenie 50 rozsadnych regul do takiego
> systemu. Jezeli macie jakies fajne pomysly, to bylbym wdzieczny.
Obejrzyj sobie źródła spamassasina czy czegoś takiego, dobrze?
--
The Great Internet Mersenne Prime Search
http://www.mersenne.org
37.60% done.
From: "przezroczystek " <przezroczystek gazeta.SKASUJ-TO.pl>
Subject: =?ISO-8859-2?Q?Re:_Sie=E6_neuronowa_i_nauka_sterowania_pojazdem?=
Tomasz 'Merlin' Kolinko <news px.qs.pl> napisał(a):
> Witam,
> Wczoraj znalazłem to:
> http://www.cs.nyu.edu/~yann/research/dave/index.html
> Wpakowali do samochodzika dwie kamery i uczyli go omijać przeszkody.
>
> Na stronce jest "Final Report" w którym bardzo ciekawie opisano cały
> projekt - od konstrukcji sprzętu, poprzez architekturę sieci neuronowych, po
> porównanie wyników przy jednej i dwu kamerach. (Okazało się, że samochód z
> jedną kamerą osiąga niemal równie dobre wyniki, co samochód z dwoma)
>
> Pozdrawiam,
> Merlin
>
Witam
Mnie kusi od pewnego czasu, żeby zrobić taką prostą grę
(np. bomber man), oprogramować samemu inteligencję złośliwych
duszków, a temu dobremu dać do nauki dane z decyzji jakie
podejmował gracz-człowiek. Jestem ciekawy czy sieć neuronowa
nauczyła by się omijać duszki-złośliwe, podkładać bomby i
trafiać do celu. Dane niemogłyby pochodzić z kamer, tylko
na wejście sieć by dostawała jakieś zasymulowane pole widzenia.
Pozdrawiam
Mariusz
--
Wysłano z serwisu Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/
From: "przezroczystek " <przezroczystek.SKASUJ gazeta.pl>
Subject: to samo do znudzenia...
Przepraszam że ponownie poruszam ten sam temat.
Jednak kiedyś nikt się nie zainteresował nim, więc może teraz...
Chodzi mi o to, dlaczego w sieciach neuronowych wybór padł
na taką a nie inną grupę funkcji, czyli (o ile wiem) kilka
funkcji sigmoidalnych, funkcję liniową, i to wszystko, bo
funkcje nieróżniczkowalne pomijam celowo. Można by np. w
neuronach sumę ważoną poddać aktywacji wielomianom. Jak się
wydaje, wtenczas korzyścią byłaby jednomodalna funkcja celu.
Ale jednak nigdzie nie słyszałem o takich próbach, dlaczego?
Zbyt proste odwzorowania realizują wielomiany? Może kwestia
mody, bo aproksymacja wielomianami to jakaś nudna matematyka?
Z tego co wiem, to przy pomocy wielomianu można wyrazić dowolną
inną funkcję w zadanym przedziale z dowolną dokładnością, tylko
kewstia stopnia wielomianu. Wydaje mi się też, że układ równań
jaki trzeba rozwiązać do szukania wielomianów wysokiego stopnia,
szybko traci stabilność, czyżby to było główną przeszkodą?
Ale istnieje jeszcze masa innych funkcji, z pewnością mają
ciekawe cechy w zadaniach aproksymacji, więc dlaczego akurat
funkcje sigmoidalne?
Pozdrawiam
Mariusz
--
Wysłano z serwisu Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/
From: jtg <jtg77 poczta.onet.pl>
Subject: Re: to samo do znudzenia...
przezroczystek wrote:
> Z tego co wiem, to przy pomocy wielomianu można wyrazić dowolną
> inną funkcję w zadanym przedziale z dowolną dokładnością, tylko
> kewstia stopnia wielomianu.
Zwykle funkcje rozwija się albo w szereg Taylora (wielomian, ale wokół
punktu), albo w szereg trygonometryczny (w przedziale, ale nie jest
to wielomian - np. szereg Fouriera). Jeśli nie znasz wzoru na funkcję
tylko masz próbki, to praktycznie jedna i druga metoda jest
bezużyteczna.
> Wydaje mi się też, że układ równań
> jaki trzeba rozwiązać do szukania wielomianów wysokiego stopnia,
> szybko traci stabilność, czyżby to było główną przeszkodą?
Spróbuj wybrać kilka punktów i przybliżyć je wielomianem, a potem
porównaj wykres tego wielomianu z zadanymi punktami. Tragedia.
Im wyższy rząd wielomianu, tym większa tragedia. Taki wielomian
potrafi przechodzić tuż obok zadanych punktów, a między punktami
osiągać kosmiczne wartości.
A Może to czego szukasz to analiza falkowa?
http://en.wikipedia.org/wiki/Wavelets
> Ale istnieje jeszcze masa innych funkcji, z pewnością mają
> ciekawe cechy w zadaniach aproksymacji, więc dlaczego akurat
> funkcje sigmoidalne?
>
Na początku szukano funkcji, które mniej więcej odpowiadają
schematowi aktywacji neuronu, czyli im większe pobudzenie tym
większa odpowiedź. Musiała być to funkcja rosnąca i stosowano
funkcje liniowe. Potem stwierdzono że liniowa nie umożliwia
odwzorowania przez sieć dowolnej funkcji, więc funkcja
aktywacji musi być nieliniowa. Po wynalezieniu algorytmu
backpropagation doszły nowe wymagania: musi być różniczkowalna
i obliczenie różniczki musi być w miarę proste. Funkcja
sigmoidalna spełnia wszystkie te warunki. Możesz stosować
inne funkcje, np. schodkową, ale zazwyczaj więcej z tym problemów
niż zysków.
Czasem stosuje się inne funkcje, np. sporą popularnością cieszą
się sieci RBF (Radial Basis Function)
http://en.wikipedia.org/wiki/Radial_basis_function
Może Cię to zainteresuje, bo piszą tu że sieci RBF nie blokują
się w minimach lokalnych... Ale nie zajmowałem się sieciami RBF
i nie wiem ile w tym prawdy.
From: "przezroczystek " <przezroczystek.SKASUJ gazeta.pl>
Subject: Re: pattern recognition
mucha <mucha mat.uni.torun.pl> napisał(a):
> Czesc
> Szukam informacji na temat rozpoznawania obrazow przez komputer. Chodzi
> mi o teorie i gotowe narzedzia/biblioteki. W tej chwili rozpoznaje
> opencv. Bede wdzieczny za wszelkie sugestie.
> pozdrawiam
Mam mojego autorstwa bibliotekę w C++ do realizacji sieci jednokierunkowych,
wielowarstwowych o pełnych połączeniach między warstwami. Do uczenia
wykorzystana jest reguła delta. Chętnie wymienię ją za inną bibliotekę,
np. opartą o algorytmy zmiennej metryki.
Pozdrawiam
Mariusz
--
Wysłano z serwisu Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/
From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: to samo do znudzenia...
Dnia Sat, 29 Oct 2005 18:40:56 +0000 (UTC), przezroczystek napisał(a):
> ponieważ w metodzie w której znam, aby aproksymować wielomianem N-tego
> stopnia, trzeba dane podnosić do potęgi 2*N. Bardzo szybko mam zbyt
> duże liczby, aby rozwiązać zbudowany z nich układ równań.
>
Zawsze możesz aproksymować lokalnie wielomianami niższych stopni. Chodzi
o to, że zamiast zwiększać stopień wielomianu, dzielisz dziedzinę na
coraz mniejsze odcinki na których stosujesz aproksymację wielomianem
małego stopnia, np. <=3. Oczywiście możesz dodać odpowiednie warunki,
żeby cała aproksymanta (czyli funkcja aproksymująca) była ciągłą,
różniczkowalna itd.
>> się sieci RBF (Radial Basis Function)
>> http://en.wikipedia.org/wiki/Radial_basis_function
>> Może Cię to zainteresuje, bo piszą tu że sieci RBF nie blokują
>> się w minimach lokalnych... Ale nie zajmowałem się sieciami RBF
>> i nie wiem ile w tym prawdy.
Sieci RBF mają wiele wspólnego z SVM a ogólniej z metodami opartymi na
funkcjach jądrowych (ang. kernels). Jako takie nie ma tu problemu z
lokalnymi minimami.
Pozdrawiam
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun
From: jtg <jtg77 poczta.onet.pl>
Subject: Re: to samo do znudzenia...
przezroczystek wrote:
>
> Zgadza się z tą tragedią, ale chyba tylko w przypadku interpolacji.
> Faktycznie pomiędzy punktami wielomiany osiągają dziwne wartości. Jednak
> gdy się stosuje aproksymacje, to wielomiany ładnie przebiegają pomiędzy
> punktami i jeszcze się dowodzi, że taki przebieg w sensie najmniejszych
> kwadratów jest optymalny.
Na odwrót. Najpierw zakładasz sobie, że dane próbki da się opisać taką
a taką funkcją (np. funkcją wykładniczą czy wielomianem powiedzmy 3-ciego
stopnia), a potem tak dobierasz parametry żeby odległość średniokwadratowa
funkcji aproksymującej od próbek była jak najmniejsza. Akurat w przypadku
wielomianów jest to najłatwiejsze.
Niestety, są tu dwa problemy. Po pierwsze, wszystko zależy od tego czy
dobrze "zgadniesz" postać funkcji. Po drugie otrzymujesz najlepsze
dopasowanie tylko dla próbek. Jeśli nie znasz ogólnej postaci funkcji,
nic nie gwarantuje optymalności (w sensie najmniejszych kwadratów)
pomiędzy próbkami!
> Dla mnie problemem jest stabilność numeryczna,
> ponieważ w metodzie w której znam, aby aproksymować wielomianem N-tego
> stopnia, trzeba dane podnosić do potęgi 2*N. Bardzo szybko mam zbyt
> duże liczby, aby rozwiązać zbudowany z nich układ równań.
Są języki w których możesz operować liczbami dowolnej wielkości, np.
java lub Haskell. Z tego co wiem Haskell do takich matematycznych zabaw
nadaje się idealnie.
>
> Nie mam przekonania że tak zbudowany neuron ma gorsze właściwości.
> Ciekawy jestem jakby się uczył. Na razie pewny jestem tylko dwóch rzeczy:
> 1) istnieje dla niego zdeterminowana metoda wyznaczania globalnego
> minimum.
> 2) pojawiają się trudności ze stabilnością numeryczną.
>
Niestety nie. Z tego samego powodu, dla którego jesteś tak pewien znalezienia
minimum globalnego. Cała taka "sieć wielomianowa" zbudowana z takich
"wielomianowych neuronów" jest po prostu jednym wielkim wielomianem
wielu zmiennych. Trójwarstwowa "sieć wielomianowa" to po prostu wielomian
27-mego stopnia.
Zamiast więc myśleć o tym w kategoriach sieci neuronowych, zastanów się
czy warto aproksymować niewiadomą funkcję takim wielomianem. Jeśli jest
sens, możesz go wyliczyć bezpośrednio bez uciekania się do terminologii
z sieci neuronowych.
From: "przezroczystek " <przezroczystek.WYTNIJ gazeta.pl>
Subject: Re: to samo do znudzenia...
jtg <jtg77 poczta.onet.pl> napisał(a):
> przezroczystek wrote:
> >
> > Zgadza się z tą tragedią, ale chyba tylko w przypadku interpolacji.
> > Faktycznie pomiędzy punktami wielomiany osiągają dziwne wartości. Jednak
> > gdy się stosuje aproksymacje, to wielomiany ładnie przebiegają pomiędzy
> > punktami i jeszcze się dowodzi, że taki przebieg w sensie najmniejszych
> > kwadratów jest optymalny.
> Na odwrót. Najpierw zakładasz sobie, że dane próbki da się opisać taką
> a taką funkcją (np. funkcją wykładniczą czy wielomianem powiedzmy 3-ciego
> stopnia), a potem tak dobierasz parametry żeby odległość średniokwadratowa
> funkcji aproksymującej od próbek była jak najmniejsza. Akurat w przypadku
> wielomianów jest to najłatwiejsze.
> Niestety, są tu dwa problemy. Po pierwsze, wszystko zależy od tego czy
> dobrze "zgadniesz" postać funkcji. Po drugie otrzymujesz najlepsze
> dopasowanie tylko dla próbek. Jeśli nie znasz ogólnej postaci funkcji,
> nic nie gwarantuje optymalności (w sensie najmniejszych kwadratów)
> pomiędzy próbkami!
> > Dla mnie problemem jest stabilność numeryczna,
> > ponieważ w metodzie w której znam, aby aproksymować wielomianem N-tego
> > stopnia, trzeba dane podnosić do potęgi 2*N. Bardzo szybko mam zbyt
> > duże liczby, aby rozwiązać zbudowany z nich układ równań.
>
> Są języki w których możesz operować liczbami dowolnej wielkości, np.
> java lub Haskell. Z tego co wiem Haskell do takich matematycznych zabaw
> nadaje się idealnie.
>
> >
> > Nie mam przekonania że tak zbudowany neuron ma gorsze właściwości.
> > Ciekawy jestem jakby się uczył. Na razie pewny jestem tylko dwóch rzeczy:
> > 1) istnieje dla niego zdeterminowana metoda wyznaczania globalnego
> > minimum.
> > 2) pojawiają się trudności ze stabilnością numeryczną.
> >
>
> Niestety nie. Z tego samego powodu, dla którego jesteś tak pewien znalezienia
> minimum globalnego. Cała taka "sieć wielomianowa" zbudowana z takich
> "wielomianowych neuronów" jest po prostu jednym wielkim wielomianem
> wielu zmiennych. Trójwarstwowa "sieć wielomianowa" to po prostu wielomian
> 27-mego stopnia.
> Zamiast więc myśleć o tym w kategoriach sieci neuronowych, zastanów się
> czy warto aproksymować niewiadomą funkcję takim wielomianem. Jeśli jest
> sens, możesz go wyliczyć bezpośrednio bez uciekania się do terminologii
> z sieci neuronowych.
No tak, ale czy sieci neuronowe oparte na funkcjach sigmoidalnych nie
posiadają wymienionych przez Ciebie wad? Wnioskuję, że ja chyba cały czas
nie mogę czegoś zrozumieć (albo nie mogę uwierzyć) dlaczego sztuczne sieci
neuronowe to coś więcej niż aproksymator. Wydaje mi się, może błędnie, że
sieć neuronowa na sigmoidlanych funkcjach aktywacji, tak samo uczy się
zadania w sensie najmniejszych kwadratów (albo innej funkcji błędu) i
tak samo w jej przypadku istnieje możliwość podawania błędnych odpowiedzi
dla danych poza próbką uczącą. Właśnie dlatego ja tak łatwo ją wymieniam
np. na wielomian, gdyż tak samo wielomian może być błędnie wskazaną
funkcją aproksymującą jak funkcja sigmoidalna. A w przypadku wielomianów
nie mam wady utykania w minimach lokalnych.
Pozdrawiam
Mariusz
--
Wysłano z serwisu Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/
From: jtg <jtg77 poczta.onet.pl>
Subject: Re: to samo do znudzenia...
przezroczystek wrote:
>
> No tak, ale czy sieci neuronowe oparte na funkcjach sigmoidalnych nie
> posiadają wymienionych przez Ciebie wad? Wnioskuję, że ja chyba cały czas
> nie mogę czegoś zrozumieć (albo nie mogę uwierzyć) dlaczego sztuczne sieci
> neuronowe to coś więcej niż aproksymator. Wydaje mi się, może błędnie, że
> sieć neuronowa na sigmoidlanych funkcjach aktywacji, tak samo uczy się
> zadania w sensie najmniejszych kwadratów (albo innej funkcji błędu) i
> tak samo w jej przypadku istnieje możliwość podawania błędnych odpowiedzi
> dla danych poza próbką uczącą. Właśnie dlatego ja tak łatwo ją wymieniam
> np. na wielomian, gdyż tak samo wielomian może być błędnie wskazaną
> funkcją aproksymującą jak funkcja sigmoidalna.
Po prostu sieci neuronowe lepiej aproksymują wiele funkcji, zwłaszcza
jeśli chodzi o problemy klasyfikacji.
Wielomiany stosuje się np. w matematyce do aproksymacji funkcji
w otoczeniu punktu, widziałem też zastosowanie funkcji
wielomianowych w SVM.
A np. w ekonometrii jako aproksymatory stosuje się często funkcje
wykładnicze.
Trzeba po prostu dobrać aproksymator odpowiedni do rozwiązywanego
problemu. Możesz spróbować rozwiązać swój problem przy użyciu
wielomianów. Jeśli Ci się uda, to po prostu będzie znaczyło że
sieci neuronowe nie nadają się do rozwiązywania Twojego problemu,
a nie będzie świadczyło o wyższości wielomianów nad sieciami
neuronowymi.
> A w przypadku wielomianów
> nie mam wady utykania w minimach lokalnych.
>
Więc dlaczego ludzie korzystają z sieci neuronowych zamiast wszystko
aproksymować wielomianami? ;-)