Bransoletki, biżuteria


From: A.L. <lewando_won_ kalabambuko.com>
Subject: Re: DeepBlue vs Kasparov
On Fri, 7 Oct 2005 18:32:27 +0200, "Filip Sielimowicz"
<sielim poczta.onet.pl> wrote:

>
>Użytkownik "Jerzy" <jciruk poczta.fm> napisał w wiadomości
>news:dheifg$hfa$1 atlantis.news.tpi.pl...
>Fajne ... :)
>
>I dlatego własnie wydaje mi się, że jeśli
>kiedyś ludzkość zostanie zmieciona z ziemii przez "inną rasę"
>- to bardzo prawdopodobne, że nie ze względu na większą
>inteligencję tamtej, ale właśnie ze względu
>na "sheer muscle". Np. zginiemy w szczękach mechanicznej
>szarańczy, którą sobie dla eksperymentu sami wyhodujemy.
>Żadnej inteligencji. Czysty brute force rozdzielony na
>biliony sprawnie mnożących się procesorków ...
>

Zapusc google na "gray goo"

A.L.


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Fri, 7 Oct 2005 15:58:29 +0200, Tomasz 'Merlin' Kolinko napisał(a):
>
> Brak klasyfikacji nie oznacza, że nie wiedza, a jedynie, ze nikomu nie
> chcialo sie opracowac tego wszystkiego od strony teoretycznej. Jest miejsce
> dla Ciebie :)
Jesteś prowokatorem! Tego się nie da opisać i tyle. Proszę nie
podjudzać!

Zdrowia
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: lrem lrem.maxnet
Subject: Re: klasyfikacja
W poście <slrndke2rr.ns6.wit mefisto.hades>,
Wit Jakuczun nabazgrał:
>> Brak klasyfikacji nie oznacza, że nie wiedza, a jedynie, ze nikomu nie
>> chcialo sie opracowac tego wszystkiego od strony teoretycznej. Jest miejsce
>> dla Ciebie :)
> Jesteś prowokatorem! Tego się nie da opisać i tyle. Proszę nie
> podjudzać!

Że co proszę? Czytając opis dowolnego modelu/algorytmu uczenia sieci
neuronowej widzę kilka słów o tym w jakich okolicznościach to się
najlepiej sprawdza. Zestawienie tych informacji w jedną tabelę jest jak
najbardziej wykonywane. Z drugiej strony zrobienie praktycznych testów
i zestawienie ich wyników też jest wykonywalne.

--
/usr/src/linux/lib/vsprintf.c:
* Wirzenius wrote this portably, Torvalds fucked it up


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 8 Oct 2005 10:10:16 +0000 (UTC), lrem lrem.maxnet napisał(a):
>
> Że co proszę? Czytając opis dowolnego modelu/algorytmu uczenia sieci
> neuronowej widzę kilka słów o tym w jakich okolicznościach to się
> najlepiej sprawdza. Zestawienie tych informacji w jedną tabelę jest jak
> najbardziej wykonywane. Z drugiej strony zrobienie praktycznych testów
> i zestawienie ich wyników też jest wykonywalne.
>
To jakiego rodzaj sieci polecałbyś do klasyfikacji mowy a jaki do
klasyfikacji klientów banku?

Zdrowia
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 8 Oct 2005 10:10:16 +0000 (UTC), lrem lrem.maxnet napisał(a):

> Że co proszę? Czytając opis dowolnego modelu/algorytmu uczenia sieci
> neuronowej widzę kilka słów o tym w jakich okolicznościach to się
> najlepiej sprawdza. Zestawienie tych informacji w jedną tabelę jest jak
Chyba, że mówimy o porównaniach typu "uzyskałem wynik taki a taki
stosując sięć z 3 warstwami ukrytymi z których każda zawierała 10
neuronów". Oczywiście tego typu wyniki można zestawić w tabelkę ale nie
wywnioskujesz z niej, że problem odróżnienia pomarańczy od orzeszków
najlepiej będzie rozwiązywać siecią o KONKRETNEJ strukturze.
Podobnie jest z innymi metodami. Odważyłbyś się powiedzieć, że metody
oparte na regułach decyzyjnych są bardziej odpowiednie od SVM do
problemów w których obiekty są opisane atrybutami symbolicznymi? Ja nie
odważyłbym się na takie stwierdzenie, podobnie jak nie byłbym w stanie
udowodnić, że sieć o 3 warstwach ukrytych jest lepsza od sieci o 5
warstwach ukrytych.

Zdrowia
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: lrem lrem.maxnet
Subject: Re: klasyfikacja
W poście <slrndkfd5n.ns6.wit mefisto.hades>,
Wit Jakuczun nabazgrał:
>> Że co proszę? Czytając opis dowolnego modelu/algorytmu uczenia sieci
>> neuronowej widzę kilka słów o tym w jakich okolicznościach to się
>> najlepiej sprawdza. Zestawienie tych informacji w jedną tabelę jest jak
> Chyba, że mówimy o porównaniach typu "uzyskałem wynik taki a taki
> stosując sięć z 3 warstwami ukrytymi z których każda zawierała 10
> neuronów".

Tak.

> Oczywiście tego typu wyniki można zestawić w tabelkę ale nie
> wywnioskujesz z niej, że problem odróżnienia pomarańczy od orzeszków
> najlepiej będzie rozwiązywać siecią o KONKRETNEJ strukturze.

Nie, ale wywnioskuję z niej, że lepiej do tego problemu użyć tej sieci
niż tamtej. Zresztą pisałem wcześniej o klasyfikacji modeli i algorytmów
uczenia, nie zaś o konkretnych strukturach. O ile pamiętam o to chodziło
OP.

> Podobnie jest z innymi metodami. Odważyłbyś się powiedzieć, że metody
> oparte na regułach decyzyjnych są bardziej odpowiednie od SVM do
> problemów w których obiekty są opisane atrybutami symbolicznymi?

Być może gdybym znał się na tym zagadnieniu byłbym w stanie to
stwierdzić.

> Ja nie odważyłbym się na takie stwierdzenie, podobnie jak nie byłbym
> w stanie udowodnić, że sieć o 3 warstwach ukrytych jest lepsza od sieci
> o 5 warstwach ukrytych.

Lepsza do czego? Jeśli rozwiązujesz konkretny problem i nie jesteś
w stanie zadecydować których narzędzi do tego użyć, to po co się za
niego brać? Zaś jeśli mówimy o ,,lepszości'' ogólnej, to ja też nie
jestem w stanie stwierdzić czy truskawki są lepsze od śrubokrętów ;)

--
For every winner, there are dozens of losers.
Odds are you're one of them. - despair.com


Rejestracja domen


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 8 Oct 2005 12:09:16 +0000 (UTC), lrem lrem.maxnet napisał(a):
> Nie, ale wywnioskuję z niej, że lepiej do tego problemu użyć tej sieci
> niż tamtej. Zresztą pisałem wcześniej o klasyfikacji modeli i algorytmów
> uczenia, nie zaś o konkretnych strukturach. O ile pamiętam o to chodziło
> OP.
>
OP chodziło o klasyfikację ze względu między innymi na ilość warstw.
Przykładem było rozróżnianie pomarańczy zepsutych od dobrych.

>> Ja nie odważyłbym się na takie stwierdzenie, podobnie jak nie byłbym
>> w stanie udowodnić, że sieć o 3 warstwach ukrytych jest lepsza od sieci
>> o 5 warstwach ukrytych.
>
> Lepsza do czego? Jeśli rozwiązujesz konkretny problem i nie jesteś
Do sytuacji w której atrybuty są symboliczne.

> w stanie zadecydować których narzędzi do tego użyć, to po co się za
> niego brać? Zaś jeśli mówimy o ,,lepszości'' ogólnej, to ja też nie
> jestem w stanie stwierdzić czy truskawki są lepsze od śrubokrętów ;)
>
Oczywiście na bazie eksperymentów mogę wybrać narzędzie, które daje
najlepsze wyniki, np. ze względu na walidację krzyżową.
Moim zdaniem OP pytał o lepszość ogólną i dlatego napisałem, że nie da
się poklasyfikować sieci w takim przypadku.

--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: =?ISO-8859-2?Q?Micha=B3?= <mgl somewhere.net>
Subject: Re: klasyfikacja
> Lepsza do czego? Jeśli rozwiązujesz konkretny problem i nie jesteś
> w stanie zadecydować których narzędzi do tego użyć, to po co się za
> niego brać? Zaś jeśli mówimy o ,,lepszości'' ogólnej, to ja też nie
> jestem w stanie stwierdzić czy truskawki są lepsze od śrubokrętów ;)

Do: lrem & Kazimierz Kutz

Czy zajmowałeś się kiedyś eksploracją danych lub data-miningiem? Wiesz,
że dla *każdego* problemu klasyfikacji pewne algorytmy działają lepiej,
jeśli mamy skrajnie mało danych, a inne, gdy danych multum? I że
właściwy data-mining to tylko jeden z etapów procesu KDD[1], a efekty
samej klasyfikacji zależą chociażby od jakości oczyszczenia i
zredukowania danych (liczby instancji/atrybutów)?

Dużo ciekawszym problemem jest zbudowanie software, który
przeprowadzałby automatycznie porównanie skuteczności różnych metod
klasyfikacji dla danego problemu i dobierał najbardziej optymalne
rozwiązanie. Takie oprogramowanie oczywiście istnieje, ale... jaki masz
pomysł, od czego można by zacząć? Sama ocena skuteczności klasyfikatora
nie jest tak zupełnie trywialną sprawą.

[1] http://www2.cs.uregina.ca/~hamilton/courses/831/notes/kdd/1_kdd.html

pozdrawiam,
--
mgl


From: lrem lrem.maxnet
Subject: Re: klasyfikacja
W poście <slrndkfemp.pa5.wit mefisto.hades>,
Wit Jakuczun nabazgrał:
>> w stanie zadecydować których narzędzi do tego użyć, to po co się za
>> niego brać? Zaś jeśli mówimy o ,,lepszości'' ogólnej, to ja też nie
>> jestem w stanie stwierdzić czy truskawki są lepsze od śrubokrętów ;)
> Oczywiście na bazie eksperymentów mogę wybrać narzędzie, które daje
> najlepsze wyniki, np. ze względu na walidację krzyżową.
> Moim zdaniem OP pytał o lepszość ogólną i dlatego napisałem, że nie da
> się poklasyfikować sieci w takim przypadku.

#v+
Oznacza to że badacze SSN nie wiedzą jaka sieć ( wielowarstwowa,
kazdy-z-kazdym, liniowe wzbudzenia, nieliniowe wzbudzenia) nadaje
sie lepiej lub gorzej do danych celow?
^^^^^^^^^^^^^^^
#v-

OP chodziło jednak o zbiór konkretnych celów. Poza tym nie sposób się
z Tobą nie zgodzić.

--
/usr/src/linux/arch/mips/kernel/irixioctl.c:
* irixioctl.c: A fucking mess...


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 08 Oct 2005 14:38:18 +0200, Michał napisał(a):
> Czy zajmowałeś się kiedyś eksploracją danych lub data-miningiem? Wiesz,
> że dla *każdego* problemu klasyfikacji pewne algorytmy działają lepiej,
> jeśli mamy skrajnie mało danych, a inne, gdy danych multum? I że
Jakież to są algorytmy? I gdzie zostało dowiedzione, że są lepsze od
innych?

> Dużo ciekawszym problemem jest zbudowanie software, który
> przeprowadzałby automatycznie porównanie skuteczności różnych metod
Dużo ciekawszym problemem jest opracowanie teorii według której taki
software by działał :).

Pozdrawiam
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: =?ISO-8859-2?Q?Micha=B3?= <mgl somewhere.net>
Subject: Re: klasyfikacja
Wit Jakuczun wrote:
>>Czy zajmowałeś się kiedyś eksploracją danych lub data-miningiem? Wiesz,
>>że dla *każdego* problemu klasyfikacji pewne algorytmy działają lepiej,
>>jeśli mamy skrajnie mało danych, a inne, gdy danych multum? I że
>
> Jakież to są algorytmy? I gdzie zostało dowiedzione, że są lepsze od
> innych?

Dataset ma 100 przykładów, każdy opisany 10 atrybutami (liczby
rzeczywiste). Zastosujesz chętniej do klasyfikacji C4.5 czy MLP?
Dlaczego? Będziesz się kierował wyłącznie wynikami cross-fold validation?

I dlaczego zanim zabierzesz się do klasyfikacji będziesz próbował
jeszcze bardziej zredukować liczbę atrybutów? ;)

A teraz, w ramach prezentu od św. Mikołaja, dostałeś dodatkowe sto
tysięcy przykładów dla tego problemu. Nie zmienisz klasyfikatora?

> Dużo ciekawszym problemem jest opracowanie teorii według której taki
> software by działał :).

Jak już wycinasz z kontekstu to nie zapominaj o reszcie, no ja Cię
proszę :). "Sama ocena skuteczności klasyfikatora nie jest tak zupełnie
trywialną sprawą."

pozdrawiam,
--
mgl


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 08 Oct 2005 15:06:22 +0200, Michał napisał(a):
> Wit Jakuczun wrote:
>>>Czy zajmowałeś się kiedyś eksploracją danych lub data-miningiem? Wiesz,
>>>że dla *każdego* problemu klasyfikacji pewne algorytmy działają lepiej,
>>>jeśli mamy skrajnie mało danych, a inne, gdy danych multum? I że
>>
>> Jakież to są algorytmy? I gdzie zostało dowiedzione, że są lepsze od
>> innych?
>
> Dataset ma 100 przykładów, każdy opisany 10 atrybutami (liczby
> rzeczywiste). Zastosujesz chętniej do klasyfikacji C4.5 czy MLP?
> Dlaczego? Będziesz się kierował wyłącznie wynikami cross-fold validation?
>
> I dlaczego zanim zabierzesz się do klasyfikacji będziesz próbował
> jeszcze bardziej zredukować liczbę atrybutów? ;)
>
> A teraz, w ramach prezentu od św. Mikołaja, dostałeś dodatkowe sto
> tysięcy przykładów dla tego problemu. Nie zmienisz klasyfikatora?
>
Napisałeś, że jest grupa algorytmów, które są lepsze dla *każdego*
problemu klasyfikacji jeśli jest skrajnie mało danych. Ponawiam pytanie,
co to za algorytmy?


Pozdrawiam
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


Kolczyki, biżuteria


From: =?ISO-8859-2?Q?Micha=B3?= <mgl somewhere.net>
Subject: Re: klasyfikacja
Wit Jakuczun wrote:
> Napisałeś, że jest grupa algorytmów, które są lepsze dla *każdego*
> problemu klasyfikacji jeśli jest skrajnie mało danych. Ponawiam pytanie,
> co to za algorytmy?

hint zbyt mało wyraźny? :)
próbowałeś stosować kiedyś popularne klasyfikatory oparte na drzewach do
problemów, dla których zbiór przykładów uczących jest generalnie bardzo
mały? widzisz jakieś związane z tym problemy?

pozdrawiam,
--
mgl


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 08 Oct 2005 17:56:07 +0200, Michał napisał(a):
> Wit Jakuczun wrote:
>> Napisałeś, że jest grupa algorytmów, które są lepsze dla *każdego*
>> problemu klasyfikacji jeśli jest skrajnie mało danych. Ponawiam pytanie,
>> co to za algorytmy?
>
> hint zbyt mało wyraźny? :)
Tak

> próbowałeś stosować kiedyś popularne klasyfikatory oparte na drzewach do
> problemów, dla których zbiór przykładów uczących jest generalnie bardzo
> mały? widzisz jakieś związane z tym problemy?
>
Tak. Na przykład Random Forest.

Zdrowia
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: =?ISO-8859-2?Q?Micha=B3?= <mgl somewhere.net>
Subject: Re: klasyfikacja
Wit Jakuczun wrote:
>
> Tak. Na przykład Random Forest.

Mógłbyś wstępnie opisać ten dataset (liczba instancji, liczba i rodzaj
atrybutów, liczba klas)? Na pewno był mały i trudny? :).

To stanowi część know-how, którego nie mogę w całości poddać pod
dyskusję, ale... co sądzisz o wybieraniu punktów podziału spośród
wartości atrybutów pochodzących bezpośrednio ze zbioru uczącego? W
przypadku bardzo małej liczby opisanych przypadków, co zdarza się często
w praktycznych zastosowaniach, tak tworzony podział może być za bardzo
dopasowany do danych uczących... trochę bardziej matematycznie mówiąc:
hiperprostokąty wyznaczające podział przestrzeni na klasy mogą zbyt
ciasno obejmować te punkty, które znalazły się w naszym bardzo małym
zbiorze przykładów.

pozdrawiam,
--
mgl


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 08 Oct 2005 19:06:26 +0200, Michał napisał(a):
> Mógłbyś wstępnie opisać ten dataset (liczba instancji, liczba i rodzaj
> atrybutów, liczba klas)? Na pewno był mały i trudny? :).
>
http://www.stat.berkeley.edu/users/breiman/RandomForests/cc_home.htm#micro


> To stanowi część know-how, którego nie mogę w całości poddać pod
Czemu? Podaj, po to jest ta grupa.

> dyskusję, ale... co sądzisz o wybieraniu punktów podziału spośród
> wartości atrybutów pochodzących bezpośrednio ze zbioru uczącego? W
A co mam sądzić? A skąd niby mam brać te punkty podziału jak nie ze
zbioru uczącego? Nie do końca rozumiem do czego zmierzasz.

> przypadku bardzo małej liczby opisanych przypadków, co zdarza się często
> w praktycznych zastosowaniach, tak tworzony podział może być za bardzo
> dopasowany do danych uczących... trochę bardziej matematycznie mówiąc:
Zgadzam się, że pojedyncze drzewo zbytnio się dopasuje do danych. W
przypadku Random Forest takiego problemu nie ma. Nie ma możliwość
przeuczenia się :).

--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: =?ISO-8859-2?Q?Micha=B3?= <mgl somewhere.net>
Subject: Re: klasyfikacja
Wit Jakuczun wrote:
> http://www.stat.berkeley.edu/users/breiman/RandomForests/cc_home.htm#micro

Akurat znam ten dataset. Tyle, że w tym akurat przykładzie model
tworzony był z ntest=0 :)

> A co mam sądzić? A skąd niby mam brać te punkty podziału jak nie ze
> zbioru uczącego? Nie do końca rozumiem do czego zmierzasz.

> Zgadzam się, że pojedyncze drzewo zbytnio się dopasuje do danych. W
> przypadku Random Forest takiego problemu nie ma. Nie ma możliwość
> przeuczenia się :).

To nie jest do końca uzasadnione, zresztą to popularna opinia.
Klasyfikator stworzony według każdej metody może być przeuczony, jeśli
zbiór danych uczących jest bardzo mały w porównaniu z przestrzenią
możliwych przypadków. Ot, nauczy sie klasyfikować przypadki pochodzące
właśnie z tego fragmentu przestrzeni, w której znajdują się instancje ze
zbioru uczącego. I nie jest to oczywiście wada żadnego z algorytmów,
tylko problem zbyt małych poprawnie opisanych datesetów. Ale... niektóre
algorytmy wybitnie opierają późniejszą klasyfikację na wartościach
atrybutów pochodzących ze zbioru uczącego, inne mniej - dlatego podałem
dla przykładu ogólnie znane C4.5 i MLP.

Nie zrozum mnie źle - nie chcę tutaj głosić jakichś autorytatywnych
dogmatów, ale warto wskazać pewne, często bardzo praktyczne, problemy,
które uniemożliwiają stwierdzenie, że np. dla problemu klasyfikacji
danych opisanych atrybutami rzeczywistymi najlepszy jest model XXX.
Zresztą... już jakiś czas temu zorientowano się, że metody hybrydowe lub
klasyfikatory zespołowe (ensemble) są algorytmami zdecydowanie wartymi
uwagi. Nie warto szukać samotnego Graala dobrego na wszystko, szkoda życia.

pozdrawiam i dziękuję za wymianę zdań,
zacząłeś PhD? nad czym pracujesz?
--
mgl


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 08 Oct 2005 19:50:36 +0200, Michał napisał(a):
> Akurat znam ten dataset. Tyle, że w tym akurat przykładzie model
> tworzony był z ntest=0 :)
>
No tak ale w tym przypadku nie ma zbioru testowego. Breiman podaje
estymator oob (coś jak bootstap).

>> przypadku Random Forest takiego problemu nie ma. Nie ma możliwość
>> przeuczenia się :).
>
> To nie jest do końca uzasadnione, zresztą to popularna opinia.
Jest to udowodnione: http://oz.berkeley.edu/users/breiman/randomforest2001.pdf

> Klasyfikator stworzony według każdej metody może być przeuczony, jeśli
> zbiór danych uczących jest bardzo mały w porównaniu z przestrzenią
> możliwych przypadków. Ot, nauczy sie klasyfikować przypadki pochodzące
Jeśli zbiór uczączy nie jest reprezentatywny dla problemu to nie
spełnione są założenia leżące u podstaw WSZYSTKICH algorytmów
generujących klasyfikatory. W takim przypadku nie można mówić o
przeuczeniu klasyfikatora tylko o nieadekwatnym zbiorze uczącym.

> tylko problem zbyt małych poprawnie opisanych datesetów. Ale... niektóre
> algorytmy wybitnie opierają późniejszą klasyfikację na wartościach
> atrybutów pochodzących ze zbioru uczącego, inne mniej - dlatego podałem
> dla przykładu ogólnie znane C4.5 i MLP.
>
No nie wiem czy Cię dobrze rozumiem. Przecież parametry wszystkich
klasyfikatorów są dopasowywane do danych uczących. Co rozumiesz pisząc
"wybitnie opierają późniejszą klasyfikację na wartościach atrybutów
pochodzących ze zbioru uczącego, inne mniej". I co to jest MLP? :)

> Nie zrozum mnie źle - nie chcę tutaj głosić jakichś autorytatywnych
> dogmatów, ale warto wskazać pewne, często bardzo praktyczne, problemy,
> które uniemożliwiają stwierdzenie, że np. dla problemu klasyfikacji
> danych opisanych atrybutami rzeczywistymi najlepszy jest model XXX.
Przeczysz samemu sobie. Napisałeś, że jeśli mamy doczynienia z
małolicznymi danymi o wielu atrybutach to istnieją jakieś algorytmy,
które są dużo lepsze od innych. Z naszej dyskusji wnioskuję, że chodzi
Ci o sieci neuronowe.

> uwagi. Nie warto szukać samotnego Graala dobrego na wszystko, szkoda życia.
>
Wyrosłem z tego już dawno :).

> zacząłeś PhD? nad czym pracujesz?
Mam nadzieję, że w czerwcu będę doktorem :). W stopce jest adres mojej
strony www :). Ogólnie walczę z problemem klasyfikacji sygnałów. Jak
chcesz to mogę Ci wysłać papier z opisem na priv.


Zdrowia
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


Czartery jachtów


From: =?ISO-8859-2?Q?Micha=B3?= <mgl somewhere.net>
Subject: Re: klasyfikacja
Wit Jakuczun wrote:
> No tak ale w tym przypadku nie ma zbioru testowego. Breiman podaje
> estymator oob (coś jak bootstap).

Tyle, że właśnie w przypadku bardzo małych zbiorów uczących walidacja
wyników na zbiorze testowym znacznie może się znacznie różnić od
estymacji dokonywanej podczas tworzenia klasyfikatora.

>>To nie jest do końca uzasadnione, zresztą to popularna opinia.
>
> Jest to udowodnione: http://oz.berkeley.edu/users/breiman/randomforest2001.pdf

Wiem, znam... - ale mówiłem o przeuczeniu właśnie w tym kontekście,
który Ty nazwałeś nieadekwatnym zbiorem uczącym. To, które określenie
jest lepsze, zależy chyba zdecydowanie od punktu widzenia :).

> Jeśli zbiór uczączy nie jest reprezentatywny dla problemu to nie
> spełnione są założenia leżące u podstaw WSZYSTKICH algorytmów
> generujących klasyfikatory. W takim przypadku nie można mówić o
> przeuczeniu klasyfikatora tylko o nieadekwatnym zbiorze uczącym.

Oczywiście! Tyle, że takich problemów, choćby w nowoczesnej medycynie,
tam, gdzie badania są drogie i nie tak zautomatyzowane, jak w przypadku
takiej ekspresji genów z mikromacierzy, jest mnóstwo. "Nieadekwatność"
wynikająca po prostu ze zbyt małej liczby opisanych przypadków to duży
problem. Ale problem, nad którym można pracować.

> No nie wiem czy Cię dobrze rozumiem. Przecież parametry wszystkich
> klasyfikatorów są dopasowywane do danych uczących. Co rozumiesz pisząc
> "wybitnie opierają późniejszą klasyfikację na wartościach atrybutów
> pochodzących ze zbioru uczącego, inne mniej". I co to jest MLP? :)

multi-layer perceptron

I, uprzedzając - nie, nie sądzę, że MLP to super świetny klasyfikator,
ale to przykład popularnego klasyfikatora wyznaczającego granice między
klasami w inny sposób niż te popularne oparte na drzewach decyzyjnych.

> Przeczysz samemu sobie. Napisałeś, że jeśli mamy doczynienia z
> małolicznymi danymi o wielu atrybutach to istnieją jakieś algorytmy,
> które są dużo lepsze od innych. Z naszej dyskusji wnioskuję, że chodzi
> Ci o sieci neuronowe.

Żeby nie było wątpliwości - miałem na myśli to, że już od wielkości
zbioru danych dla danego problemu zależy to, jaki klasyfikator warto
wybrać. Jaki to klasyfikator, to zależy już od badań i indywidualnych
doświadczeń. Każda firma zajmująca się analizą danych ma swoich
specjalistów i swoje metody.

Inną już zupełnie kwestią jest to, że "lepszy" nie oznacza koniecznie
"najdokładniejszy", ale często też "...i wystarczająco szybki".

> Mam nadzieję, że w czerwcu będę doktorem :). W stopce jest adres mojej
> strony www :). Ogólnie walczę z problemem klasyfikacji sygnałów. Jak
> chcesz to mogę Ci wysłać papier z opisem na priv.

Dzięki za dyskusję - odezwę się może w przyszłym tygodniu, teraz tonę,
jak widać ;), w robocie.

udanego wieczoru,
--
mgl


From: Wit Jakuczun <wit mefisto.hades>
Subject: Re: klasyfikacja
Dnia Sat, 08 Oct 2005 20:43:41 +0200, Michał napisał(a):
> > No tak ale w tym przypadku nie ma zbioru testowego. Breiman podaje
> > estymator oob (coś jak bootstap).
>
> Tyle, że właśnie w przypadku bardzo małych zbiorów uczących walidacja
> wyników na zbiorze testowym znacznie może się znacznie różnić od
> estymacji dokonywanej podczas tworzenia klasyfikatora.
>
Fakt. Dlatego ja uważam, że należy stosować testy permutacyjne. Zobacz
http://cbcl.mit.edu/cbcl/publications/ai-publications/2003/AIM-2003-019.pdf

> Wiem, znam... - ale mówiłem o przeuczeniu właśnie w tym kontekście,
> który Ty nazwałeś nieadekwatnym zbiorem uczącym. To, które określenie
> jest lepsze, zależy chyba zdecydowanie od punktu widzenia :).
>
Jednak należy mówić o nieadekwatnym zbiorze treningowym. Tak sadzę.

> takiej ekspresji genów z mikromacierzy, jest mnóstwo. "Nieadekwatność"
> wynikająca po prostu ze zbyt małej liczby opisanych przypadków to duży
> problem. Ale problem, nad którym można pracować.
>
Robiąć np. większe zbiory danych :). A na poważnie mógłbyś powiedzieć
jak Ty podchodzisz do takiego rodzaju danych?

> multi-layer perceptron
>
No właśnie :)

> I, uprzedzając - nie, nie sądzę, że MLP to super świetny klasyfikator,
> ale to przykład popularnego klasyfikatora wyznaczającego granice między
> klasami w inny sposób niż te popularne oparte na drzewach decyzyjnych.
>
Oczywiście, że w inny sposób ale dlaczego uważasz że mniej opiera się na
wartośći atrybutów ze zbioru treningowego.

> Żeby nie było wątpliwości - miałem na myśli to, że już od wielkości
> zbioru danych dla danego problemu zależy to, jaki klasyfikator warto
> wybrać. Jaki to klasyfikator, to zależy już od badań i indywidualnych
Acha.

> doświadczeń. Każda firma zajmująca się analizą danych ma swoich
> specjalistów i swoje metody.
>
Hehehe. No to jest

> Inną już zupełnie kwestią jest to, że "lepszy" nie oznacza koniecznie
> "najdokładniejszy", ale często też "...i wystarczająco szybki".
>
Albo łatwiejszy do analizy przez człowieka.

> Dzięki za dyskusję - odezwę się może w przyszłym tygodniu, teraz tonę,
> jak widać ;), w robocie.
>
Też pracuę (ale w domu :P)

> udanego wieczoru,
Dziękuję i wzajemnie.

Zdrowia
--
Wit Jakuczun
http://www.mini.pw.edu.pl/~jakuczun


From: "=?ISO-8859-2?Q?Krzysztof_Dul=EAba?=" <krzysan WYTNIJ.gazeta.pl>
Subject: =?ISO-8859-2?Q?Internetowy_Turniej_Program=F3w_Walcz=B1cych?=
Serdecznie zapraszamy Cię do wzięcia udziału w IV Internetowym Turnieju
Programów Walczących (ITPW).

Jeśli pasjonuje Cię programowanie, lubisz pisać gry posiadające pewną
inteligencję" i chciałbyś się zmierzyć na tym polu z innymi ludźmi w Polsce,
to ITPW jest konkursem dla Ciebie! Poza tym to na pewno wspaniała zabawa z
innymi internautami i wyzwanie dla samego siebie.

Konkurs polega na napisaniu w ciągu 11 dni programu grającego w pewną grę,
której zasady będą podane w treści zadania konkursowego. Program powinien być
napisany w wybranym języku programowania (Pascal, C lub C++). Następnie
nadesłane rozwiązania, czyli właśnie "programy walczące", biorą udział w
turnieju, tocząc ze sobą pojedynki. Zawody wygrywa ten uczestnik, którego
program otrzyma najwięcej punktów.

Turniej organizowany jest przez członków Koła Naukowego Informatyków (KNI)
przy Wydziale Matematyki, Informatyki i Mechaniki Uniwersytetu Warszawskiego i
jest imprezą towarzyszącą Festiwalowi Nauki w Warszawie. Nagrodami w Turnieju
są ciekawe książki informatyczne, koszulki firmowe z logo ITPW oraz niespodzianki.

Konkurs będzie odbywał się w dniach 5 - 18 paździenika 2005 na stronach
serwisu ITPW dostępnego pod adresem:

http://www.mimuw.edu.pl/ITPW

Pod tym adresem znajduje się dokładniejszy terminarz zawodów.

Pozdrawiamy Cię i gorąco liczymy na Twój udział,

Organizatorzy ITPW 2005


--
Wysłano z serwisu Usenet w portalu Gazeta.pl -> http://www.gazeta.pl/usenet/


From: A.L. <lewando_won_ kalabambuko.com>
Subject: VW zwyciezca rajdu bezludnych samochodow.
W tym roku lepiej niz poprzednio - 4 samochody ukonczyly rajd, VW
zwyciezyl:

http://www.cnn.com/2005/TECH/science/10/10/robot.race.ap/index.html

A.L.


From: =?UTF-8?B?TWljaGHFgg==?= <mgl somewhere.net>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
A.L. wrote:
> W tym roku lepiej niz poprzednio - 4 samochody ukonczyly rajd, VW
> zwyciezyl:
>
> http://www.cnn.com/2005/TECH/science/10/10/robot.race.ap/index.html

gwoli scislosci: udalo sie pieciu zespolom, VW dzialal wspolnie ze Stanford

http://www.grandchallenge.org/

jakby nie bylo: widac postep.

pozdrawiam,
--
mgl


From: KA <a b.c>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
A.L. wrote:
> W tym roku lepiej niz poprzednio - 4 samochody ukonczyly rajd, VW
> zwyciezyl:
>
> http://www.cnn.com/2005/TECH/science/10/10/robot.race.ap/index.html
>
> A.L.


A kto go programował?
Konrad


Sklep - biżuteria artystyczna


From: J.F. <jfox_xnospamx poczta.onet.pl>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
On Wed, 12 Oct 2005 01:06:12 +0200, Michał wrote:
>A.L. wrote:
>> W tym roku lepiej niz poprzednio - 4 samochody ukonczyly rajd, VW
>> http://www.cnn.com/2005/TECH/science/10/10/robot.race.ap/index.html
>
>gwoli scislosci: udalo sie pieciu zespolom, VW dzialal wspolnie ze Stanford
>http://www.grandchallenge.org/
>jakby nie bylo: widac postep.

Hm - pojazd samoczynnie prowadzacy sie to ja widzialem ponad 10lat
temu - uniwersytet w Bristolu sie tym bawil.

J.


From: A.L. <alewando kapturek62.com>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
On Wed, 12 Oct 2005 09:07:46 +0200, KA <a b.c> wrote:

>A.L. wrote:
>> W tym roku lepiej niz poprzednio - 4 samochody ukonczyly rajd, VW
>> zwyciezyl:
>>
>> http://www.cnn.com/2005/TECH/science/10/10/robot.race.ap/index.html
>>
>> A.L.
>

Stanford University.

A.L.


From: "Tomasz 'Merlin' Kolinko" <news px.qs.pl>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
> Hm - pojazd samoczynnie prowadzacy sie to ja widzialem ponad 10lat
> temu - uniwersytet w Bristolu sie tym bawil.

Chodzi Ci o to?
http://www.soy.pl/index.php/No_Hands_Across_America

Tamten samochód, to względny trywiał... Sprawdzał jakie elementy są stałe
(np. pobocze) i się ich trzymał. Nie ma porównania względem Grand Challenge.

Pozdrawiam,
Merlin



From: J.F. <jfox_xnospamx poczta.onet.pl>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
On Wed, 12 Oct 2005 16:36:26 +0200, Tomasz 'Merlin' Kolinko wrote:
>> Hm - pojazd samoczynnie prowadzacy sie to ja widzialem ponad 10lat
>> temu - uniwersytet w Bristolu sie tym bawil.
>
>Chodzi Ci o to?
>http://www.soy.pl/index.php/No_Hands_Across_America

Nie to, ale sadzac z opisow to podobne.

>Tamten samochód, to względny trywiał... Sprawdzał jakie elementy są stałe
>(np. pobocze) i się ich trzymał. Nie ma porównania względem Grand Challenge.

Hm, wydaje mi sie ze rozpoznanie na obrazie z kamery co gdzie mamy
wcale nie jest takie trywialne.

Za to na pustyni nie trzeba sie niczego trzymac :-)

J.


From: A.L. <lewando_won_ kalabambuko.com>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
On Wed, 12 Oct 2005 23:21:39 +0200, J.F.
<jfox_xnospamx poczta.onet.pl> wrote:

>On Wed, 12 Oct 2005 16:36:26 +0200, Tomasz 'Merlin' Kolinko wrote:
>>> Hm - pojazd samoczynnie prowadzacy sie to ja widzialem ponad 10lat
>>> temu - uniwersytet w Bristolu sie tym bawil.
>>
>>Chodzi Ci o to?
>>http://www.soy.pl/index.php/No_Hands_Across_America
>
>Nie to, ale sadzac z opisow to podobne.
>
>>Tamten samochód, to względny trywiał... Sprawdzał jakie elementy są stałe
>>(np. pobocze) i się ich trzymał. Nie ma porównania względem Grand Challenge.
>
>Hm, wydaje mi sie ze rozpoznanie na obrazie z kamery co gdzie mamy
>wcale nie jest takie trywialne.
>

Ma Pan racje, Panie J.F. Przez te 10 lat niczego nie dokonano,
wszystko to pic i fotomontaz, a cale te zawody to zwykla chucpa zeby 2
miliony dolcow miedzy kolesi podzielic.

A.L.


From: "Tomasz 'Merlin' Kolinko" <news px.qs.pl>
Subject: Re: VW zwyciezca rajdu bezludnych samochodow.
>>Tamten samochód, to względny trywiał... Sprawdzał jakie elementy są stałe
>>(np. pobocze) i się ich trzymał. Nie ma porównania względem Grand
>>Challenge.
>
> Hm, wydaje mi sie ze rozpoznanie na obrazie z kamery co gdzie mamy
> wcale nie jest takie trywialne.
>
> Za to na pustyni nie trzeba sie niczego trzymac :-)

J.F. - czytaj materiały zanim się wypowiesz :)

"No hands across America" - kierowca prowadzi samochód przez 200 metrów,
samochód widzi, że pobocze/samochód przed nim/pasy na drodze się nie
zmieniają, więc tak się prowadzi, żeby trzymać się obranego celu. Nie patrzy
na znaki, nie patrzy na nic. Najdłuższy przejechany odcinek, to 90 mil, po
autostradzie.

"Grand Challenge" - samochód jest puszczany przez drogi, tunele, bezdroża,
przesmyki które grożą upadkiem z wysokości. Ma przejechać bez obsługi 130
mil, po terenie dużo trudniejszym i bardziej zróżnicowanym niż autostrada.

Pozdrawiam,
Merlin



następna strona