Pytania fundamentalne :)

[hawkmoon]

w wolnej chwili postaram się odpisać na Twoje wypociny
Ogólnie problem z NLH jest taki, ze dla każdej strategii bardzo łatwo jest zbudować kontr-strategię. Stad właśnie "dynamika".
Musze powiedzieć, że bez współpracy z dobrym pokerzysta raczej nie dasz rady. Nie rozumiesz na przykład, że nitowanie to nie jest w sumie profitową taktyka. To po prostu wyraz bezsilności graczy o niskich umiejętnościach.

Inna sprawa, że istnieją juz chyba gotowe boty którym implementujesz tylko swoją strategie. wiec tworzenie bota z zafixowanym stylem gry to jak dla mnie wywarzanie otwartych drzwi. No i robocik bez czytania statystyk zostanie rozniesiony tak czy inaczej - tego akurat jestem pewien.

Osobiście gdybym znał się na programowaniu, to podszedłbym do tematu od nieco innej strony, tworząc odpowiednie symulatory.

[hawkmoon]

No i jeszcze jedna sprawa. Nie jesteś pierwszym, który wpadł na pomysł stworzenia takiego bota. Jak na razie jednak takie algorytmy nadają sie do wyłącznie generowania dużej ilości rake.

[Woland]

Programy szachowe które wygrają z mistrzem świata stworzyli ludzie którzy są całkiem przeciętnymi szachistami. Boty GS1, GS2, GS3 do pokera h2h które wygrywały starcia ze światową czołowką stworyli goście którzy sami przyznają że sa słabymi pokerzystami. Poker wymaga przecież dyscypliny, cierpliwości, opanowania emocji a czasem także błyskawicznych kalkulacji - człowiekowi tego może brakowac, ale dla maszyny to bez znaczenia. Dlatego słaby pokerzysta może stworzyć program do pokera który grał będzie znacznie skuteczniej niz on sam. Nie ma tu więc żadnego paradoksu, nie wiem czemu cię to tak dziwi

Ależ oczywiście że jest paradoks i to z powodów, o których już rozmawialiśmy. Cały czas porównujesz szachy do pokera co jest straszliwym błędem. No dobrze, może do HU limit możesz porównać. Tam rzeczywiście być może sprawa sprowadza się do obliczeń. Ale porównać szachy do gry cash NL, ze stackiem 100BB?? To jak dla mnie błąd ogromny, który własnie zabija całą Twoja filozofię. Zapewne (nie wiem, bo nie studiowałem tego tematu) do HU limit w ogóle nie za bardzo trzeba mieć "zdolności ogólnopokerowe" a "wystarczy" zakuć zbiór tabelek. Ale do gry NL na głębokich stackach z całą pewnością nie wystarczy i z całą pewnością samą matematyką takiej gry nie obalisz.

[comrade]

w wolnej chwili postaram się odpisać na Twoje wypociny
Ogólnie problem z NLH jest taki, ze dla każdej strategii bardzo łatwo jest zbudować kontr-strategię. Stad właśnie "dynamika".

Czyli jednak papier-nożyczki kamień? Patrzymy w statystyki żeby ustalić co przeciwnik gra i jak on papier to my nożyczki itd. Być może tak jest. Ale jeśli to prawda to powstaje cała masa zakręconych wniosków i pytań. Pierwszy z brzegu jest taki, że nie istnieje coś takiego jak 'profitowa strategia'. Po prostu! Próba wygrania w pokera sprowadza się do próby wygrania w papier-nożyczki-kamień. Czysty los. A to jest mocno dyskusyjne stwierdzenie.

Musze powiedzieć, że bez współpracy z dobrym pokerzysta raczej nie dasz rady. Nie rozumiesz na przykład, że nitowanie to nie jest w sumie profitową taktyka. To po prostu wyraz bezsilności graczy o niskich umiejętnościach.

To stwierdzenie też rodzi całą masę moich pytań. Ogólnie rzecz biorąc jesli wypowiadasz że "X nie jest profitową strategią" to jak to się ma do wcześniejszego stwierdzenia że na każdą strategię jest kontr-strategia? Innymi słowy, to poprzednie stwierdzenie oznacza że taki wielki kwantyfikator że coś w ogóle nie jest profitowe - jest błędne. Co najwyżej można powiedzieć że "X nie jest profitową strategią przeciwko strategii Y". Sam tak napisałeś powyżej.

Konkretyzując problem, można spytać: jesli nitowanie nie jest profitowe, to jaka strategia dominuje nad nitowaniem? I jaka strategia dominuje nad tą która dominuje nad nitowaniem? Itd.

Inna sprawa, że istnieją juz chyba gotowe boty którym implementujesz tylko swoją strategie. wiec tworzenie bota z zafixowanym stylem gry to jak dla mnie wywarzanie otwartych drzwi. No i robocik bez czytania statystyk zostanie rozniesiony tak czy inaczej - tego akurat jestem pewien.

Sprawdzałem to. Istotnie, ktoś zrobił coś takiego jak język skryptowy do botów pokerowych, w którym bot to po prostu zestaw instrukcji. Ale nie podobało mi się to, bo brakowało w tym wyrafinowania. Zmuszają cię do tworzenia bota w postaci kolekcji piętrowych reguł w rodzaju "Jeśli jest preflop i poleciał 3-bet a ja mam AA lub KK to rób allin" - a ja takie podejście uważam za mało skuteczne. Ja chcę zrobić coś w rodzaju 'płynnego' systemu wnioskującego opartego na stosunkowo niewielkiej liczbie zmiennych i regułach ogólnych, dla którego sytuacja na stole jest tylko 'stanem probabilistycznym' . Nie chcę tworzyć konkretnych reguł tylko parametry strategii, które posłużą do wyliczania pewnej przybliżonej równowagi. Na wyjściu bot wcale nie wypluje 100% pewnej decyzji jak grac. On wypluje wniosek następujący: w tej a tej sytuacji jest tyle % szans że mój fold jest EV+, tyle % że mój call jest EV+ i tyle że moje różne rodzaje raisów są EV+. I wybierze opcję po prostu losowo (ważąc oczywiście te % szans). W tych gotowcach do botów to byłoby masakrycznie trudne, poza tym nie mam czasu uczyć się de facto nowego języka programowania.

Co do tego że bot nieczytający statystyk zostanie rozniesiony - zgoda, jest szansa że tak właśnie będzie, ale każde takie "rozniesienie" bota będzie potraktowane jako fakt wypracowania alternatywnej strategii (zmierzy się wszystkie jej parametry) i wzięte pod lupę. Można będzie zapuszczać symulacje w których zmierzą się ze sobą różne strategie.

Osobiście gdybym znał się na programowaniu, to podszedłbym do tematu od nieco innej strony, tworząc odpowiednie symulatory.

Dokładnie tak. Wiedząc już jaka jest reprezentacja strategii - po prostu załaduje się kilka typowych strategii do symulatora i napuści na siebie by zbadać która jest skuteczna przeciwko którym. Już samo w sobie coś takiego będzie moim zdaniem całkiem ciekawe. Stolik pokerowy jest tylko i wyłącznie szczególnym przypadkiem takiego symulatora w którym ścierają się różne strategie a bot jest tylko automatem grającym daną strategią.

No i jeszcze jedna sprawa. Nie jesteś pierwszym, który wpadł na pomysł stworzenia takiego bota. Jak na razie jednak takie algorytmy nadają sie do wyłącznie generowania dużej ilości rake.

Czyli w grze wychodzą na zero? Byłbym super szczęśliwy gdyby okazało się że mój bot w długim okresie wychodzi na zero. Uznałbym to za zajebiście dobry wynik i zachętę do dalszych prac.

[comrade]

Ależ oczywiście że jest paradoks i to z powodów, o których już rozmawialiśmy. Cały czas porównujesz szachy do pokera co jest straszliwym błędem. No dobrze, może do HU limit możesz porównać. Tam rzeczywiście być może sprawa sprowadza się do obliczeń. Ale porównać szachy do gry cash NL, ze stackiem 100BB?? To jak dla mnie błąd ogromny, który własnie zabija całą Twoja filozofię. Zapewne (nie wiem, bo nie studiowałem tego tematu) do HU limit w ogóle nie za bardzo trzeba mieć "zdolności ogólnopokerowe" a "wystarczy" zakuć zbiór tabelek. Ale do gry NL na głębokich stackach z całą pewnością nie wystarczy i z całą pewnością samą matematyką takiej gry nie obalisz.

To może na przykładzie wytłumaczę ci dlaczego porównuję szachy do pokera.

Wyobraź sobie że pykasz w pokerka online z bardzo wymagającym przeciwnikiem i w danej sytuacji grasz all-in. Ktoś siedzący razem z tobą i patrzący na to z boku pyta cię dlaczego zagrałeś all-in. Ty mu oczywiście możesz odpowiedzieć np tak: "moje zdolności ogólnopokerowe sprawiły że zagrałem tak a nie inaczej". Taka odpowiedź mnie nie zadowala. Ale żeby nie było nieporozumień: mimo że mnie nie zadowala, ja ją w pełni rozumiem. Uważam że nawet jesli nie potrafisz powiedzieć dlaczego zrobiłeś to co zrobiłeś, to nie znaczy to że twoja decyzja nie była wynikiem całkiem ścisłych kalkulacji, tyle że nieuświadomionych, więc nie dających się łatwo zwerbalizować. Do algorytmu tych kalkulacji w głowie pokerzysty nie mamy dostępu.

To co jest wspólnego z szachami to fakt, że z nimi był identyczny problem. Gdy 40-50 lat temu pierwsi pionierzy próbowali rozkminiać szachy analitycznie i przymierzać sie do stworzenia algorytmów szachowych dla maszyn cyfrowych - doskonale wiedzieli że problemu nie da się załatwić brutalnym przeliczeniem wszystkich kombinacji. Zaczęli więc od obserwacji szachistów i w kluczowych sytuacjach zadawania im pytań - dlaczego zagrał pan własnie tak a nie inaczej. Okazalo się że szachiści po prostu nie mają słów w słowniku by w pełni zrozumiale odpowiedzieć na to pytanie. Były to dialogi w rodzaju:
- Dlaczego taki ruch?
- no bo tutaj... przecież widać... po 13 ruchach naprzód które przenalizowałem (podaje ruchy) uznałem że powstała by sytuacja że pozycja byłaby lepsza... stworzenie zagrożenia... szansa zdobycia przewagi....
- A dlaczego 13 ruchów a nie 14, 15 albo i więcej?
- Bo potem to się rozwidla na wiele opcji i nie wiadomo, nie da się tak...
- A dlaczego akurat te 13 ruchów do przodu a nie inne?
- No przecież nie analizuję ruchów bezsensownych i nie rokujących.
- Niech pan uściśli co to są ruchy bezsensowne i nie rokujące.
- No na przykład otwarcie a2-a3.
- Ale ogólniej?
- Nie umiem. Widocznie mam jakieś zdolności ogólnoszachowe które mi to umożliwiają.

No i zonk bo jak niby przetłumaczyć takie 'wnioskowanie eksperckie' komputerowi który potrafi tylko ściśle cyfrowo przetwarzać dane? Nie da się! I zgoda, podobnie jest obecnie z pokerem. Można sobie identyczny dialog wyobrazić gdzie pyta się dobrego pokerzystę dlaczego grał tak a nie inaczej, on najpierw poda jakieś wnioskowanie w którym użyje twardych danych typu moje karty były takie a takie, pozycja taka a taka, profil przeciwnika taki a taki... wnioskowałem że optymalne było zagranie takie a nie inne. Ale ty naciskasz: no ale jakże to, przecież nie było 100% gwarancji, mógł jednak być blef itd. itp., niechże pan się wyraża więc ściśle dlaczego ostatecznie grał pan tak a nie inaczej. Na co on: nooo.... eee... to są własnie te moje zdolności ogólnoszachowe, ups sorry... ogólnopokerowe. Czyli utykamy w martwym pkcie, z wyjaśnieinem które nic zrozumiałego nie znaczy. Widzisz teraz podobieństwo?

Wracając do wczesnych badan nad szachami, zaobserwowano bardzo ciekawe zjawiska badając aktywność mózgów szachistów podczas gry. Na krótką chwilę przed kluczowym zagraniem następował stan w którym bardzo aktywne były ośrodki nie związane ze świadomym myśleniem i dopiero potem następowało 'powiadomienie' świadomości co skutkowało charakterystycznym poczuciem "olśnienia" i wykonaniem ruchu. Wielu uznało że oznacza to że szachy uda się złamać dopiero kiedy uda się stworzyć sztuczny mózg równy ludzkiemu. Ci kolesie którzy atakowali problem szachów 40 lat temu byli moim zdaniem w bardzo podobnej sytuacji co dziś ci, którzy przymierzają się do zaatakowania problemu pokera. W gruncie rzeczy nie wiadomo co się dzieje w mózgu dobrego szachisty i tak samo nie wiadomo co się dzieje w mózgu dobrego pokerzysty. Ale jest część wspólna: dobrze wiadomo że obie te gry są zakorzenione w matematyce. Być może w różnym stopniu w nieco różnych działach matematyki - ale wciąż jest to goła, hardkorowa matma, od której nie uciekniesz. Kilkadziesiąt lat temu po takich pierwszych nieudanych doświadczeniach z szachistami wielu uważało że automatu grającego w szachy skuteczniej od ludzi nigdy nie uda się zrobić bo mocy obliczeniowej nigdy nie starczy. Nie wiem ile zajmie zrobienie skutecznego bota do pokera, ale dlaczego tak uparcie twierdzisz że problem jest w ogóle nie do ogarnięcia? Dlaczego niby H2H limit sprowadza się do obliczeń a NL ze stackiem 100 BB już nie? Skąd to w ogóle wiesz? Jest jakaś "mistyczna" granica po ktorej załamują się prawidła w de facto tej samej grze? Nie rozumiem tego toku rozumowania.

[Woland]

O ja pierdolę.........

[martino]

Co się stało Woland ? Leżysz pewnie na bezdechu na podłodze co ...

[comrade]

Dobra, widzę że nie dogadamy się. Wrócę jak będę miał tego bota... Możecie skasować ten wątek bo nic z tego nie będzie.

[martino]

Być może w różnym stopniu w nieco różnych działach matematyki - ale wciąż jest to goła, hardkorowa matma, od której nie uciekniesz.

Cytat roku.

Co do Twojego pokerowego bota, to nie martw się tak, do Twojego "SimPoker" wystarczy taki bot, który będzie grał po prostu przyzwoicie i tutaj nie ma co filozofować tylko trzeba nauczyć się grać przyzwoicie w NL Texas Hold`em. Im lepiej nauczysz się grać tym lepszego bota zrobisz. Więc nie licz tutaj na jakieś genialne AI, bo musiałbyś stać się pokerowym geniuszem żeby coś takiego zaimplementować w swojej grze.

[comrade]

martino, jak mówię, widzę wyraźnie że nie dogadamy się. Czuję się jakbym gadał z mistykami, którzy dysponują jakąś wiedzą tajemną, nieodgadnioną dla zwykłych śmiertelników. Jak pojawia się "wariat" i zadaje niewygodne pytania, to mistycy wyzywają go od heretyków.

Nie mam pretensji, po prostu niech każdy robi swoje i tyle.