Tip:
Highlight text to annotate it
X
Bude dobré se seznámit se základní terminologií,
která je běžně používána v oboru umělé inteligence k rozlišení různých typů problémů.
První slovo, které vás naučím je plně vs. částečně pozorovatelný.
Prostředí je nazýváno plně pozorovatelné pokud to co váš agent může sledovat
v jakémkoliv časovém okamžiku je kompletně dostačující, aby udělal optimální rozhodnutí.
Například, v mnoha karetních hrách,
když jsou všechny karty na stole, letmý pohled na všechny karty
je dostatetečný k provedení optimálního rozhodnutí.
To je v protikladu k jiným prostředím, kde na straně agenta
potřebujete k provedení nejlepšího možného rozhodnutí paměť.
Napříkla, při hře pokeru, nejsou karty vyloženy na stole,
a zapamatování předchozích pohybů, vám pomůže provést lepší rozhodnutí.
Abychom plně porozuměli rozdílu, uvažte interakci agenta
s prostředím oproti jeho senzorům a aktuátorům
a tato interakce probíhá v mnoha cyklech
často nazývaných cyklus vnímání-akce.
Pro mnoho prostředí je vhodné předpokládat,
že toto prostředí má nějaký vnitřní stav.
Například v karetní hře, kde karty nejsou vyloženy na stole,
se stav může týkat karet ve vaší ruce.
Prostředí je plně pozorovatelné, jestliže senzory mohou stále sledovat
stav celého prostředí.
A je částečně pozorovatelné, jestliže senzory mohou sledovat pouze zlomek celkového stavu,
přitom zapamatování si předchozích měření nám poskytuje další informace o daném stavu
který v daném okamžiku není snadno pozorovatelný.
Takže například jakákoliv hra, kde předchozí tahy nesou informaci o
tom co může být v hráčově ruce, je částečně pozorovatelná,
a vyžaduje odlišné zpracování.
Velmi často agenty, které působí v částečně pozorovatelných prostředích
potřebují získat vnitřní paměť, aby porozuměly
stavu prostředí, budeme o tom ve velké míře hovořit
až začneme mluvit o tom jak struktura skrytých Markovových modelů
poskytuje takovou vnitřní paměť.
Další terminologie se týká toho, zda je prostředí
deterministické [dané] nebo stochastické [nahodilé].
Deterministické prostředí je takové, kde akce agenta
jednoznačně určují výsledek.
Tak například v šachu, neexistuje při přesunu figurky skutečně žádná nahodilost
Následek přesunu figurky je zcela dán předem,
a bez ohledu na to, kam přesunu stejnou figurku, výsledek je shodný.
Tuto situaci nazýváme deterministickou.
Hry s kostkou, například vrchcáby, jsou stochastické.
Přestože stále můžete deterministicky přesouvat vaše figurky,
výstup akce zahrnuje vrh kostkou
a ten nemůžete předvídat.
Ve výstupu vrhu kostkou je tedy zahrnuté určité množství nahodilosti
a proto tuto situaci nazýváme stochastickou.
Dovolte mi říci něco o termínech diskrétní vs. spojitý.
Diskrétní prostředí je takové, kde máme výběr konečného počtu možných akcí
a konečný počet měřitelných věcí.
Například opět v šachu, máme konečný počet pozic na šachovnici
a konečný počet proveditelných operací.
To je odlišné od spojitého prostředí
kde prostor možných akcí nebo měřitelných věcí může být nekonečný.
Například, když házíte šipky, existuje nekonečně mnoho způsobů jak šipky směrovat
a jak je urychlit.
A nakonec, rozlišujeme benigní [vlídný] vs. adversariální [nepřátelský] prostředí.
V benigních prostředích, může prostředí být náhodné.
Může být stochastické, ale samo o sobě nemá záměr
který by byl v rozporu s vlastním záměrem.
Tak napříkla počasí je benigní.
Může být náhodné. Může ovlivnit výsledek vašich akcí.
Ovšem zcela jistě se nepokouší vás dostat.
Porovnejme to s adversariálními prostředími, jako v mnoha hrách, například šachu,
kde se vás protihráč skutečně pokouší dostat.
Ukazuje se, že je mnohem obtížnější najít vhodné akce v adversariálních prostředích
kde vás protihráč aktivně pozoruje a působí proti tomu, čeho se snažíte dosáhnout,
relativně k benignímu prostředí, kde sice může prostředí být stochastické,
ale nemá ve skutečnosti zájem vám komplikovat život.
Pojďme se podívat, do jaké míry pro vás tyto výrazy dávají smysl
v následujícím kvízu.
Takže zde opět máme 4 koncepty: částečně pozorovatelný vs. plně pozorovatelný,
stochastický vs. deterministický, spojitý vs. diskrétní,
adversariální vs. benigní.
A dovolte mi, abych se vás zeptat na hru dáma.
Zaškrtněte jeden nebo více z atributů, které platí.
Pokud myslíte, že dáma je částečně pozorovatelná, zaškrtněte tento.
V opačném případě jej nezaškrtávejte.
Pokud myslíte, že je stochastická, zaškrtněte tenhle,
spojitá, zaškrtněte tenhle, adversariální, zaškrtněte tenhle.
Pokud neznáte dámu, můžete se podívat na Webu a gůglovat
abyste našli více informací o dámě.