Value-Based Planning for Teams of Agents in Stochastic Partially Observable Environments

Samenvatting: Value-Based Planning for Teams of Agents in Stochastic Partially Observable Environments (zoals op de achterkaft)

Een belangrijke vereiste van beslissingsondersteunende systemen is het vermogen om te redeneren over onzekerheid. Dit is een complex probleem, vooral als er meerdere actoren bij zijn betrokken. Kijk bijvoorbeeld naar een team van brandweermannen wiens doel het is om, slechts gebruik makende van lokale waarnemingen, een grote brand te blussen in een woonwijk. In dit geval is de omgeving stochastische omdat de agents onzeker zijn met betrekking tot: 1) het effect van hun handelen, 2) de werkelijke toestand van de omgeving, en 3) de acties die de andere agenten te nemen.
Deze onzekerheden maken het probleem computationeel te complex. In dit proefschrift zijn dergelijke besluitvormingsproblemen geformaliseerd met behulp van een stochastisch, discreet tijd model genaamd Decentralized Partially Observable Markov Decision Process (Dec-POMDP).
Het eerste deel van dit proefschrift beschrijft een op 'value functions' gebaseerde aanpak voor Dec-POMDPs, gebruik makend van zogenaamde Bayesian games. In het tweede deel worden verschillende vormen van structuur in deze aanpak geïdentificeerd en benut om beter schaling gedrag te realiseren.