Donate to arXiv

Title:Asynchronous Methods for Deep Reinforcement Learning

Download PDF

Resumé: Vi foreslår en konceptuelt enkel og letvægtsramme for dyb forstærkningsindlæring, der anvender asynkron gradientafstigning til optimering af styringer af dybe neurale netværk. Vi præsenterer asynkrone varianter af fire standardforstærkningsindlæringsalgoritmer og viser, at parallelle aktørlærere har en stabiliserende effekt på træningen, hvilket gør det muligt for alle fire metoder at træne neurale netværksstyringer med succes. Den bedst præsterende metode, en asynkron variant af actor-critic, overgår den nuværende state-of-the-art på Atari-domænet, mens den træner på halvdelen af tiden på en enkelt multi-core CPU i stedet for en GPU. Endvidere viser vi, at asynkron actor-critic lykkes på en lang række problemer med kontinuerlig motorstyring samt på en ny opgave med at navigere i tilfældige 3D-labyrinter ved hjælp af et visuelt input.