Donate to arXiv

Title:Asynchronous Methods for Deep Reinforcement Learning

Download PDF

Abstract: We propose a conceptually simple and lightweight framework for deepreinforcement learning that uses asynchronous gradient descent for optimizationof deep neural network controllers. Przedstawiamy asynchroniczne warianty czterech standardowych algorytmów uczenia wzmacniającego i pokazujemy, że równoległe uczące się akceleratory mają stabilizujący wpływ na trening, pozwalając wszystkim czterem metodom z powodzeniem trenować kontrolery sieci neuronowych. Najlepiej działająca metoda, asynchroniczny wariant actor-critic, przewyższa aktualny stan wiedzy w domenie Atari, trenując przez połowę czasu na pojedynczym wielordzeniowym CPU zamiast na GPU. Co więcej, pokazujemy, że asynchroniczny aktor-krytyk odnosi sukcesy w szerokiej gamie problemów ciągłej kontroli motorycznej, jak również w nowym zadaniu nawigacji po losowych labiryntach 3D z wykorzystaniem wejścia wizualnego.