Uczenie przez wzmacnianie według ETH Zurich i NVIDIA

Zespół badaczy z ETH w Zurychu i firmy NVIDIA przedstawił ciekawy model uczenia maszynowego dla robotów kroczących. W założeniu uczenie przez wzmacnianie (ang. Deep Reinfocement Learning) może być znacząco skrócone w kontekście nauczenia algorytmu jak poruszać się w zróżnicowanej przestrzeni. W tym celu zaproponowali użycie masowego przetwarzania równoległego na procesorze graficznym (GPU). W porównaniu z wcześniej stosowanymi metodami, to podejście pozwala wielokrotnie zredukować czas nauki algorytmu.

Symulacja przypomina grę komputerową. Na wizualizacji  w rzucie izometrycznym 4000 robo-psów  pokonuje przeszkody terenowe, takie jak schody, pochylnie, czy ścianki. Podczas takiego treningu roboty uczą się pokonywać przeszkody, zachowywać balans i unikać siebie nawzajem. Symulacja jest podzielona na dwie części, gdzie przez pierwsze cztery minuty roboty chodzą po równym terenie, przez następne 20 minut teren się zmienia.

Proponowany algorytm DRL jest oparty na algorytmie Proximal Policy Optimization (PPO) i jest przeznaczony do wykonywania każdej operacji i przechowywania wszystkich danych na GPU, aby umożliwić naukę od tysięcy robotów jednocześnie.

Dane zebrane przez algorytm został następnie przetransferowany do rzeczywistej jednostki – robota ANYmal od Anybotics. Robot sprawnie poradził sobie z pokonywaniem schodów, większe kłopoty sprawiło mu utrzymanie wyższej prędkości.

Źródło: syncedreview.com, arstechnica.com

Autor: Kuba Łozowski

Zobacz też: Mars: Preserverance bada wyschnięte jezioro