1. Рівень 1. Що ж трапилося? Бот, створений на основі нейронної мережі, переміг відомого гравця в Dota...
2. Рівень 2. Як це працює?
3. Чим нейронна мережа відрізняється від гри проти комп'ютера?
4. Гра проти нейронної мережі
5. Твіт Маска після перемоги бота на турнірі:
6. Чи дійсно перемога в Доті так важлива? Що кажуть експерти?
7. захоплення
8. критика
9. Знайшлися і зовсім сумніваються:
10. Рівень 3. Майже конспірологія: чому ІІ і роботи грають в людські ігри?
11. Що ця перемога означає?
12. У чому конспірологія?
13. Незадоволеними залишилися розробники ботів для Dota 2

Рівень 1. Що ж трапилося?

Наше деловое партнерство www.banwar.org

Бот, створений на основі нейронної мережі, переміг відомого гравця в Dota 2 на сцені головного турніру The International (TI) 2017. Основні змагання в Dota відбуваються між командами 5 на 5 чоловік, але існує і індивідуальний залік. Open AI створили ІІ, який самонавчанням, граючи сам з собою, 1 на 1. На сцені бот обіграв 2-0 популярного гравця Данила Dendi Ишутина з NaVi.

До цього за лаштунками змагання бот воював з SumaiL - кращим гравцем 1 на 1 - і з Arteezy - кращим гравцем в світі, його MMR більше 10000. Їх бот теж переміг «всуху» - 2-0.

Кумедний факт, після турніру всім бажаючим запропонували спробувати свої сили проти бота-переможця за винагороди. До вечора того ж дня бота перемогли гравці з інтернету з MMR близько 8000. Знадобилося кілька спроб, щоб виявити слабке місце. Проте, на сцені турніру бот переміг.

Чому це важлива подія?

Турнір організований Valve, розробником гри, призовий пул майже 25 млн доларів. Це найбільше кіберспортивного змагання щороку встановлює новий рекорд за кількістю переглядів і призовому пулу. International дивляться онлайн півмільйона глядачів на Twitch, ще кілька сотень тисяч через ігровий клієнт і мільйони в запису.

У минулому році TI 2016 зібрав 143 мільйони унікальних глядачів на всіх платформах, включаючи китайські стрімінговие сайти, YouTube і Twitch.

Open AI - некомерційна дослідницька організація, зайнята розвитком і просуванням ІІ. Організацію створили за рахунок пожертвувань від відомих підприємців Силіконової долини, серед яких Ілон Маск, Сем Альтман, Пітер Тіль, компанія «Амазон», «Майкрософт».

Ініціативу відкритих досліджень «дружнього» ІІ підтримали багато вчених, у тому числі Стівен Хокінг. У 2016 році Open AI випустила платформу для дослідження машинного навчання з підкріпленням. Проект зі створення бота для гри в Dota 2 - один з кроків на шляху до створення ІІ, здатного досягати цілей в складних, заплутаних ситуаціях за участю людей.

Ця знаменна подія для Open AI як організації, яка намагається створити сильний спільний ІІ на благо людства. Dota - складна гра з невідомої, прихованою інформацією. Гравці вміють планувати, нападати і обманювати своїх супротивників. Для успіху в такій грі необхідні навички і інтуїція, уміння підлаштовуватися під ситуацію.

У блозі на сайті Open AI, розробники виклали відео і розповідь про те, як команді вдалося за два тижні навчити бота грати кращі за ці чемпіонів.

В інтерв'ю головний інженер Open AI Грег Брокман відзначив, що перемога в Доті - це перший крок на шляху до пріоритетних завдань, наприклад, хірургії. Розробники Open AI обіцяють представити команду з 5 ботів, щоб битися в повноцінну версію гри проти кращих команд на турнірі в 2018 році. Якщо хочете допомогти розробляти ботів для гри 5 на 5 - у Open Ai відкритий набір інженерів по машинному навчання.

Запис матчу разом з передісторією:

Рівень 2. Як це працює?

Спускаємося на рівень глибше (або вище, у кого як працює уява). Давайте розбиратися!

Розробники вирішили підійти до вирішення проблеми з чистого аркуша. Вони зрозуміли, що, якщо спробувати описати кількість правил у відкритій грі з тисячами змінних, на це піде кілька місяців. Замість цього вони налаштували бота, ввели його в гру і дали повну свободу дій.

Як виглядає еволюція:

1. Бот грав сам проти себе, такого ж бота. Вони обмінювалися досвідом.
2. Перші кілька ігор бот стояв на місці і не рухався, після цього він почав здійснювати випадкові дії або руху.
3. Після тисяч спроб ІІ прийшов до того, що потрібно йти до центру карти і битися з супротивником, щоб перемогти.
4. А по тому неколько тижнів безперервних тренувань бот став грати на рівні першокласних гравців.

За час тренувань ІІ навчився:

• здійснювати останній удар - це приносить бонуси в Dota;
• провокувати дрібних істот противника на атаку;
• гальмувати своїх істот, щоб краще їх згрупувати;
• тримати супротивника на відстані від своїх істот, позбавляючи противника грошей і досвіду;
• скасовувати анімацію здібностей для уникнення отримання шкоди;
• блефувати скасування анімації здібностей, яка веде до захисної реакції супротивника;
• адаптуватися до нових предметів, які купує противник;
• переслідувати противника, пророкуючи його можливе місце розташування в тумані війни.

Наочно процес навчання нейронної мережі подивіться на відео:

Чим нейронна мережа відрізняється від гри проти комп'ютера?

Гра проти комп'ютера

Основна відмінність бота Open AI від вбудованих в гру противників полягає в технології, на якій вони засновані. Вбудовані в гру противники побудовані на основі дерева рішень. Рішення знаходять перебором комбінацій вхідних параметрів і рішенням оптимізаційних завдань. Такі дерева рішень включають досить велику кількість параметрів, таким чином гравцеві буде здаватися, що він грає проти живого або адаптується противника.

Проте всі можливі варіації в поведінці таких опонентів заздалегідь задані творцями гри. Вбудовані боти майстерно імітують інтелект, але не володіють ім. Створення таких штучних противників порівняно простіше і швидше для розробників.

Гра проти нейронної мережі

Нейронні мережі використовують інший підхід. Мережа, яку використовували Open AI, заснована на принципі, який схожий на еволюцію. Здійснюючи випадкові дії, мережа створює різні рішення. Рішення оцінюються функцією пристосованості (fitness function).

підписуйтесь на канал Rusbase в «Яндекс.Дзен» , Щоб нічого не пропустити

Вдалі рішення з'єднуються між собою, мутують і створюють нові покоління рішень. Нові покоління порівнюють з їх «батьками», щоб зрозуміти чи з'явився прогрес. Якщо прогресу немає, рішення-«батьки» схрещуються в нових пропорціях. Процес схожий на еволюцію організмів в живій природі. Такий алгоритм не завжди призводить до ідеального рішенням, але буде дуже близький, пройшовши через покоління помилок.

На відео головний інженер проекту розповідає про процес навчання нейронної мережі при підготовці бота до турніру:

Бот на основі нейронної мережі вимагає значно більше ресурсів, ніж класичне дерево рішень. Такі нейронні мережі використовують для проектування двигунів реактивних літаків і пошуку ліків від хвороби Альцгеймера. Open AI використовували обчислювальні потужності хмарного сервера Microsoft Azure, так як Microsoft є одним із засновників Open AI.

Твіт Маска після перемоги бота на турнірі:

Цілком процес навчання нейронних мереж щодо функції пристосованості можна подивитися на відео про гру Маріо. Використовуючи метод нейроеволюція доповнюють топологій або по-простому еволюції методом проб і помилок, автор відео створив нейронну мережу, яка проходить рівень в Маріо.

На початку навчання такої ІІ навіть не вміє ходити, після 34 поколінь і кількох днів навчання ІІ зміг закінчити рівень без смертей:

Чи дійсно перемога в Доті так важлива? Що кажуть експерти?

Я пробігся по форумам програмістів, reddit, співтовариствам любителів нейронних мереж. Думки учасників розділилися: зустрічалися як захоплення, так і сильна критика.

захоплення

З обговорень на Reddit :

Переклад: Бот виграє за рахунок вповільнень своїх істот тілом персонажа. Це офігенно.

Переклад: Як я зрозумів, тест полягав в тому, щоб побачити, як бот навчиться грати сам, без заданих правил і рамок. Він навчився і виграв у кращих. Зрозумійте правильно, це великий прогрес.

критика

З обговорень на Reddit :

Переклад: Бот, який виграв у професіонала в доту, порівняємо з роботом, який кидає м'ячі в баскетбольну корзину з місця. Це несправжній баскетбол і несправжня Доту.

Переклад: Звучить набагато менш переконливо, коли розумієш, що бот по визначенню забезпечений інструментами, які дозволяють мати надлюдську реакцію і точне знання шкоди в цифрах. Це дозволяє безпомилково розраховувати шкоди і наносити останній удар. Буде дійсно цікаво, якщо вони зможуть навчити бота грати в макростратегії, яких немає в грі 1 на 1. Якщо вони зможуть на рівних виграти у команди з 5 чоловік, це буде досягнення.

Знайшлися і зовсім сумніваються:

Форум розробників ПЗ і модов для Доти:

Переклад: Не просіть їх показати відкритий код, не покажуть по очевидним причин. Незважаючи на таку жорстку критику, розробники заявили, що представлять версію для гри 5 на 5, яка втре ніс критикам. Варто відзначити також, що пройшло всього кілька днів після події. Можливо, згодом будуть опубліковані наукові статті або навіть вихідний код.

Рівень 3. Майже конспірологія: чому ІІ і роботи грають в людські ігри?

Потрібно йти ще глибше! Масові спортивні, інтелектуальні, а тепер і киберспортівниє події дивляться мільйони людей. Це підвищує впізнаваність передових технологій. Високотехнологічна індустрія завжди потребувала притоці молодих талантів і такі символічні перемоги мотивують молодих хлопців зайнятися наукою і програмуванням.

У 1996 році Deep Blue від IBM переміг гросмейстера Гаррі Каспарова в шахах. Через 10 років, в 2016 році, AlphaGo від команди DeepMind з Google переміг Лі Седоля в го, через рік Open AI змогли повторити успіх в Dota 2.

Перемога в шахах відкрила світові і довела скептикам, що комп'ютер здатний вирішувати найскладніші завдання. Перемога Alpha Go змусила експертів говорити про можливості AI і машинного навчання. Подивимося, який ефект буде від перемоги в Dota.

Що ця перемога означає?

Неочевидний висновок з цієї новини - киберспортівниє турніри стали настільки важливими і популярними, що найбільші технологічні стартапи використовують їх як майданчик для піару. Ще кілька років тому Watson від IBM брав участь в телевізійному шоу Jeopardy, щоб стати знаменитим. Сьогодні комп'ютерів з ІІ потрібно бути більш актуальною і грати в Dota або Counter strike.

Як підтвердження цієї думки, буквально тиждень тому з'явилася новина про те, що Blizzard відкрив API StarCraft 2 для розробників команди DeepMind з Google. DeepMind зможе навчатися не тільки сам, але і за допомогою вивчення записів матчів кращих гравців в StarCraft 2. DeepMind і Blizzard, так само як і Open AI, запрошують дослідників приєднатися до проекту побудови ІІ для гри в StarCraft.

Ось, до речі, посилання на блог команди DeepMind .

У чому конспірологія?

У зв'язку з виходом API від Blizzard, в мережі з'явилася конспірологічна версія. Технологічні гіганти не просто так в один момент сфокусувалися на комп'ютерних іграх.

Через секунди після перемоги бота від Open AI Ілон Маск написав в твіттері, що бот організація, ініціатором якої став сам Ілон, перемогла в набагато більш складній грі, ніж шахи або го:

Твіт, ймовірно, є хвастощами перед IBM і Google, які освоїли гри «простіше». Не варто забувати, що Маск з колегами вклали більше мільярда доларів в некомерційну дослідницьку організацію Open AI.

Як мінімум вони зможуть залучити кращих фахівців, яким згодом запропонують роботу в Tesla або інших компаніях-спонсорах. На форумах і в твіттері Маска звинуватили в клікбейте і перебільшенні заслуг Open AI.

Незадоволеними залишилися розробники ботів для Dota 2

Valve не запросили на турнір програмістів, які працювали над створенням сторонніх рішень для Dota 2. Існує кілька програм на основі дерев рішень та інших технологій, які здатні грати навіть в режимі 5 на 5. Проте на сцені продемонстрували ранній прототип для гри 1 на 1 від Open AI. Valve не коментували дану претензію.

На закінчення, хочу сказати: «I, for one, welcome our new robot overlords». Що стосується мене, то я вітаю наших майбутніх роботів-наглядачів. І регулярно пишу про них в нашому Telegram-каналі Robotics Channel. Приєднуйтесь!

Матеріали по темі:

Індустрія самотності: чи зможе розумна техніка замінити людині людини?

Сто років без роботів: чому ми з вами не застанемо еру розумних машин

Я написав бота, який розсилав за мене тисячі резюме - і ось що з цього вийшло

Як штучний інтелект змінить охорону здоров'я через 5 років

Читання на вихідні: все про ботах

Чи можуть боти замінити HR-фахівців? думки експертів

Знайшли друкарську помилку? Виділіть текст і натисніть Ctrl + Enter