스타크래프트2로 배우는 강화학습

Course Introduction

• Course 수행 기간 : about 7 weeks
• Course 수행 방법 : Online/Offline Project-based Course
• LMS : Google Classroom
• Online Meeting : Zoom.us
• Course Coach : SK 주식회사 C&C , Tech Training Group 박석 수석
• Course Schedule reference : https://www.notion.so/parksurk/2-3f69488a5320462392baf47107919872
• Course Main Github reference : https://github.com/parksurk/dmarl-sc2

Prerequisite - programming

• Python programming skills
• Numpy, Pandas, Jupyter notebook basic
• PyTorch basic

Prerequisite - backgound theories

• Basic linear algebra
• Basic probability theory
• Basic calulus
• Deep Learning basic

What you can take from this Course

• 강화학습 기초 지식
• PySC2 API 사용법
• Q-Learning 알고리즘
• DQN 알고리즘

After completion of this Course

• 강화학습의 기초 개념을 이해한다.
• StarCraft2 강화학습 환경을 설정한다기본적인 Pysc2 API 기술을 할용할 수 있다.
• PySC2 API의 실제 활용과 코드레벨의 적용과 응용이 가능하다.
• PySC2 API를 활용한 Script 기반의 에이전트 개발이 가능하다.
• Q-Learning 알고리즘 에 대해 이해한다. 코드레벨 수준에서 강화학습 알고리즘 적용 패턴에 익숙해 지고 추가적인 응용이 가능하다.
• Sparse Reward를 가진 환경에서 Q-Learning 알고리즘와 같은 전통적 강화학습의 단점에 대해 이해한다.
• DQN 알고리즘 에 대해 이해한다. 코드레벨 수준에서 심층강화학습 알고리즘 적용 패턴에 익숙해 지고 추가적인 응용이 가능하다.

Course Schedule

• 1st Week
  • 강화학습 소개 및 기초 세미나
  • 로컬개발환경에 StarCraft2 강화학습 환경 설치 및 설정하기
• 2nd Week
  • PySC2 소개 및 사용법 세미나
  • '기본 Agent 만들기' 베이스라인 코드 리뷰
• 3rd Week
  • Q-learning 알고리즘 관련 세미나
  • '간단한 강화학습 Agent만들기’ 베이스라인 코드 리뷰
• 4th Week
  • '간단한 강화학습 Agent만들기 with Sparse Reward Environment’ 베이스라인 코드 리뷰
• 5th Week
  • DQN 알고리즘 관련 세미나
  • '간단한 심층강화학습 Agent만들기’베이스라인 코드 리뷰
• 6th Week
  • Final Project 중간 발표
  • ‘자기만의 심층강화학습 에이전트’ 개발중에 발생하는 Trouble-Shooting / 추가적인 논문 리뷰 / 코드 리뷰
• 7th Week
  • Final Project인 ‘자기만의 심층강화학습 에이전트’ 대한 발표
  • Jam Study

Assignments

• 1st Week
  • 로컬개발환경에 StarCraft2 강화학습 환경 설치 및 설정하기
• 2nd Week
  • 나만의 StarCraft2 기본 Agent 만들기
• 3rd Week
  • 나만의 StarCraft2 강화학습 Agent 만들기
• 4th Week
  • 나만의 StarCraft2 강화학습 Agent 만들기 with Sparse Reward Environment
• 5th Week
  • Final Project 중간 발표 자료 작성하기
  • Final Project 과제 수핼
• 6th Week
  • Final Project 과제 수핼
• 7th Week
  • Final Project 과제 수핼

Reference

본 과정개발을 위해 참고한 레퍼런스입니다.

• Udacity - Deep Reinforcement Learning Nanodegree (Ref: https://www.udacity.com/course/deep-reinforcement-learning-nanodegree--nd893)
• https://github.com/udacity/deep-reinforcement-learning
• Steven Brown' blog https://chatbotslife.com/@skjb
• Steven Brown' pysc2-tutorial Github https://github.com/skjb/pysc2-tutorial
• StarAI Lecture : https://www.starai.io/course/lecture8/
• StarCraft2 Wiki - List of StarCraft II units : https://starcraft.fandom.com/wiki/List_of_StarCraft_II_units
• FastCampus '모델 성능 개선으로 익히는 강화학습 A-Z 올인원 패키지 Online' 과정

Course Coach Contact & Information

• 박석 / Park, Surk
• E-mail : [email protected]
• Gihhub : https://github.com/parksurk
• Twitter : https://twitter.com/SurkPark
• LinkedIn Profile : https://www.linkedin.com/in/parksurk/?locale=en_US
• Facebook : http://facebook.com/parksurk
• Instagram : https://instagram.com/parksurk
• RL-related background
  1. Artificial Intelligence Convergence Symposium 2018 in preparation for Post-AI - Received 'Best Poster Paper Award' (Ref: http://post-ai2018.ieieweb.org, No. 2018-5) 수상
  2. ˜Deep Learning College at ModuLabs (http://dlc.modulabs.co.kr) Research Institute Activity - MRC with RL "Generalization of Machine Reading Comprehension Using Dynamic-Critical Based Learning" and ICGHIT2019 (http://icghit.org) paper submit (Paper Link: https://drive.google.com/file/d/1fNyUQ_C60QZF9VAjdByIFvJTsEH153VT ) (Presentation Slide: https://drive.google.com/file/d/1TVCqy8tRkU86Mp8pYNrdlVLQTc0Q3cH_ ) 논문발표
  3. MODUCON 2018 Presentation - NARCISSUS With Intelligent QA  (Ref: http://moducon.kr/2018/parkseok-session/) 모두콘 발표
  4. Udacity - Deep Reinforcement Learning Nanodegree (Ref: https://www.udacity.com/course/deep-reinforcement-learning-nanodegree--nd893, Certificated: https://confirm.udacity.com/C3PHQT4L)
  5. DRL Blog 운영 : https://parksurk.github.io
  6. DRL YouTube Channal 스터디 운영 : https://www.youtube.com/playlist?list=PLvbAGfQRcrU_b28507v9GQhOcTAeT7HEg