세션 5. 모바일 게임에 강화학습 적용하기

RL Algorithms

• 아무 생각이 없다면 PPO 부터 사용 ( A2C도 나쁘지 않음 )
• 우리가 만드는 게임이 스타2, 도타 보다 복잡하지 않는 이상 웬만한건 다 가능하다

• 알고리즘에 따라 학습 결과가 극적으로 바뀌지 않는다

• 학습을 했는데 잘 안된다. 그럼 보통 시뮬레이션이나 피쳐 쪽에 버그가 있는 경우
• 어떤 알고리즘이라도 어느 정도 학습은 되어야 한다

• 초기에는 가급적 외부 라이브러리나 프레임 워크를 사용 권장

• 이외로 learning rate나 기타 parameter는 크게 영향을 미치지 않는다

분산 강화 학습

• 현업에서 학습을 하려면 시간이 굉장히 중요하다. 분산을 할 수 밖에 없다.

• 카드 수집형 게임도 학습을 하는데, 한 번에 끝나지 않고 필터링 해서 여러번 하는 경우가 많다.

• 하드웨어
• 내부 구축 ( 절대적으로 CPU가 많은게 유리하다 ) / AWS / GCP
• GPU는 액터가 시뮬레이터 배치 만드는 속도를 따라가지 못한다
• GCP의 경우 Spot 장비를 사용하면 비용을 1/4 정도로 줄일 수 있음

• 소프트웨어
• 자체 구현시 Ray 추천

• Impala 또는 PPO 추천
• Impala는 Tricky한 점이 V-Trace라는 알고리즘으로 Value,  Policy 계산하는데
• Alphastar 에서 V-Trace말고 lambda return이 훨씬 잘 나왔다
• lambda return이 성능이 좋다

Self 학습

• PVP의 경우 Agent의 성능을 향상 시키기 위해서는 셀프 학습이 필수

• BT로 하게 되면 BT 이상 되지 않음

• 국룰: 평가모드 기준 55% 이상 승률을 기록하면 교체

• 정확히 대칭 상황인지 확인

• 승률도 잘 봐야한다
• 55% 이상 해서 교체하고 학습을 진행시켰는데, 학습 모드에서는 승률이 확 떨어져야 정상
• 근데 떨어지지 않고 55%를 유지하거나 그러면 버그

• 가위바위보 문제
• AI가 고도화 되는 것이 아니라 현재 상대한테만 이기는 전략을 학습
• 각 액터마다 묵찌빠가 몇개씩 있어야 한다
• 이전에 했던 애만 액터에 올리는게 아니라 그 이전, 그그 이전 것도 같이 일정한 비율로 섞어서 액터로 올리면 다양하게 학습이 되더라
• BT 같은 경우에도 초반에 쉽게 이겨서 Self로 넘어갔는데
• 나중에 BT를 상대 했더니 지는 경우가 나타났다
• 액터에 한 두개씩 BT를 끼워 넣으면 해결된다.

• 사람이랑 플레이를 잘하더라, 차원문이라는 기술을 쓰게 되면 잘 안되더라.. 게임 내에서 이 기술을 쓰는 경우가 굉장히 적어서, 잘 안됬던 것 → 액터가 몇 백개 있으면 스크립트로 그 중에 몇개는 강제로 주입 → 차원문도 잘 대응을 잘 하더라

• 액터를 어떻게 다양하게 할 것인가가 성능 향상의 전략이 된다.

• 알파 스타와 같이 리그전을 도입해도 되나 대부분 그정도로 복잡할 필요가 없다

Multi-Agent 학습

• 브롤스타즈 처럼 3v3 게임일때
• 하나의 Simulator에 3개의 Agent가 대응하여 액션을 뽑아주는 경우



• 하나의 에이전트가 각각 대응하는 경우



아래도 학습이 잘된다.
캐릭터가 여러개여도 각 상황별로 학습이 잘 된다.
3v3에서 1개만 플레이어고 나머지 BT 여도 승률이 60%였는데
아래 방식으로만 학습해도 승률이 90% 이상 나오더라
100%가 안되는 이유는 상성이 있기 떄문에
 
간단하게 적용해보고 전략적인게 필요하면 다른 알고리즘 사용
MA-POCCA ( ML-agent )

정리

• 이미지 대신 spatial / non-spatial 사용 추천

• 각각의 feature은 적절한 방법에 따라 변환

• Action이 많은 경우 auto-regressive 방식으로 표현

• 초기 알고리즘은 PPO나 A2C 추천

• 가급적 처음 학습 시에는 외부 라이브러리나 프레임워크를 사용하자

• Architecture의 경우도 처음부터 복잡할 필요가 없음

• 학습이 안된다면 알고리즘이나 학습 parameter를 바꾸기 보다는 feature/reward/action 등에 버그가 없는지 먼저 확인하자