[뉴스비전e 신승한 기자] "모바일 성공에 이어 가상현실(VR), 인공지능(AI) 등 신기술 분야에서도 투자를 확대하고 있다"

올해 3월 엔씨소프트 주주총회에서 김택진 대표가 주주들에게 설명한 말이다.

엔씨소프트는 AI기술을 활용해 게임 내 문제에 대한 해결 방안을 찾거나, 기존의 기능을 새롭게 개선하기 위해, 2011년 설립한 AI랩을 지난 2015년 AI센터로 확대했다.

AI센터 산하에, AI랩 이외에 NLP랩(자연어처리 연구)을 신설해 연구를 이어가고 있다.

특히 인공지능 연구를 포함한 연구개발에 2016년 기준 매출의 약 25% 투자하고 있다.

게임 속 인공지능 기술 적용 이외에도 게임 관련한 주변 장치에 인공지능 기술을 탑재를 추진하고 있다.

▲MMORPG(다중접속 온라인게임) 서비스

대규모 다중 사용자 온라인 롤플레잉 게임(Massively Multiplayer Online Role-Playing
Game)의 줄임말로 수천 명 이상의 플레이어가 인터넷을 통해 모두 같은 게임이다.

같은 서버에 접속해 각자의 역할을 맡아 플레이하는 롤플레잉 게임(RPG)의 일종으로 전국적인 인터넷 인프라 구축, PC방의 보급 확대, 정부의 IT 육성정책 등을 낳는 결과를 가져왔다.

게이머의 재미를 위해 똑똑한 컴퓨터 플레이어 개발에 딥러닝과 강화학습을 비롯한 인공지능
기술이 사용되었으며 구글의 알파고와 같이 인간을 대상으로 승리하는 것이 아니라 인간에게
재미있게 져주는 영리한 AI 개발이 목표로 하고 있다.

게임 내에 적용되는 인공지능은 크게 세 가지로 분류 가능하다.

게이머에게 NPC가 지능이 있다고 생각하게 만드는 영리한 NPC(Non-Playable Character), 게이머의 상대로서 반응하는 의사 결정 프로세스, 게이머가 즐겁게 플레이 할 수 있도록 하는 지능적이고 쾌적한 게임 내 환경 구현에 인공지능 기술이 적용되고 있다.

▲강화학습(Reinforcement Learning)

반복된 시행착오 과정에서 얻은 반응(Trial and Error Feedback)을 토대로 학습을 진행하는 것으로 아기의 학습과정과 본성을 모델링한 기법이다.

아기는 기거나 걷는 법을 직접 행동하고 성공과 실패에 대한 피드백을 통해 지식을 획득하는데 이와 비슷한 과정을 사용하고 있다.

강화학습은 인공지능이 게임 내에서 인간 플레이어의 행동 기록을 학습하여 이루어 진다.

예를 들어 게임 내 학습 로그(Replay Memory)는 돌진, 베기, 막기 등의 스테이트(state)와 적 HP 감소와 내 HP 감소 등의 리워드(reward), 승리와 패배와 같은 최종 결과로 구성되며 이를
바탕으로 게임 내 NPC의 행동에 반영됨. 강화학습의 게임 적용을 위해서는 state와 reward
디자인에 다양한 지식이 필요하다.

State의 수가 너무 많아 일반적인 테이블 형태로 state의 구성이 어려울 경우 테이블을 회귀함
수(Regression Function)로 대체하는 근사치 큐 학습(Approximate Q Learning)을 수행한다.

이에 필요한 근사치(Approximation) 함수는 인공신경망 고정 큐 학습(Neural Fitted Q Learning)을 사용해 값을 구한 후 인공신경망으로 회귀 학습을 시행한다.

▲리니지 이터널

중세 판타지 시대를 배경으로 하는 인터넷과 모바일 기반 온라인 게임으로 국내뿐 아니라 세계적으로 가장 성공한 문화 콘텐츠 중 하나로 인정받는 리니지의 최신작이다.

오토(자동사냥 프로그램)은 MMORPG 게임의 재미를 하락시키는 요소로 지목되고 있는데 이를 막기 위해 리니지 이터널에는 인공지능 기술이 적용된 다이나믹 던전이 제공된다.

다이나믹 던전은 항상 새로운 구조, 몬스터, 보상과 이벤트가 제공되어 오토의 적용을 막고 플레이어에게 보다 재미있는 경험을 준다.

다이나믹 던전은 맵의 분리 및 재결합과 몬스터 위치 무작위 생성 기능이 적용되어 좌표방식의 기존 자동사냥 프로그램의 차단에 효과적 이다.

▲블레이드 앤 소울의 무한의 탑

MMORPG인 블레이드 앤 소울 내의 추가 컨텐츠 중의 하나인 무한의 탑(격투게임)에 강화학습
인공지능 기술을 적용해 컴퓨터 플레이어의 지능을 향상 시킨다.

무한의 탑은 인간 플레이어와 인공지능 컴퓨터 플레이어가 1대1 전투를 벌이는 대전 액션게임으로 총 100층인 탑을 하나씩 올라갈 때마다 더 강력한 적수를 맞닥뜨리는 형태로 구성되어
있다.

기존 컴퓨터 프로그램은 정해진 공략법이 있고 이것을 잘 이용하면 손쉽게 컴퓨터 플레이어와의 대결에서 승리할 수 있기 때문에 플레이가 반복 될수록 재미가 떨어지는 것이 문제점으로 지적되고 있다.

강화학습이 적용된 인공지능 플레이어는 자신의 현재 상황, 즉 자신과 인간 플레이어의 체력, 남은 기술 등을 종합적으로 판단하여 인간 플레이어를 공격하기 때문에 반복된 플레이에도 정형화된 공격 패턴을 보이지 않아 새로운 재미를 제공하는 것이 가능하다.

무한의 탑에 적용된 인공지능은 10만 번 이상의 반복 훈련을 거쳐 개발 후 적용됐다.

MMORPG 전투는 게임규칙이 바둑 등과 비교하면 더 복잡하므로 아직 인공지능이 프로게이머를 이길 수 있는 수준까지는 도달하지 못했지만 인간 플레이어가 알아차리지 못할 만큼 아슬아슬하게 져주는 영리한 인공지능을 목표로 개발을 진행하고 있다.

인간보다 더 강한 인공지능이 아니라 보다 인간다운 인공지능의 구현을 위해 다양한 제약사항과 기능을 반영한다.

반응속도를 인간 플레이어와 비슷한 수준으로 설정하고 인간 플레이어가 자주 사용하는 행동패턴과 기술 콤보를 학습시켜 기계가 아닌 인간 플레이어의 게임 플레이와 근접하게 느끼도록 설계됐다.