“연구는 스토리다”: 문경식 교수가 전하는 구글 PhD 펠로우십 경험과 조언

자기 소개 부탁드립니다.

안녕하세요, 저는 고려대학교 컴퓨터학과에서 조교수로 재직 중인 문경식입니다. 2020년에 구글 PhD 펠로우십(Google PhD Fellowship)을 수상했으며, 2021년 서울대학교 전기정보공학부에서 이경무 교수님의 지도 아래 박사학위를 받았습니다. 이후 메타(Meta)에서 약 2년간 박사 후 연구 과학자(Postdoctoral Research Scientist)로 근무한 뒤, 현재는 고려대학교에서 비주얼 컴퓨팅 및 AI(Visual Computing and AI, VCAI) 연구실을 이끌고 있습니다.

VCAI 연구실은 컴퓨터 비전, 그래픽스, 로보틱스를 바탕으로 사람 중심의 3D 세계를 인지하고 표현하며, 모델링하는 AI 기술을 연구하고 있습니다. 저희의 궁극적인 목표는 단순한 3D 복원을 넘어, 인간의 외형과 행동을 정밀하고 자연스럽게 재현하고 조작할 수 있는 AI 시스템을 개발하는 것입니다.

저희 연구는 크게 세 가지 축으로 나뉩니다. 단일 이미지나 비디오로부터 얼굴, 손, 몸의 3D 구조를 복원하는 기술을 연구하는 ‘인간 인지를 위한 컴퓨터 비전’(Computer Vision for Human Perception), 다양한 3D 표현 방식을 연구하여 개인화된 디지털 아바타를 생성하고 제어할 수 있는 ‘인간 표현을 위한 컴퓨터 그래픽스’(Computer Graphics for Human Representation), AI 기반 생성 모델을 활용하여 사람처럼 자연스럽게 행동하는 가상 에이전트나 로봇을 만드는 ‘인간 행동 모델링을 위한 로보틱스’(Robotics for Human Behavior Modeling) 등이 해당됩니다.

이처럼, 인간의 모션을 정확히 인식하고, 외형을 현실감 있게 표현하며, 자연스러운 행동을 생성함으로써, 디지털 휴먼, 인터랙티브 AI, 가상 에이전트 기술을 선도해 나가고자 합니다.

프로그램 지원 배경이 궁금합니다.

박사과정 중, 지도교수님이신 이경무 교수님의 권유로 구글 PhD 펠로우십 프로그램에 지원하게 되었습니다. 사실 지원 전에는 이 프로그램이 세계 최고의 박사과정 학생들에게 수여된다는 점에 대해서만 알고 있었고, 제가 지원할 수 있을 것이라고는 생각하지 못했습니다. 이후 서울대학교 내부 심사를 통과한 뒤 최종 지원자로 선정되었고, 연구실 선배이자 현재 포항공과대학교 교수이신 조민수 교수님, 그리고 인턴십 당시 매니저의 추천서를 받아 지원하게 되었습니다.

무엇보다도, 제 연구가 구글과 같은 세계적인 기업으로부터 인정받을 수 있다는 점 자체가 매우 큰 기대이자 동기였습니다. 당시 박사과정 학생으로서 외부 활동 경험이 많지 않았기 때문에, 이 프로그램은 제 연구 역량에 대해 객관적으로 평가받을 수 있는 소중한 기회였습니다.

프로그램 중 가장 도움이 되었던 부분이 무엇인지 궁금합니다.

제가 펠로우십 프로그램을 수상했던 2020년은 코로나 팬데믹이 한창이던 시기로 관련 행사나 멘토링은 진행하지 못했지만, 연구 계획서를 작성하는 과정에서 가장 큰 배움을 얻었습니다. 이전까지는 제가 수행해온 연구들을 하나의 큰 흐름으로 정리해본 적이 없었는데, 지원서를 준비하면서 각 연구 간의 연관성을 고민하게 되었고, 이를 통해 저의 장기적인 연구 비전을 정립할 수 있었습니다. 이 경험은 펠로우십 지원뿐 아니라, 이후 논문 작성과 연구 제안서 작성 등에도 큰 도움이 되었습니다.

인공지능으로 교수님의 연구 분야는 어떻게 변화하고 있다고 생각하시는지 궁금합니다.

컴퓨터 비전과 컴퓨터 그래픽스 분야는 최근 몇 년간 인공지능, 특히 대규모 모델과 데이터의 등장으로 매우 빠르게 변화하고 있습니다. 예전에는 불가능하다고 여겨졌던 문제들도, 이제는 학습 기반 접근을 통해 점차 해결되고 있습니다. 특히 멀티모달 데이터와 생성 모델의 발전은 인간의 모션, 외형, 행동을 더 정밀하고 현실감 있게 재현하는 데 중요한 역할을 하고 있습니다.

구글이 연구 및 학문 발전에 기여하는 부분은 무엇이라고 생각하시나요?

구글은 다양한 오픈소스 프로젝트, 대규모 데이터셋, 그리고 학계와의 활발한 협력을 통해 학문 발전에 크게 기여하고 있다고 생각합니다. 특히 구글 리서치(Google Research)를 통해 발표되는 논문들은 많은 연구자들에게 아이디어와 영감을 주고 있으며, 실제 제품에 적용 가능한 수준의 연구 결과를 보여주고 있어 학계와 산업계를 연결하는 가교 역할을 하고 있다고 봅니다.

구글의 인공지능 프로그램들은 단지 기술 개발에 그치지 않고, 실제 사용자들에게 긍정적인 경험을 제공하는 방향으로 나아가고 있다고 생각합니다. 구글 번역, 구글 포토, 자율주행 등 다양한 분야에서 AI 기술이 활용되고 있으며, 특히 연구자들에게는 텐서플로우(TensorFlow), JAX와 같은 도구를 통해 AI 연구를 가속화할 수 있는 기반을 제공하고 있습니다.

향후 구글 리서치(Google Research)와의 협업을 통해, 디지털 휴먼 및 인터랙티브 AI 분야에서 더 현실감 있고 사용자 맞춤형의 시스템을 개발해보고 싶습니다. 구글이 보유한 기술력과 글로벌 인프라는 저희 연구실이 지향하는 사람 중심의 AI 기술을 한 단계 더 끌어올리는 데 큰 도움이 될 것이라 생각합니다.

마지막으로 본 프로그램에 지원하고자 하는 연구자들에게 해주고 싶은 조언이 있다면 무엇인가요?

자신의 연구를 단순히 나열하기보다는, 왜 이 연구를 했는지, 이 연구가 어떤 문제를 해결하며, 앞으로 어디로 나아가고 싶은지에 대한 명확한 스토리를 갖추는 것이 중요하다고 생각합니다. 또한 연구 주제의 독창성과 사회적 영향력도 잘 드러낼 수 있도록 연구의 의미를 깊이 있게 성찰해보시길 권합니다.

끝으로, 자기 자신을 믿고 도전해보시길 바랍니다. 구글 PhD 펠로우십 프로그램은 도전 자체만으로도 큰 성장의 기회가 됩니다.