1부 : Gen AI / LLM 시대에 개발자가 가져야 할 마음가짐 – 카카오 박준호 기술기획팀 파트리더
1. The Era of Generatvie AI / LLM
우리는 현재 AI와 LLM의 시대에 살고 있습니다. 저희 연구실의 큰 연구 분야 범주가 AI -> ML -> DL 그 중에서도 CV에 특화되어 있듯이 LLM은 또한 AI -> ML -> DL이라는 큰 범주에 속하면서 NLP라는 자연어처리 분야에 특화된 딥러닝 모델이라고 볼 수 있습니다. 하지만 이제 Large Language Model이라는 이름답게 대용량의 언어 데이터를 어떻게 처리하여 언어 생성 및 추론에 특화된 모델을 만들 것인가가 목표인 모델이죠. LLM의 대표주자로 이제는 모르는 사람을 찾기가 더 힘들 정도인 Chat GPT를 언급하십니다. Chat GPT가 처음 출시되고 나서 폭발적인 사용자를 모으고, 계속적인 성장을 이뤄낼 수 있었던 이유에 대해 결국은 놀라운 언어 생성 능력과 대화 형식의 편의성 등을 생각해 볼 수 있습니다. 사실 저도 처음 Chat GPT를 접하게 된 때가 대략 22년 말, 23년 초였던 것 같은데, 그땐 단순히 마치 옛날에 ‘심심이’ 같은 챗봇을 사용해보던 때처럼 별거 있겠어? 라는 생각에 장난스런 대화만 시도해봤던 기억이 납니다. 그러다 여러 언론과 커뮤니티를 통해 Chat GPT의 활용성(특히 code generation)에 놀랐던 기억이 있네요. 제가 잘못 사용했구나 싶으면서 이 모델이 점차 발전된다면 AI 분야에 있어서 앞으로 획기적인 발전이 계속 이루어지겠구나란 생각이 들었었습니다.
2. GPT-3.5 vs GPT-4
그런데 앞선 GPT-3.5(text 인풋)와 23년 3월에 출시된 GPT-4(text와 image 인풋) 넘어, 24년에 이르러 GPT-4 Turbo, GPT-4o(omni), GPT-4o mini, GPT-4o1 preview 모델까지 출시가 되었는데, 불과 몇년 사이에 이런 소름돋는 성능의 모델이 계속 업데이트되어 왔다는 사실에 새삼 경외감이 느껴지면서도 AI에 대한 저의 기대감은 한 층 더 깊어지게 되었습니다. 사실 저는 미국 주식도 간간히 하는 입장에서 AI의 겨울이 올 수도 있다 정도의 회의론도 한편으로는 생각해보고 있었지만, 이런 추세라면 사실 겨울보단 더 관심이 뜨거워질 여름이 오지 않을까?란 생각이 있습니다. 자본과 관심이 이토록 집중되는 시기에 써먹을 수 있는 오픈소스들과 아이디어들은 계속해서 발전해나가고 있고, 오늘날엔 OpenAI를 제외하고도 다른 기업들도 모두 LLM 모델과 VLM 모델들에 거대한 자본력과 computing power를 투자하여 주도적으로 발전되고 있는 것이 사실이고 학교나 연구소 등의 학계에서 또한 이를 적절히 잘 활용하고, 끊임없이 문제를 정의하고 타파해나가고 있다는 점에서 연구 개발의 가속화는 여전히 진행되고 있다는 그런 생각이 들었습니다. 사실 이런 생각은 저번 KCCV 2024를 다녀오고 나서 특히 더 많이 하게 된 것 같은데, 패널 discussion 당시 우리나라 CV 학계 거장들의 여러 견해를 들어보고 나니 학생 연구자가 가져야 할 마음가짐은 거대기업의 지속적인 연구성장에 따라 느끼는 두려움과 그럼 우리같은 학생연구자는 뭘 해야한다는 거지에 대한 막연함보단, 와 아직도 해결해야 할 문제들이 산더미인데 이런 거대기업들의 LLM, VLM 등을 잘 활용하면 더 효율적이고 효과적인 연구성과를 낼 수 있지 않을까라는 관점이 더 도움될 수 있을 것 같다는 생각입니다. 혹자는 그럼에도 우리나라의 연구가 시스템적 한계와 학계에 대한 지원 부족으로 인해 우리같은 학생 연구자는 막막한 게 사실이다라고 생각할 수 있겠지만, 저는 주어진 환경에서 주어진 문제에 대한 해결에 집중한 연구를 하다보면 저희 학계도 조금 더 희망을 가질 수 있지 않을까란 생각이 있습니다.
3. What about Robots?
LLM 의 시대를 넘어 멀티모달 VLM 등의 연구로 계속해서 발전되고 연구가 더 분화되어 옴에 따라 결국에 이런 연구들은 우리가 로봇의 시대에 발을 들이기 위한 인지 단계의 초석이 아닌가 싶습니다. 특히 이번 행사에서 Sanctuary AI & Magna의 AI 로봇, Figure AI의 Figure 02 로봇, BostonDynamics의 로봇과 같은 휴머노이드 로봇에 대한 언급이 있었는데요. 이 로봇들의 발전은 LLM, VLM의 발전에 맞게 혹은 그것보다 더 빠르게 무서운 속도로 발전되고 있습니다. OpenAI의 챗지피티가 2년 사이 인간에 필적할 만큼의 성능을 보이는 만큼, 로봇도 이를 활용하면 더 빠르게 발전할 수 있게 되는 것이죠.
4. So What about us?
그렇다면 이런 급속도로 발전하는 LLM, 로봇의 시대에서 저같은 학부생, 학생 연구자는 어떻게 해야 할까요? 가 이 1부 행사의 핵심주제가 될 수 있겠는데요. 사실 너무 막막해 할 필요는 없습니다. 초기 챗지피티의 출시 초반에 코딩 커뮤니티 사이트로 유명한 Stack Overflow의 이용자들에게 이런 LLM을 활용한 AI tool이 업무 효율, 혹은 코딩에 있어서 어느정도 도움이 되냐 물어봤을 땐 사람들이 반신반의하는 경향의 설문조사 결과가 있었지만, 24년에 들어서 다시 설문조사를 진행한 결과는 70~80퍼센트에 달하는 사람들이 AI tool로 인하여 많은 도움을 받고 있다. 편리하다. 등의 반응을 보였습니다. 이 말인 즉슨, AI가 우리 삶과 우리의 직업을 위협하고 있다기 보다, 오히려 삶에 너무나도 편의성을 제공하고 업무효율을 더욱 향상시켜 주고 있다는 것이죠. 챗지피티를 제외하고도, Ideogram, github copilot 등과 같은 LLM을 활용한 다양한 AI tool들은 잘만 활용하면 너무나도 편합니다. 저 같은 경우도, 챗지피티를 구독하지 않고 무료로만 사용하고 있다가 GPT-4o1의 출시이후로 구독을 해보게 되었는데, 아주 신세계가 펼쳐졌습니다. 오히려 이를 구독해서 사용하고 있지 않던 지난날이 아주 살짝? 후회되었죠. 저의 이런 경험처럼 이 1부의 마지막에선 강사님께서 무엇이든 좋으니 AI에 관심을 갖고 뭐든 시작하고, 그저 주어진 문제와 일을 해결하기 위해 노력하며, 자기 자신에 대한 의심을 가지기 보단 뭐든 해낼 수 있을 것이라는 확신을 가지고 나아가다 보면 언젠가 좋은 기회가 올 것이라는 말로 끝마쳐 주셨습니다.
5. 질의응답 및 개인적인 생각…
이렇게 1부가 끝나고 질의응답을 받는 시간이 되었는데, 사실은…. 저는 개인적인 생각이지만 전체 강연을 들었을 때, 너무 당연한 말씀들이 많았지 않았나.. 학생들이 관심을 갖고 주로 고민하는 부분에 대해서는 시원하게 긁어준 건 아니라고 생각이 들었습니다. 이 행사를 들으러 온 학생들은 대부분 AI에 관심이 있고, 취업과 대학원 진학 간에 고민을 하고 있는 학생들이 대부분일 거라 생각합니다. 저도 그런 학생들 중에 한 사람이었기 때문에, 저는 뭐 카카오 개발자들은 LLM 활용도는 어느 정도 되는지, 앱 등의 서비스를 출시하고자 할 때, 혹은 그런 앱을 출시하기 위한 기술을 연구하고자 할 때 LLM을 활용한다면 prompt engineering적인 측면의 무언가를 시도하고 있는지, 혹은 카카오도 우리나라에서는 알아주는 대기업인 만큼 서비스에 특화된 LLM모델 네트워크를 새로 개발 중 인지에 대한 질문을 생각했었습니다. 그 때 마침 옆자리의 영규형과, 앞자리 주영님이 이런 부분에 대해 핵심을 뚫는 질문을 먼저 해주셨는데 생각보다 질문에 대한 답은 그렇게 명쾌하진 않았고 결국 학생들이 원하는 질문에 대해 답을 듣지 못한 상태로 1부 강연이 끝나게 되었습니다.
저는 현재 연구실의 로보틱스 팀 내에서 prompt engineering을 활용한 로봇의 인지 및 action generation 분야에 대해 공부를 계속 해나가고 있는데, 저 또한 대기업이 다루는 LLM은 어떨까, prompt engineering은 어느 정도 수준으로 활용을 할까에 대한 궁금증이 해소되지 못하고, GPT소개, 로봇 소개 정도로만 강연이 끝난 것 같아 조금 아쉽다는 생각이 들었습니다.
2부 : AI로봇 교육과정 설명회
대학원 어렵지 않아요 – 강병현 교수님
저희 같은 학부생의 경우 학부 졸업 후 선택지는 크게 취업 후 사회 진출, 혹은 대학원 진학 등이 있습니다. 강병현 교수님께서는 대학원을 사회로 나가기 위한 경험을 쌓고, 전문성을 키우는 곳이라고 발표해주셨습니다. 그러면서 전반적인 대학원이라는 곳과 석박사 과정 그리고 연구에 대한 정리를 해주셨는데, 결론은 대학원이란 곳이 어쩌면 사회에서의 치열함과 동일하게 열심히 공부해야 하는 곳이면서도, 학교라는 안전한 울타리 안에서 미래를 위한 나에 대한 투자로 원하는 공부를 마음껏 할 수 있는 곳이라는 말씀이 공감이 되었습니다.
나의 연구분야란 – 최호선 교수님
저는 3학년 때 로보틱스 수업을 통해 최호선 교수님을 처음 뵙게 되었는데요. 지금도 그렇고 교수님을 보면 드는 생각이 진짜 젊으시다입니다. 그런데 젊으신데도 불구하고 이른 나이에 교수님이 되신 것을 보고 저 교수님은 얼마나 대단한 연구를 하신 걸까라고 생각한 적이 있었습니다. 이 2부 행사 발표를 통해 최호선 교수님의 연구과정을 엿볼 수 있었는데요, 박사과정을 하실 당시 발목 외골격 로봇, KIST에서 포닥을 하실 당시 스마트케어로봇, 국방과학연구소 선임연구원 당시 미사일(구동장치 액추에이터..) 등 매우 다사다난한 연구과정을 겪으셨었습니다. 이렇게 연구분야가 이리저리 바뀌면서도 교수님은 로봇에 대한 흥미를 잃지 않으셨고, 현재 세종대학교 조교수로서 바이오메카트로닉스 연구실에서 그 동안의 연구과정을 모두 활용할 수 있는 인간을 위한 로봇 연구를 하고 계시는 것 같았습니다. 이를 통해 느낄 수 있었던 것이 어떤 연구도 내 인생에 도움이 안되는 연구는 없다였던 것 같습니다. 곧 있으면 학부졸업을 앞두고 RCV 연구실로 석사 입학을 하게 될 저도, 제 연구분야가 어느 것으로 세분화되든지 간에 이 AI와 로봇이라는 큰 틀에서 놓치 않을 흥미만 가지고 있다면 제 미래에 분명 도움이 될 것이라고 생각합니다.
융합 연구의 길 – 류승형 교수님
류승형 교수님 께서는 융합연구와 융합연구자에 대해서 말씀해주셨습니다. 특히 자연계의 분포를 잘 모사할 수 있는 정규분포와 시그마를 통한 연구인력의 희소성과 가치에 대해서 언급해주시던 것이 인상깊었습니다. 결국 어떤 연구 domain x와 y를 융합하여 연구할 수 있는 AI, 로봇 연구 인력이야말로 지금 시대가 가장 필요로 하는 동일 난이도의 문제대비 문제 해결력이 높은 인재라는 것이죠. 그런 의미에서 저 또한 CV연구를 위해 rcv랩에 들어왔으나, LLM과 prompt engineering을 활용한 로봇 연구를 하게 될 것이라는 점에서 마냥 거부감과 어색함을 드러낼 것이 아니라, 필요하다면 금방금방 배워서 잘 활용하고 열심히 노력해야겠다는 생각이 들었습니다.
대학원에 가기 위해 들어야 할 수업들 – 박규민 교수님
박규민 교수님께서는 저의 학부 상담 교수님으로써, 매학기마다 상담을 하며 종종 뵈었었는데요. 제가 rcv urp를 지원하기 전에도 박규민 교수님을 통해서 대학원과 랩실에 대한 여러가지 조언을 해주시며 대학원에서 인공지능을 공부하기 위해서는 어떤 것을 더 공부해서 가면 좋을 지에 대한 내용도 들어봤던 탓에, 이번 발표해주신 내용인 대학원에 가기 위해 들어야 할 수업들에 대한 내용에서도 상당히 공감을 하게 되었습니다. 결론은 학부과정에서 듣는 많은 수업들이 대학원 진학에 있어서 아예 도움이 안 되는 것은 아니고, 몇몇 과목과 수업은 대학원에 들어가고 나서도 많이 쓰이는 내용이 있어서 중요하지만, 그렇다고 학부과정의 수업에서 얻는 것보다는 대학원에 들어오고 나서 열심히 공부하는 것이 연구에 있어서는 더 핵심이 되며, 학부 때 이것저것 많은 과목을 듣지 못했거나, 너무 다양한 과목을 들었더라도 대학원에 와서 스스로 열심히 노력하면 얼마든지 성장해나가고 좋은 결과를 낼 수 있다가 핵심이었던 것 같습니다.
AI 로봇 취업 뽀개기 – 이찬화 교수님
이찬화교수님께서는 본인께서 취업 당시 겪었던 일화와 취업 경험을 언급하시면서 학생들로 하여금 AI로봇학과 및 지능기전공학부로써 취업을 어떻게 할 수 있을 것인가, 그리고 대학원 석사, 박사 학위를 취득한 뒤의 취업은 어떻게 되는 것인 가에 대해서 중점적으로 설명해주셨습니다. 특히 저는 이제 석사를 진학하기로 마음 먹었고, 남은 것은 석사 후 취업이냐, 박사까지 할 것이냐의 고민에 놓여있는 상황에서, 해당 말씀들이 조금 고민을 해소할 수 있는 포인트가 되지 않을까 싶어 귀 기울여 듣게 되었습니다. 결론은 석 박사 취업의 경우 학부 취업 때의 포트폴리오와 조금 다르게 본인이 대학원에서 해왔던 연구를 잘 정리해서 발표와 질의응답을 어떻게 잘 할 것이냐가 주 타겟이기 때문에, 그런 것들을 잘 정리해나가기 위해 앞으로의 대학원 석사 2년의 시간 동안 내 연구를 잘 정립해나가야겠단 생각이 들었습니다.
여러분은 어떻게 성장하는가 – 최유경 교수님
저희 교수님의 발표를 통해서는 본 행사에 관한 AI로봇학과 핵심인재양성 과제에 대해 전반적인 설명을 들을 수 있었으며, 현재 정부에서 얼마나 이런 AI와 로봇에 관한 핵심 인재들을 원하고 있는지 엿볼 수 있었습니다. 저는 특히 이미 RCV lab에 들어와 있기 때문에 교수님의 발표 마지막 부분에서의 척척석사가 되는 법이 역시 인상깊었습니다. 저희 연구실을 졸업하신 alumni 선배분들은 모두 척척석사처럼 연구 사이클을 여러 번 경험하시고, 과제수행, 논문작업 등등의 과정을 다수 수행한 걸출하고 능력있으신 분들이었죠. 저 또한 그들처럼 되고 싶은 마음이 있기때문에 앞으로의 시간을 더 소중히 사용하고, 밀도있게 사용하고, 효율적으로 사용하면서 연구 사이클을 잘 경험하고, 부족한 부분들을 잘 배워서 한 명의 독립 연구자로써 잘 성장할 수 있도록 다분히 노력해야겠단 생각이 들었습니다.
