안녕하세요. 허재연입니다. 24년이 밝은지 얼마 되지 않은 것 같은데, 벌써 여름이네요. 시간이 너무 빠르게 지나갑니다. 지난 한 학기는 학부생으로는 마지막 학기였습니다. 8학기간의 학부 과정을 잘 마무리하고, 졸업 요건을 갖추기 위해 노력했습니다. 많은 일이 있긴 했지만 어떻게든 졸업을 하게 되었네요. 한 학기가 지났으니, 이번에도 지난 반년이 어땠는지 되돌아보는 시간을 가져보도록 하겠습니다.
제안서 작업
제가 본격적으로 제안서 작업에 참여한 것은 올해가 처음이었습니다. 저희 연구실 전체가 상반기에 굉장히 많은 제안서를 작성했던 것으로 기억하는데, 저희 머신러닝팀도 여러 제안서를 작성했습니다. 제안서 작성 메인은 홍주영/황유진 연구원님이 주도하시고 저랑 정의철 연구원은 지시 받은 사항을 수행하는 입장이었기에 저희가 모든 제안서 작업에 참여하거나 제안서 작업의 마무리를 맡지는 않았지만, 제가 할 수 있는 부분에 대해서는 좋은 결과를 내기 위해 노력했습니다. 특히 OTT과제, 기초연구실 멀티모달데이터가치부여 과제, ican혁신인재양성사업 과제가 기억에 남네요.
OTT과제는 컴퓨터비전팀의 과제 제안서 작성에 보조 느낌으로 참여하였습니다. 이 때 제안서 작업이 구체적으로 어떻게 진행되는지 처음으로 경험했습니다. OTT과제의 경우 사용자의 편의를 위한 다양한 비디오 기술(장면 분할, 텍스트 기반 구간 검색, 요약 영상 생성, 장면 태깅 등..)을 개발하는 것을 목표로 하는 application에 특화된 느낌을 주는 제안서였습니다. 제안서의 방향이 정해진 후 관련 시장 규모 와 연구 진행도 및 경쟁 기관 및 기술 현황에 대해 동향이 파악되어야 하는데 저는 이 과정에서 국내외 시장 규모 및 수출입 현황 서베이를 맡았습니다. 아무것도 모르는 백지 상태에서 이것저것 키워드를 조합하며 통계 자료 및 기사를 찾아갔던 기억이 납니다. 상당히 막막했었는데 결국 조사한 자료를 잘 정리하는게 성공했습니다. 이후에는 다른 분들이 맡은 부분을 도와드리거나, 서베이한 자료를 정리하고 오탈자를 검수하였습니다. 잘 작성된 제안서였는데, 결과가 아쉽네요.
기초연구실(멀티모달데이터가치부여) 과제는 OTT과제 직후 저희 팀에서 작성한 제안서로, 2월 말부터 시작하였습니다. 저희 팀의 이후 3년을 책임질 과제에기에 열심히 참여했습니다. 해당 과제는 기술들을 개발해서 어떻게 응용할지에 대한 고민보다는, 이론 및 기술 자체에 초점이 맞춰진, application보다는 코어 기술 연구에 가까운 과제 제안서였습니다. 3년간 multimodal / multitask를 고려한 실세계 데이터 가치판단 방법론 개발을 목표로 하는 과제로, 기존에 수행하던 다크데이터 과제와 연속성이 있어서 저희가 하기에 정말 좋은 과제였습니다. ‘멀티 모달/멀티 테스크 통합 AI모델을 위한 데이터 가치 부여 연구’ 라는 과제명으로, 저희 연구실에서는 vision data 에 대한 데이터 가치판단에 집중하고, text, audio, graph 등 다른 모달리티 데이터들은 다른 연구실에서 수행할 계획이었습니다. 제안서의 큰 그림을 그리는 것은 교수님과 고연차 연구원분들이 담당하셨고, 저는 1차년도에 수행할 dataset distillation 부분에 많이 참여하였습니다.
1학기 도중에는 ICAN 혁신인재양성사업 제안서를 작성하였습니다. 지능기전공학부 교수님들이 함께 작성하시는 제안서로, AI로봇인재양성 커리큘럼을 개발,운영하는 과제였습니다. 저는 정의철 연구원과 함께 연구개발과제의 필요성 부분을 서베이하고 작성하였습니다. 앞서 연초부터 제안서 작업에 몇번 참여하였고, 이번에는 참고할만한 기존 제안서도 있어서 앞선 제안서들보다는 감을 잡고 작업할 수 있었습니다. 제안서 작업 이후에 발표자료 작업 등등 황유진, 홍주영 연구원님이 특히 정말 고생하셨습니다. 다행히 해당 과제는 최종 선정 될 수 있었습니다.
제안서 작업을 하면서 많은 것을 배울 수 있었습니다. 다음 제안서 작업에는 올해보다 많은 기여를 할 수 있도록 노력하겠습니다.
캡스톤 디자인
한 학기 동안 캡스톤에 정말 많은 시간을 쏟아부었습니다. 2023년 말 3인으로 팀을 구성하고 2024년 초부터 회의를 시작하였습니다. 원래는 빠르게 주제 잡고 구현까지 마무리해서 좀 여유있게 가는것이 목표였는데, 기획이 계속 엎어져서 마지막에는 시간에 많이 쫓겼습니다. 항상 느끼는건데, 기획이 가장 어려운 것 같습니다. 많은 논의 끝에 저희가 맨 처음 잡은 주제는 ‘커스텀 단어장 만들기’였습니다. 수능/편입/토익 등 영어를 공부하는 학생들이 공부하다 만난 단어를 암기하기 위해 따로 정리하는 과정을 단축시켜주고, 나만의 단어장을 만들어 편집할 수 있게 하는 것이었습니다. OCR 및 NLP를 함께 사용하는 어플이었는데, 백엔드 및 NLP쪽 기술 이슈로 기획이 무산되었습니다. 꽤 좋은 기획이었는데, 다시 생각해도 아쉽습니다. 두 번째 기획은 영양성분표를 이용하여 알레르기 환자나 비건이 먹을 수 있는 음식인지 안내해주는 어플을 구상했습니다. 하지만 관련 자료조사를 하다 보니 상품의 영양성분표만으로는 알레르기를 유발하거나 비건이 피해야하는 정확한 모든 첨가물/원료들을 알 수 없다는것을 깨닫고 무산되었습니다. 중간고사 기간이 되어서야 세 번째 기획이 나왔고, 최종적으로는 해당 기획으로 결과물을 만들었습니다. 해당 기획에서는 불법 주정차 신고를 매우 간편하게 만들어주는 어플 제작을 목표로 하였습니다. 프로젝트 이름은 민생(민원생성기)로 결정했습니다.
조사해보니 불법 주정차로 인한 교통 사고 및 2차 피해가 꽤 심각한 사회문제이지만, 우리나라에서 현실적인 억제 방법이 부족하다는것을 알게 되었습니다. 이에 저희는 간단한 신고를 통해 불법 주장차 신고를 활성화하여 빈도를 낮추는것을 목표로 했습니다. 주제와 개요의 스토리라인이 잘 나와서 다행히 교수님이 주제가 정말 좋다고 칭찬해주셨습니다. AI는 OCR(CRAFT), Detection(Yolo), Image Classification(Efficientnet)을 사용하였고 사진 한 장 촬영을 통해 해당 사진과 휴대폰에서 차량 번호, 위반 유형, 주소 및 위치, 신고자 정보, 신고 시간 등 신고에 필요한 모든 정보를 한번에 뽑아낼 수 있게 하였습니다.
마지막에 많은 이슈가 있었지만 최종적으로 결과물이 잘 나와주었습니다. 기존 민원 창구를 사용하면 불법 주정차 신고에 보통 5분 이상이 걸리는데, 저희가 만든 앱을 통해서는 30초 이내에 신고가 가능하였습니다.
최종적으로 장려상을 받아 잘 마무리되었습니다. 발표 자료를 잘 만들었으면 우수상까지 노려볼만 하다고 생각하는데, 마감에 쫓겨 발표 자료를 너무 엉망으로 제출한 게 아쉽네요.
기계학습 조교
23-2학기에는 고급C수업 조교를 맡았고, 이어서 24-1에는 기계학습 수업 조교를 맡았습니다. 맨 처음에는 큰 부담이 없었는데, 갈수록 모든 학생들의 질문에 대응 가능하도록 준비하다 보니 점점 부담이 커졌던 것으로 기억합니다. 실습 다시 풀어보고 수업 내용을 다시 보는건 시간이 많이 소요되지 않았는데 오히려 질문에 대한 답변을 준비하는 게 더 오래 걸렸던 것 같습니다. 학생들은 많은데 조교 수가 적어서 한시간 내내 답변을 드리러 돌아다닌 기억이 납니다. 처음에는 캐글 제출도 못하던 학생들이 봄이 지난 후 어려운 문제들을 척척 풀어내니 뭔가 뿌듯하기도 하고 점점 생각지도 못한 질문을 하기 싲가하니 부담도 되고.. 제대로 된 조교 경험이었다고 생각합니다. 저 개인적으로도 기계학습 내용을 복습하는 계기가 되었습니다. 함께 조교활동 해 주신 임근택, 김현우, 김주연 연구원님 모두 수고 많으셨습니다.
논문 작업
부끄럽지만, 저는 아직 제 이름으로 낸 논문이 없습니다. 1학기 안에 논문 한편을 꼭 내는게 목표였는데.. 제안서 쓰랴 수업 들으랴 조교 준비하랴 캡스톤 하랴 이것저것 하다 보니 논문 작업에 집중하기 정말 쉽지 않더군요. 핑계라면 핑계이고, 역량 부족이라면 역량 부족이라고 할 수도 있습니다. 효율적인 스케줄링의 중요성을 다시 한번 절감한 한 학기였습니다. 교수님께서 ‘짬 날때 쉬는게 아니라 연구를 해야 한다’라고 말씀하신 적이 있는데 한 학기가 지나간 지금 정말 공감하고 있습니다. 아마 많은 분들이 아시겠지만 저는 지금 정의철 연구원과 함께 Multispectral detection에 Self-Supervised Learning을 결합하려고 노력하고 있습니다. 실험이 잘 안나와줘서 난항을 겪고 있는 상황입니다. 이번 여름에 집중적으로 작업하여 꼭 이 논문을 마무리하고, 2학기에는 Active Learning을 주제로 논문을 한 편 더 작성하고 싶습니다. 2학기에는 1학기보다는 좀 더 논문작업에 집중할 수 있을 것이라 생각되기에, 국제학회를 한번 노려보면 좋을 것 같습니다. 열심히 하겠습니다.
생활적인 측면에서는 1. 일찍 자고 일찍 일어나기(9시 출근 9시 이전 퇴근) 2. 한동안 그만두었던 운동 꾸준히 하기 3. 영어 공부 다시 시작하기를 목표로 하고자 합니다.
URP 를 끝내고 RCV에 합류한지 벌써 일년 반이 지나고 이제 석사과정에 진입하게 되었네요. 시간이 정말 빠른 것 같습니다. 열심히 해서 2년간 좋은 결과 내도록 하겠습니다.
