College Of Engineering
서울공대 이야기
서울대 컴퓨터공학부 전병곤 교수팀
딥러닝 모델 분산 학습 시스템 Parallax 개발

 

서울대 컴퓨터공학부 전병곤 교수팀 (아래 왼쪽부터) 김수정 박사과정, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정
 
서울대 공대는 컴퓨터공학부 전병곤 교수팀이 딥러닝 모델을 자동으로 빠르게 분산 학습하는 시스템인 Parallax를 개발했다고 3일 밝혔다.
 
딥러닝 기술은 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 활용되고 있다. 최근 딥러닝 모델의 학습시간을 단축시키기 위해 많은 GPU를 사용하는 분산 학습에 관한 연구가 활발히 이뤄지고 있다.
 
기존의 연구는 희소 텐서 보다는 대부분 밀집 텐서를 사용하는 이미지 처리를 위한 모델에 대한 연구에 치중됐다. 자연어 처리를 위한 모델은 이미지 처리를 위한 모델과는 다르게 사용되는 파라미터의 희소성이 크다. 하지만 기존 분산 학습 시스템들은 이런 파라미터의 희소성을 잘 활용하지 않아 희소 파라미터가 포함된 모델의 분산 학습 성능이 밀집 파라미터만 사용하는 모델에 비해 상대적으로 낮은 편이었다.
 
이에 연구팀이 제안한 Parallax는 파라미터 희소성을 고려한 최적화 기술을 통해 빠르게 분산학습이 가능한 시스템이다. Parallax 시스템에서는 파라미터의 희소성에 따라 밀집 파라미터와 희소 파라미터에 각각 다른 학습 아키텍처 방식을 혼용한 하이브리드 분산 학습 아키텍쳐를 사용한다.
 
또한 머신 별로 미리 데이터를 처리하고 크기를 줄인 뒤 다른 머신에 전송함으로써 머신 간 통신량을 줄이고 크기가 큰 희소 파라미터를 효율적으로 처리하기 위한 파티셔닝을 사용한다. 그 결과 이미지 처리 모델의 성능은 유지하면서 자연어 처리 모델의 성능은 기존 시스템 대비 최대 6배 향상시켰다. 이와 함께 하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 자동으로 변환하여 사용성을 크게 증가시켰다.
 
해당 연구 결과는 2019년 3월 독일 드레스덴에서 개최될 시스템 분야 최고 우수 학회 중 하나인 EuroSys(European Conference on Computer Systems)에서 발표될 예정이다.


[참고자료]
출판 전 논문 페이지: https://arxiv.org/abs/1808.02621 (최종 출판본은 2019년 3월 공개 예정)
 
 
[그림1] Parallax의 하이브리드 분산 학습 아키텍쳐의 적용 예시. 하나의 모델을 분산 학습 할 때 밀집 파라미터(Dense Variable)는 AllReduce를 이용하는 분산 아키텍쳐를 활용하고, 희소 파라미터(Sparse Variable)는 파라미터 서버 아키텍쳐를 적용한다
번호 제목 글쓴이 날짜 조회 수
1494 서울대 공대 윤명환 교수 제 20대 대한인간공학회장 겸 2024 제주 세계인간공학대회 조직위원장 취임 hands 2020.01.10 32
1493 서울대 공대 창의설계축전 수상팀 미국 CES2020 참관 hands 2019.12.30 71
1492 서울대 공대 안성훈 교수팀, 빛으로 구동하는 형상기억합금 마이크로 로봇 개발 hands 2019.12.30 49
1491 서울대 공대 전국진 교수, IEEE 석학회원 선정 hands 2019.12.30 44
1490 [마켓인사이트]산업용 AI 솔루션 전문벤처 원프레딕트, 스위스ABB와 협력 가속화 hands 2019.12.30 45
1489 서울대 공대 박병국 교수, IEEE 석학회원 선정 hands 2019.12.30 15
1488 서울대 공대 허충길 교수, 10년 연속 탑컨퍼런스 논문 게재 hands 2019.12.30 15
1487 서울대 공대 이제희 교수팀, 컴퓨터그래픽스 기술로 뇌성마비환자 정형수술 효과 예측 hands 2019.12.12 440
1486 서울대 공대 조규진 교수팀, 종이접기 기반의 소프트 로봇 개발 hands 2019.12.12 448
1485 서울대 공대, 액상에서 반응하는 촉매입자 고해상도 관찰 성공 hands 2019.11.28 554
1484 서울대 공대, ‘ ENNOvation Tank 시즌 Ⅱ’ 10개 기업 선정 hands 2019.11.14 674
1483 윤병동 교수 원프레딕트, 올해의 10대 기계기술 선정 hands 2019.11.14 371
1482 서울대 박병우 교수팀, 고효율 장수명 페로브스카이트 태양전지 구현 hands 2019.11.14 352
1481 서울대-SK텔레콤 공동 기술사업화 업무 협약식 hands 2019.11.14 259
1480 리플에이아이-서울대 김건희 교수팀, 2019 동영상 이해 및 자연어 대화 인공지능 챌린지 세계대회 우승 hands 2019.11.14 173
1479 서울대 공대, 세계 컴퓨터비전 최대 학회 ICCV 2019 국내 첫 개최 hands 2019.11.14 214
1478 여성교수 공동 채용 나선 亞 주요 7개大 공대학장 hands 2019.11.14 198
1477 윤병동 교수, 한국PHM학회 회장 취임 hands 2019.11.14 186
1476 서울대 윤병동 교수 연구팀, LG전자 소재/생산기술원, 한국기계연구원-한국표준과학연구원 연구팀 PHM Society 2019 PHM Conference ‘Data Challenge Competition’ Winner (1, 2위) 석권 hands 2019.11.14 194
1475 윤병동 교수, PHM Society Fellow 선정 hands 2019.10.24 495
Login
College of Engineering Seoul National University
XE Login