College Of Engineering
서울공대 이야기
서울대 컴퓨터공학부 전병곤 교수팀
딥러닝 모델 분산 학습 시스템 Parallax 개발

 

서울대 컴퓨터공학부 전병곤 교수팀 (아래 왼쪽부터) 김수정 박사과정, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정
 
서울대 공대는 컴퓨터공학부 전병곤 교수팀이 딥러닝 모델을 자동으로 빠르게 분산 학습하는 시스템인 Parallax를 개발했다고 3일 밝혔다.
 
딥러닝 기술은 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 활용되고 있다. 최근 딥러닝 모델의 학습시간을 단축시키기 위해 많은 GPU를 사용하는 분산 학습에 관한 연구가 활발히 이뤄지고 있다.
 
기존의 연구는 희소 텐서 보다는 대부분 밀집 텐서를 사용하는 이미지 처리를 위한 모델에 대한 연구에 치중됐다. 자연어 처리를 위한 모델은 이미지 처리를 위한 모델과는 다르게 사용되는 파라미터의 희소성이 크다. 하지만 기존 분산 학습 시스템들은 이런 파라미터의 희소성을 잘 활용하지 않아 희소 파라미터가 포함된 모델의 분산 학습 성능이 밀집 파라미터만 사용하는 모델에 비해 상대적으로 낮은 편이었다.
 
이에 연구팀이 제안한 Parallax는 파라미터 희소성을 고려한 최적화 기술을 통해 빠르게 분산학습이 가능한 시스템이다. Parallax 시스템에서는 파라미터의 희소성에 따라 밀집 파라미터와 희소 파라미터에 각각 다른 학습 아키텍처 방식을 혼용한 하이브리드 분산 학습 아키텍쳐를 사용한다.
 
또한 머신 별로 미리 데이터를 처리하고 크기를 줄인 뒤 다른 머신에 전송함으로써 머신 간 통신량을 줄이고 크기가 큰 희소 파라미터를 효율적으로 처리하기 위한 파티셔닝을 사용한다. 그 결과 이미지 처리 모델의 성능은 유지하면서 자연어 처리 모델의 성능은 기존 시스템 대비 최대 6배 향상시켰다. 이와 함께 하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 자동으로 변환하여 사용성을 크게 증가시켰다.
 
해당 연구 결과는 2019년 3월 독일 드레스덴에서 개최될 시스템 분야 최고 우수 학회 중 하나인 EuroSys(European Conference on Computer Systems)에서 발표될 예정이다.


[참고자료]
출판 전 논문 페이지: https://arxiv.org/abs/1808.02621 (최종 출판본은 2019년 3월 공개 예정)
 
 
[그림1] Parallax의 하이브리드 분산 학습 아키텍쳐의 적용 예시. 하나의 모델을 분산 학습 할 때 밀집 파라미터(Dense Variable)는 AllReduce를 이용하는 분산 아키텍쳐를 활용하고, 희소 파라미터(Sparse Variable)는 파라미터 서버 아키텍쳐를 적용한다
번호 제목 글쓴이 날짜 조회 수
1444 서울대 공동 연구팀, 이온 신호 체계에서 발생하는 증폭 메커니즘 규명 hands 2019.07.16 637
1443 서울대 유민구 박사, 한국물리학회 플라즈마물리학 신진과학자상 수상 hands 2019.07.02 704
1442 서울대 이병호 교수팀, 눈의 피로감 없는 3차원 디스플레이 기술 개발 hands 2019.07.02 733
1441 서울대 공대생들 ICASP13 국제학술대회 학생우수논문상 수상 hands 2019.07.02 776
1440 서울대 전기정보공학부 한승용 교수팀, 미국 국립고자기장연구소와 공동으로 직류 자기장 세계 최고 기록 달성 hands 2019.07.02 722
1439 서울대 공대-의대 학제간 융합연구 2019년 과제 선정식 및 2018년도 과제 결과 발표회 개최 hands 2019.07.02 638
1438 서울대 공대, SIGMOD, ICML 등 세계적인 국제 학회에 논문 8편 게재 hands 2019.07.02 546
1437 서울대-포스텍 공동연구팀, 해조류 기반의 친환경 바이오연료 생산 기술 개발 hands 2019.07.02 551
1436 서울대 이경수 교수, 제26회 ESV 미 정부 자동차 안전 기술상 수상 hands 2019.07.02 525
1435 서울대 이재욱·전병곤 교수, USENIX ATC 2019에 논문 게재 hands 2019.07.02 538
1434 서울대 서상우 교수, 2019 APEC 혁신연구교육과학상(ASPIRE) 한국 대표로 선발 hands 2019.07.02 642
1433 윤병동 교수의 창립 회사 원프레딕트, 산업정보 예측 소프트웨어 '가디원' 출시 소식 및 소개 영상 hands 2019.07.02 516
1432 서울대 공대 정은혜 교수, 한국자원공학회 젊은공학자상 수상 hands 2019.07.02 533
1431 서울대 공대, 벨기에 루벤대학교 간 학술교류 및 학생교환 연장 협정 hands 2019.05.23 678
1430 서울대-동경대 공대 단기집중강의 프로그램 성공적 첫 도약 hands 2019.05.23 819
1429 [서울경제] 윤병동 교수, [科技 골든타임놓치면 하청국가 된다] "교수 업적평가에 '창업 요인' 넣어야 학교도 살고 벤처도 산다 hands 2019.05.23 561
1428 '산업데이터'에 미래의 답 있다 hands 2019.05.23 584
1427 버려지는 에너지 모아주는 효율 22배로 높이는 물질 개발 hands 2019.05.23 533
1426 中企 여건에 맞는 '맞춤 스마트팩토리' 도입해야 hands 2019.05.23 584
1425 윤병동교수, 스마트팩토리포럼 발표 hands 2019.05.23 481
Login
College of Engineering Seoul National University
XE Login