College Of Engineering
서울공대 이야기
서울대 컴퓨터공학부 전병곤 교수팀
딥러닝 모델 분산 학습 시스템 Parallax 개발

 

서울대 컴퓨터공학부 전병곤 교수팀 (아래 왼쪽부터) 김수정 박사과정, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정
 
서울대 공대는 컴퓨터공학부 전병곤 교수팀이 딥러닝 모델을 자동으로 빠르게 분산 학습하는 시스템인 Parallax를 개발했다고 3일 밝혔다.
 
딥러닝 기술은 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 활용되고 있다. 최근 딥러닝 모델의 학습시간을 단축시키기 위해 많은 GPU를 사용하는 분산 학습에 관한 연구가 활발히 이뤄지고 있다.
 
기존의 연구는 희소 텐서 보다는 대부분 밀집 텐서를 사용하는 이미지 처리를 위한 모델에 대한 연구에 치중됐다. 자연어 처리를 위한 모델은 이미지 처리를 위한 모델과는 다르게 사용되는 파라미터의 희소성이 크다. 하지만 기존 분산 학습 시스템들은 이런 파라미터의 희소성을 잘 활용하지 않아 희소 파라미터가 포함된 모델의 분산 학습 성능이 밀집 파라미터만 사용하는 모델에 비해 상대적으로 낮은 편이었다.
 
이에 연구팀이 제안한 Parallax는 파라미터 희소성을 고려한 최적화 기술을 통해 빠르게 분산학습이 가능한 시스템이다. Parallax 시스템에서는 파라미터의 희소성에 따라 밀집 파라미터와 희소 파라미터에 각각 다른 학습 아키텍처 방식을 혼용한 하이브리드 분산 학습 아키텍쳐를 사용한다.
 
또한 머신 별로 미리 데이터를 처리하고 크기를 줄인 뒤 다른 머신에 전송함으로써 머신 간 통신량을 줄이고 크기가 큰 희소 파라미터를 효율적으로 처리하기 위한 파티셔닝을 사용한다. 그 결과 이미지 처리 모델의 성능은 유지하면서 자연어 처리 모델의 성능은 기존 시스템 대비 최대 6배 향상시켰다. 이와 함께 하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 자동으로 변환하여 사용성을 크게 증가시켰다.
 
해당 연구 결과는 2019년 3월 독일 드레스덴에서 개최될 시스템 분야 최고 우수 학회 중 하나인 EuroSys(European Conference on Computer Systems)에서 발표될 예정이다.


[참고자료]
출판 전 논문 페이지: https://arxiv.org/abs/1808.02621 (최종 출판본은 2019년 3월 공개 예정)
 
 
[그림1] Parallax의 하이브리드 분산 학습 아키텍쳐의 적용 예시. 하나의 모델을 분산 학습 할 때 밀집 파라미터(Dense Variable)는 AllReduce를 이용하는 분산 아키텍쳐를 활용하고, 희소 파라미터(Sparse Variable)는 파라미터 서버 아키텍쳐를 적용한다
번호 제목 글쓴이 날짜 조회 수
1471 서울대 공대 제 6회 추석맞이 전통문화체험 행사 개최 hands 2019.10.10 515
1470 서울대 공대 나용수 교수팀 외부 자기장을 이용한 핵융합 플라즈마 가속 및 안정화 기술 개발 hands 2019.10.10 55
1469 서울대 조선해양공학과 이신형 교수 미국 및 영국 조선학회 석학회원 선정 hands 2019.10.10 57
1468 서울대 항공우주비행체설계 연구실 학생팀 CRANE, 美 수직비행협회 디자인 경연대회 준우승 hands 2019.09.25 115
1467 서울대 컴퓨터공학부 강유 교수 연구진, 인공신경망학회에 논문 게재 hands 2019.09.25 97
1466 서울대 기계항공공학부 고승환 교수 연구팀, 종이 자르기 방법으로 투명 전자피부 센서 개발 hands 2019.09.25 109
1465 서울대 공대 김병창, 유재민씨, 구글 PhD 펠로우십 프로그램 수상자로 선정 hands 2019.09.25 97
1464 서울대 안성훈 교수, 국제생산공학아카데미(CIRP) 석학회원으로 선정 hands 2019.09.11 168
1463 서울대 이신두 교수팀, 광학 기반의 고차원 위조방지 기술 및 광정보 보안 저장매체 개발 hands 2019.09.11 162
1462 서울대 한무영 교수, 남태평양 솔로몬제도에서 빗물 식수화 시설 준공식 개최 hands 2019.09.11 156
1461 서울대 공대, 여름방학 청소년 대상 사회 공헌 프로그램 성공적 개최 hands 2019.09.11 176
1460 서울대 컴퓨터공학부 김석준 박사, 미국 시러큐스 대학교 교수로 임용 hands 2019.09.11 138
1459 서울대 공대, 서울대병원과 함께 혈액 검사만으로 고형암 진단 및 예후 예측 가능한 기술 개발 hands 2019.09.04 235
1458 서울대 박용래 교수팀, 생체 근육의 감각기관을 모사한 소프트 센서 내장된 인공 근육 개발 hands 2019.08.21 372
1457 서울대 공대–현대차, ‘ENNOvation Tank 시즌 Ⅱ’ 참가 기업 모집 hands 2019.08.21 382
1456 日 수출규제 맞선 서울대, 中企 기술자립 돕는다 hands 2019.08.21 378
1455 서울대 공대-해동과학문화재단, ‘SNU 해동 주니어 스타트업 지원 프로그램’ 협약식 hands 2019.08.21 357
1454 서울대 기계항공공학부 고승환 교수팀, 과포화 물질의 상변화 특성을 활용한 스마트 윈도우 개발 hands 2019.08.21 338
1453 서울대학교 글로벌R&DB센터-세계은행(World Bank), 기술 혁신 분야 협력을 위한 MOU 체결 hands 2019.07.31 561
1452 서울대 신종계 교수, 美조선학회 최고 논문상 수상 hands 2019.07.31 592
Login
College of Engineering Seoul National University
XE Login