College Of Engineering
서울공대 이야기
서울대 컴퓨터공학부 전병곤 교수팀
딥러닝 모델 분산 학습 시스템 Parallax 개발

 

서울대 컴퓨터공학부 전병곤 교수팀 (아래 왼쪽부터) 김수정 박사과정, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정
 
서울대 공대는 컴퓨터공학부 전병곤 교수팀이 딥러닝 모델을 자동으로 빠르게 분산 학습하는 시스템인 Parallax를 개발했다고 3일 밝혔다.
 
딥러닝 기술은 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 활용되고 있다. 최근 딥러닝 모델의 학습시간을 단축시키기 위해 많은 GPU를 사용하는 분산 학습에 관한 연구가 활발히 이뤄지고 있다.
 
기존의 연구는 희소 텐서 보다는 대부분 밀집 텐서를 사용하는 이미지 처리를 위한 모델에 대한 연구에 치중됐다. 자연어 처리를 위한 모델은 이미지 처리를 위한 모델과는 다르게 사용되는 파라미터의 희소성이 크다. 하지만 기존 분산 학습 시스템들은 이런 파라미터의 희소성을 잘 활용하지 않아 희소 파라미터가 포함된 모델의 분산 학습 성능이 밀집 파라미터만 사용하는 모델에 비해 상대적으로 낮은 편이었다.
 
이에 연구팀이 제안한 Parallax는 파라미터 희소성을 고려한 최적화 기술을 통해 빠르게 분산학습이 가능한 시스템이다. Parallax 시스템에서는 파라미터의 희소성에 따라 밀집 파라미터와 희소 파라미터에 각각 다른 학습 아키텍처 방식을 혼용한 하이브리드 분산 학습 아키텍쳐를 사용한다.
 
또한 머신 별로 미리 데이터를 처리하고 크기를 줄인 뒤 다른 머신에 전송함으로써 머신 간 통신량을 줄이고 크기가 큰 희소 파라미터를 효율적으로 처리하기 위한 파티셔닝을 사용한다. 그 결과 이미지 처리 모델의 성능은 유지하면서 자연어 처리 모델의 성능은 기존 시스템 대비 최대 6배 향상시켰다. 이와 함께 하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 자동으로 변환하여 사용성을 크게 증가시켰다.
 
해당 연구 결과는 2019년 3월 독일 드레스덴에서 개최될 시스템 분야 최고 우수 학회 중 하나인 EuroSys(European Conference on Computer Systems)에서 발표될 예정이다.


[참고자료]
출판 전 논문 페이지: https://arxiv.org/abs/1808.02621 (최종 출판본은 2019년 3월 공개 예정)
 
 
[그림1] Parallax의 하이브리드 분산 학습 아키텍쳐의 적용 예시. 하나의 모델을 분산 학습 할 때 밀집 파라미터(Dense Variable)는 AllReduce를 이용하는 분산 아키텍쳐를 활용하고, 희소 파라미터(Sparse Variable)는 파라미터 서버 아키텍쳐를 적용한다
번호 제목 글쓴이 날짜 조회 수
1420 서갑양 교수, 게코도마뱀 발바닥 섬모, 나노기술로 완벽 모사 lee496 2009.05.22 15118
1419 곽승엽, 조맹효, 문병로, 성영은, 박형동, 박종헌 교수 신양공학학술상 수상 lee496 2009.05.22 13783
1418 서울대학교 전기공학부 고형석 교수 - 의류 시뮬레이션 yujin1313 2010.10.31 11379
1417 컴퓨터공학부 민상렬교수님 2010년도 한국공학한림원 '젊은 공학인상' 수상 icap21 2010.03.31 11169
1416 전기컴퓨터공학부 이상욱 교수 대한민국 과학기술훈장 도약장 수상 lee496 2009.05.22 10835
1415 생체 신장 모사 칩 개발 신장칩 (Kidney on a chip)으로 생체외 환경에서 신장 기능 연구 가능 lee496 2010.01.06 10547
1414 전기공학부 서종모 교수(의사 가운 벗고 공대로 간 교수님) [3] yujin1313 2010.10.31 10502
1413 해동학술관 건립기공식 열려- 김정식 해동과학문화재단 이사장, 35억 기부 - lee496 2009.12.17 10343
1412 서광석 교수팀, 15m, 610GHz급 갈륨비소계 나노트랜지스터(mHEMT) 개발에 성공 sumit05 2008.02.12 9894
1411 정관수, 고상근 교수, 현대·기아 우수산학연구상 수상 lee496 2009.05.22 9616
1410 김승조 교수, 신개념비행체 ‘사이클로콥터’로부터 고효율 풍력/수력 발전 시스템 개발 lee496 2009.05.22 9539
1409 서울대공대, 세계 최대 석유개발 전문 업체인 슐럼버저와 산학협력 lee496 2009.05.22 9531
1408 글로벌 獨 SAP, 서울대 실험실 벤처 인수하여 한국에 R&D 센터 만든다 lee496 2009.05.22 9243
1407 김병현, 윤우석, 이현순, 임형규 2008년 자랑스런 서울대 공대 동문으로 선정 lee496 2009.05.22 9214
1406 신양공학학술상 시상식”-김성철, 김용환, 김영운, 김재정, 박준범, 서갑양 교수 lee496 2009.11.09 8908
1405 이후철, 신창수 교수, 훌륭한공대교수상 수상 lee496 2009.05.22 8828
1404 성영은 교수 ,저가(低價)로 생산가능한 연료전지 원천기술 최초 개발 lee496 2009.05.22 8747
1403 박용태 교수 기술혁신경영분야, 세계 1% Top Class 연구자로 선정 lee496 2009.05.22 8573
1402 서울대 권동일 교수팀 '계장화 압입기술' ISO 표준 채택 effort31 2010.02.22 8520
1401 WCU 해외학자 첫 강연, 최적설계 분야 최고 권위자인 최경국 교수 lee496 2009.05.22 8474
Login
College of Engineering Seoul National University
XE Login