College Of Engineering
서울공대 이야기
서울대 컴퓨터공학부 전병곤 교수팀
딥러닝 모델 분산 학습 시스템 Parallax 개발

 

서울대 컴퓨터공학부 전병곤 교수팀 (아래 왼쪽부터) 김수정 박사과정, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정
 
서울대 공대는 컴퓨터공학부 전병곤 교수팀이 딥러닝 모델을 자동으로 빠르게 분산 학습하는 시스템인 Parallax를 개발했다고 3일 밝혔다.
 
딥러닝 기술은 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 활용되고 있다. 최근 딥러닝 모델의 학습시간을 단축시키기 위해 많은 GPU를 사용하는 분산 학습에 관한 연구가 활발히 이뤄지고 있다.
 
기존의 연구는 희소 텐서 보다는 대부분 밀집 텐서를 사용하는 이미지 처리를 위한 모델에 대한 연구에 치중됐다. 자연어 처리를 위한 모델은 이미지 처리를 위한 모델과는 다르게 사용되는 파라미터의 희소성이 크다. 하지만 기존 분산 학습 시스템들은 이런 파라미터의 희소성을 잘 활용하지 않아 희소 파라미터가 포함된 모델의 분산 학습 성능이 밀집 파라미터만 사용하는 모델에 비해 상대적으로 낮은 편이었다.
 
이에 연구팀이 제안한 Parallax는 파라미터 희소성을 고려한 최적화 기술을 통해 빠르게 분산학습이 가능한 시스템이다. Parallax 시스템에서는 파라미터의 희소성에 따라 밀집 파라미터와 희소 파라미터에 각각 다른 학습 아키텍처 방식을 혼용한 하이브리드 분산 학습 아키텍쳐를 사용한다.
 
또한 머신 별로 미리 데이터를 처리하고 크기를 줄인 뒤 다른 머신에 전송함으로써 머신 간 통신량을 줄이고 크기가 큰 희소 파라미터를 효율적으로 처리하기 위한 파티셔닝을 사용한다. 그 결과 이미지 처리 모델의 성능은 유지하면서 자연어 처리 모델의 성능은 기존 시스템 대비 최대 6배 향상시켰다. 이와 함께 하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 자동으로 변환하여 사용성을 크게 증가시켰다.
 
해당 연구 결과는 2019년 3월 독일 드레스덴에서 개최될 시스템 분야 최고 우수 학회 중 하나인 EuroSys(European Conference on Computer Systems)에서 발표될 예정이다.


[참고자료]
출판 전 논문 페이지: https://arxiv.org/abs/1808.02621 (최종 출판본은 2019년 3월 공개 예정)
 
 
[그림1] Parallax의 하이브리드 분산 학습 아키텍쳐의 적용 예시. 하나의 모델을 분산 학습 할 때 밀집 파라미터(Dense Variable)는 AllReduce를 이용하는 분산 아키텍쳐를 활용하고, 희소 파라미터(Sparse Variable)는 파라미터 서버 아키텍쳐를 적용한다
번호 제목 글쓴이 날짜 조회 수
1420 서울대 권성훈 교수팀 정확한 DNA 변이 분석 위한 염기서열 분석 오류 검증 기술 개발 lee496 2019.03.07 205
1419 서울대 공대 한무영 교수팀 제1차 Leaving No One Behind 세계 정상회의에서 Innovation Award 수상 lee496 2019.03.05 197
1418 서울대 공대 최고산업전략과정(AIP) 30주년 기념식 lee496 2019.03.05 203
1417 서울대 이병호 교수 연구실 유동헌, 이승재 학생 美 AR/VR/MR 디자인 챌린지 대회 수상 lee496 2019.03.05 196
1416 서울대공대-대덕전자 회장(해동과학문화재단 김정식 이사장) 해동첨단공학기술원(가칭) 건립 및 운영 기금 500억원 기부금 출연 lee496 2019.03.05 100
1415 서울대 허은녕 교수 한국자원경제학회 회장 선출 lee496 2019.03.05 78
1414 서울대 공대 빗물연구센터, 남태평양의 80개 섬나라 바누아투와 빗물식수화 협약 맺어 lee496 2019.02.18 127
1413 서울대 기계항공공학부 염제완, 강승훈 학생 제8회 EDISON SW 활용 경진대회 구조동역학 부문 대상 수상 lee496 2019.02.18 136
1412 서울대 인간중심 소프트 로봇 기술 연구 센터와 카이스트 공동 연구팀 착용형 손 로봇을 위한 머신 러닝 기반 의도 예측 기술 개발 lee496 2019.02.01 150
1411 서울대 실전문제연구팀, 전국 X-Corps 페스티벌 대상 수상 lee496 2019.02.01 143
1410 "공학교육·건축교육 2개 인증 동시에… 세계적인 건축교육의 모델" lee496 2019.02.01 123
1409 서울대 박홍근 교수 미국 텍사스대 Academy of Distinguished Alumni 회원 선정 lee496 2019.02.01 135
1408 서울대학교 공과대학 공학 진로탐색 프로그램 개최 안내 도현 2019.01.10 696
» 서울대 컴퓨터공학부 전병곤 교수팀 딥러닝 모델 분산 학습 시스템 Parallax 개발 lee496 2019.01.14 287
1406 서울대 홍용택 교수팀 신축 회로 상 안정적인 액체 금속-고체 금속 간 접합 개발 lee496 2019.01.14 244
1405 서울대 공학전문대학원 석사과정 이충구 2018 신기술실용화 촉진대회 국무총리 표창 lee496 2018.12.31 265
1404 서울대 김성재 교수팀 타겟 유전자 검출하는 새로운 나노전기수력학적 검출법 세계 최초 개발 lee496 2018.12.20 227
1403 서울대 전병곤 교수팀, 쉽고 빠른 딥러닝 모델 개발 시스템 ‘JANUS’ 개발 lee496 2018.12.20 226
1402 서울대 신용대 교수 세포 내 상분리를 이용한 유전체 구조 변환 기술 개발 lee496 2018.12.20 227
1401 서울대 김윤영 교수팀, 초고감도 진동·초음파 센싱 기술 개발 lee496 2018.12.17 218
Login
College of Engineering Seoul National University
XE Login