College Of Engineering
서울공대 이야기
서울대 컴퓨터공학부 전병곤 교수팀
딥러닝 모델 분산 학습 시스템 Parallax 개발

 

서울대 컴퓨터공학부 전병곤 교수팀 (아래 왼쪽부터) 김수정 박사과정, 전병곤 컴퓨터공학부 교수, 유경인 박사과정, 정주성 박사과정, 박호진 학사과정, 하현민 박사과정, 정은지 박사과정, 이산하 석사과정, 조성우 석사과정
 
서울대 공대는 컴퓨터공학부 전병곤 교수팀이 딥러닝 모델을 자동으로 빠르게 분산 학습하는 시스템인 Parallax를 개발했다고 3일 밝혔다.
 
딥러닝 기술은 이미지 처리, 음성 인식, 자율주행 등 다양한 분야에서 활용되고 있다. 최근 딥러닝 모델의 학습시간을 단축시키기 위해 많은 GPU를 사용하는 분산 학습에 관한 연구가 활발히 이뤄지고 있다.
 
기존의 연구는 희소 텐서 보다는 대부분 밀집 텐서를 사용하는 이미지 처리를 위한 모델에 대한 연구에 치중됐다. 자연어 처리를 위한 모델은 이미지 처리를 위한 모델과는 다르게 사용되는 파라미터의 희소성이 크다. 하지만 기존 분산 학습 시스템들은 이런 파라미터의 희소성을 잘 활용하지 않아 희소 파라미터가 포함된 모델의 분산 학습 성능이 밀집 파라미터만 사용하는 모델에 비해 상대적으로 낮은 편이었다.
 
이에 연구팀이 제안한 Parallax는 파라미터 희소성을 고려한 최적화 기술을 통해 빠르게 분산학습이 가능한 시스템이다. Parallax 시스템에서는 파라미터의 희소성에 따라 밀집 파라미터와 희소 파라미터에 각각 다른 학습 아키텍처 방식을 혼용한 하이브리드 분산 학습 아키텍쳐를 사용한다.
 
또한 머신 별로 미리 데이터를 처리하고 크기를 줄인 뒤 다른 머신에 전송함으로써 머신 간 통신량을 줄이고 크기가 큰 희소 파라미터를 효율적으로 처리하기 위한 파티셔닝을 사용한다. 그 결과 이미지 처리 모델의 성능은 유지하면서 자연어 처리 모델의 성능은 기존 시스템 대비 최대 6배 향상시켰다. 이와 함께 하나의 GPU에서 개발한 모델을 많은 GPU에서 학습할 수 있도록 자동으로 변환하여 사용성을 크게 증가시켰다.
 
해당 연구 결과는 2019년 3월 독일 드레스덴에서 개최될 시스템 분야 최고 우수 학회 중 하나인 EuroSys(European Conference on Computer Systems)에서 발표될 예정이다.


[참고자료]
출판 전 논문 페이지: https://arxiv.org/abs/1808.02621 (최종 출판본은 2019년 3월 공개 예정)
 
 
[그림1] Parallax의 하이브리드 분산 학습 아키텍쳐의 적용 예시. 하나의 모델을 분산 학습 할 때 밀집 파라미터(Dense Variable)는 AllReduce를 이용하는 분산 아키텍쳐를 활용하고, 희소 파라미터(Sparse Variable)는 파라미터 서버 아키텍쳐를 적용한다
번호 제목 글쓴이 날짜 조회 수
1514 서울대 윤병동 교수, 원프레딕트 과기정통부 미래 유니콘 15개 기업에 선정 hands 2020.05.26 35
1513 송현오 교수 연구실, 2020년 SW스타랩에 선정 hands 2020.05.26 33
1512 강유 교수 연구실, 2020년 SW스타랩에 선정 hands 2020.05.26 32
1511 서울공대 안성훈 교수 연구팀, 색깔로 변형된 양을 측정하는 대변형 센서 개발 hands 2020.05.13 53
1510 코로나 위기를 기회로, 아프리카에 비대면 글로벌 교육 협력의 초석을 놓다 서울대 강현구 교수, 남아공 케이프타운대에 온라인 강의 실시 hands 2020.05.13 19
1509 서울대 공대 최인석 교수 공동 연구팀, 머신러닝 이용한 기하 구조 설계…늘어나지 않는 디바이스를 3차원 곡면에 부착 hands 2020.04.14 52
1508 서울대 SNU공학컨설팅센터, 코로나19 대응한 ‘온라인 창업 멘토링’ 시행 hands 2020.04.14 55
1507 서울대 공대 이광근 교수, MIT 프레스(MIT Press)에서 대학원 교재 출판 hands 2020.04.14 39
1506 [인사] 최해천 공학부 정회원(서울대) 국가과학기술자문회의 위원 위촉 hands 2020.03.27 78
1505 서울대 이재진 교수 연구팀, FPGA칩 핵심 소프트웨어 개발…“인텔, 자일링스 뛰어넘는 원천 기술” hands 2020.03.27 76
1504 서울대 자율로봇지능 연구실, 와이닷츠와 기술연구협약으로 치매 예방 AI와 로봇기술 공동개발에 성공 hands 2020.03.17 43
1503 서울대 강현구 교수 ‘이벡스’와 스마트 포스트텐션 공법 라이선스 체결 hands 2020.03.17 35
1502 서울대 나노응용시스템연구센터 AI 진단의료기기 기업 노을 차세대 진단의료기기 신사업 창출 위한 MOU 체결 4차 산업 시대에 걸맞은 진단의료 분야 혁신 불러올 것 hands 2020.03.17 27
1501 서울대 나노응용시스템연구센터 AI 진단의료기기 기업 노을 차세대 진단의료기기 신사업 창출 위한 MOU 체결 4차 산업 시대에 걸맞은 진단의료 분야 혁신 불러올 것 hands 2020.02.27 58
1500 서울대 이병호 교수, 국제정보디스플레이 학회 석학회원(Fellow)선정 hands 2020.02.14 38
1499 서울대 김호영 교수팀, 고든 리서치 컨퍼런스 로보틱스 베스트 포스터상 수상 hands 2020.02.14 41
1498 서울대 이태우 교수팀, 생체 시각 신경을 모사하는 뉴로모픽 전자소자 기반 인공 시신경 개발 hands 2020.02.14 24
1497 서울대 공대/공학전문대학원-아트센터 나비, 인공지능 문화예술 연구 MOU 협약 체결 hands 2020.02.14 28
1496 서울대 공대 허충길 교수팀, LLVM 컴파일러에 새 명령어 추가 hands 2020.01.28 54
1495 화학 산업의 ‘꽃’ 과산화수소 생산 효율 8배 높였다 hands 2020.01.22 28
Login
College of Engineering Seoul National University
XE Login