U-Net

기계 학습과 데이터 마이닝
패러다임 지도 학습 비지도 학습 준지도 학습 자기 지도 학습 강화 학습 메타 학습 온라인 기계 학습 배치 학습 커리큘럼 학습 규칙 기반 기계 학습 신경-기호 AI 뉴로모픽 엔지니어링 양자 기계 학습
문제 분류 생성 모델링 회귀 군집화 차원 축소 밀도 추정 이상 탐지 데이터 정제 AutoML 연관 규칙 의미 분석 구조적 예측 특징 공학 특징 학습 순위 학습 문법 유도 온톨로지 학습 멀티모달 학습
지도 학습 (분류 • 회귀) 도제 학습 결정 트리 앙상블 배깅 부스팅 랜덤 포레스트 k-NN 선형 회귀 나이브 베이즈 인공 신경망 로지스틱 회귀 퍼셉트론 상관 벡터 머신 (RVM) 서포트 벡터 머신 (SVM)
군집화 BIRCH CURE 계층적 k-평균 퍼지 기댓값 최대화 (EM) DBSCAN OPTICS 평균 이동
차원 축소 인자 분석 CCA ICA LDA NMF PCA PGD t-SNE SDL
구조적 예측 그래프 모형 베이즈 네트워크 조건부 무작위장 은닉 마르코프 모형
이상 탐지 RANSAC k-NN 국소 특이점 요인 고립 포레스트
인공 신경망 오토인코더 딥 러닝 순방향 신경망 순환 신경망 LSTM GRU ESN 리저버 컴퓨팅 볼츠만 머신 제한된 GAN 확산 모델 SOM 합성곱 신경망 U-Net LeNet 알렉스넷 딥드림 신경장 신경 방사장 물리정보 신경망 트랜스포머 비전 맘바 스파이킹 신경망 멤트렌지스터 ECRAM
강화 학습 Q 러닝 정책 경사법 SARSA 시간차 학습 (TD) 다중 에이전트 셀프 플레이
인간 참여 학습 액티브 러닝 크라우드소싱 휴먼인더루프 기계적 해석 가능성 RLHF
모델 진단 결정계수 혼동 행렬 러닝 커브 ROC 곡선
수학적 이론 커널 머신 편향-분산 트레이드오프 계산학습이론 경험적 위험 최소화 오캄 학습 PAC 러닝 통계적 학습이론 VC 이론 위상 수학적 딥 러닝
회의/저널 AAAI ECML PKDD NeurIPS ICML ICLR IJCAI ML JMLR
관련 문서 인공지능 용어집 기계 학습 연구를 위한 데이터 세트 목록 컴퓨터 비전 및 이미지 처리 데이터 세트 목록 기계 학습 개요
v t e

U-Net은 영상 분할을 위해 개발된 합성곱 신경망이다. 이 신경망은 완전 합성곱 신경망을 기반으로 하며, 더 적은 훈련 영상으로 더 정확한 분할을 얻을 수 있도록 구조가 수정 및 확장되었다. U-Net 구조를 사용하여 512 × 512 영상 분할은 최신 (2015년) GPU에서 1초 미만이 소요된다.

U-Net 구조는 반복적 영상 잡음 제거를 위한 확산 모델에서도 사용되었다. 이 기술은 DALL-E, Midjourney, Stable Diffusion과 같은 많은 현대 영상 생성 모델의 기반이 된다.

설명

U-Net 구조는 이른바 "완전 합성곱 신경망"에서 파생되었다.

주요 아이디어는 일반적인 수축 네트워크에 풀링 작업이 업샘플링 연산으로 대체되는 연속적인 레이어를 보충하는 것이다. 따라서 이 레이어들은 출력의 해상도를 증가시킨다. 이후의 합성곱 레이어는 이 정보를 기반으로 정확한 출력을 조합하는 것을 학습할 수 있다.

U-Net의 중요한 수정 사항 중 하나는 업샘플링 부분에 많은 수의 특징 채널이 있다는 것이다. 이는 네트워크가 맥락 정보를 더 높은 해상도 레이어로 전파할 수 있게 한다. 결과적으로 확장 경로는 수축 부분과 대칭을 이루며, U자형 구조를 만든다. 이 네트워크는 완전 연결 레이어 없이 각 합성곱의 유효한 부분만 사용한다. 영상 테두리 영역의 픽셀을 예측하기 위해 누락된 맥락은 입력 영상을 미러링하여 외삽된다. 이 타일링 전략은 네트워크를 큰 영상에 적용하는 데 중요하다. 그렇지 않으면 해상도가 GPU 메모리에 의해 제한되기 때문이다. 최근에는 의료 영상 분할을 위한 수용장 기반 U-Net 모델에 대한 관심도 있었다.

네트워크 구조

네트워크는 U자형 구조를 부여하는 수축 경로와 확장 경로로 구성된다. 수축 경로는 반복적으로 합성곱을 적용하고, 그 뒤에 렐루 (ReLU)와 최대 풀링 연산을 수행하는 전형적인 합성곱 네트워크이다. 수축 과정에서 공간 정보는 감소하는 반면 특징 정보는 증가한다. 확장 경로는 업컨볼루션 시퀀스를 통해 특징 정보와 공간 정보를 결합하고, 수축 경로에서 얻은 고해상도 특징과 연결한다.

응용 분야

U-Net은 뇌 영상 분할 (BRATS) 및 간 영상 분할 ("siliver07")과 같은 생의학 영상 분할에 많은 응용 분야가 있으며, 단백질 결합 부위 예측에도 사용된다. U-Net 구현은 재료의 마이크로그래프 분석과 같은 물리 과학 분야에서도 사용되고 있다. U-Net의 변형은 의료 영상 재구성을 위해서도 적용되었다. U-Net의 일부 변형 및 응용 분야는 다음과 같다:

1. U-Net을 이용한 픽셀별 회귀 및 팬샤프닝에의 응용;
2. 3D U-Net: 희소 어노테이션으로부터 밀집된 부피 분할 학습;
3. TernausNet: 영상 분할을 위한 ImageNet 사전 훈련 VGG11 인코더가 있는 U-Net.
4. 형광 염색 추정을 위한 이미지 간 변환
5. 단백질 구조의 결합 부위 예측.

역사

U-Net은 2015년에 올라프 론네베르거(Olaf Ronneberger), 필립 피셔(Philipp Fischer), 토마스 브록스(Thomas Brox)에 의해 만들어졌으며, 논문 "U-Net: Convolutional Networks for Biomedical Image Segmentation"에서 발표되었다. 이는 2014년에 에반 셸하머(Evan Shelhamer), 조나단 롱(Jonathan Long), 트레버 대럴(Trevor Darrell)이 발표한 FCN 논문 "Fully convolutional networks for semantic segmentation"의 개선 및 발전이다.

각주

구현체

• Tensorflow Unet by J Akeret (2017)
• U-Net source code from Pattern Recognition and Image Processing at Computer Science Department of the University of Freiburg, Germany.