"기계"는 종종 삶을 좀 더 편리하고 효율적으로 살아갈 수 있도록 도와주는 방법 혹은 도구로 정의된다. 많은 공학 (engineering) 분야에서 이러한 도구를 최적화하기 위해 많은 연구들이 수행되고 있으며, 특히, 딥러닝 방법론이 공학 분야에 어떤 식으로 더욱 효율적인 도구를 개발하기 위해 적용되는지 본 리뷰 논문을 통해 소개하려고 한다.

본 수업을 수강하는 대부분의 data scienctists의 peer reviewer들 위해, 공학 분야에 사용되는 물리적인 방정식에 대한 세부적인 내용은 최대한 줄이고, "딥러닝 알고리즘의 공학 분야에 적용 가능성"을 중점으로 본 리뷰를 이어가려고 한다. 우선, 현실적으로 가장 와닿는 예시로써, 아래 그림 1과 같이, 대부분의 사람들은 하루를 시작하기 전에 기상, 날씨 혹은 미세먼지가 얼마나 높은지 검색을 해보곤 한다. 이는 특정 지역에서 기계 장비 (sensor)의 측정 (measurement)을 통해 얻어진 풍량, 온도, 기압과 같은 데이터 정보들을 종합한 예보를 통해 인간의 삶을 자연 재해로 부터 대비할 수 있게 만들어 준다.

하지만, 이러한 기계 장비는 정확도가 높고 정밀한 데이터를 얻기 위해 다양하고 복잡한 전자 장비를 동반하기 때문에 큰 설치 비용이 발생한다. 이에 따라, 관심 있는 지역에 공간적으로 거리가 먼 (Sparse) 센서 장비 설치를 하고, 특정 위치에서 측정된 값을 넓은 영역을 대표하는 방식을 채택하여 해상도가 적은 (low-resolution) 결과를 제공한다. 즉, 사람이 활동하고 있는 해상도가 높은 (high-resolution) 다양한 공간 내 정보를 조밀하게 배치된 센서 장비를 통해 얻는 것은 현실적으로 큰 비용 문제가 발생한다.

이러한 비용-공간 해상도 사이 절충 (trade-off) 문제를 해결하기 위해, 인공신경망 (neural-network) 기반 방법론이 저해상도 데이터와 고해상도 데이터 사이 비선형 (nonlinear) 관계성을 연결하는데 효율적이고 성공적인 결과를 보이는 도구로 증명되고 있다. 딥러닝 방법론이 저해상도와 고해상도 사이 모델링에 어떻게 적용되는지 설명하기 위해 아래 그림 2을 통해 나타내고자 한다. 대표적으로, 딥러닝 모델의 입력은 관심 있는 지역에 공간적으로 거리가 먼 (Sparse) 센서 장비 정보이고 딥러닝 모델의 출력은 해상도가 높은 (high-resolution) 다양한 공간 내 정보로 설정하여 두 사이 간 비선형적 관계를 노드와 레이어를 갖는 복잡한 neural network 조합을 통해 학습하고 새로운 저해상도 정보로 부터 고해상도 센서 정보를 예측한다 [1].

더욱 구체적으로, 저해상도-고해상도 관계를 모델링하기 위해, 그림과 같이 크게 (1) residual block와 (2) super-resolution block 를 갖는Deep learning architecture [2]를 제안한다. 저해상도 이미지를 deep learning model에 입력으로 사용하고, Residual block을 반복적으로 연결하여 입력 및 출력 사이 공간적 정보 손실을 최소화한다. 이 후, 학습 변수를 갖는 up-sampling convolutional operation을 residual block 을 구조 끝단 활용하여 고해상도 output 차원까지 복구하는 기법이 이용되고 있다. 

이는 기존 저해상도에서 고해상도로 복구하는 일반적인 선형 interpolation 기법에 비교하여 convolution 연산을 통해 비선형성을 맵핑할 수 있기 때문에, 놀라운 고해상도 복구 결과를 아래 그림 3과 같이 보인다.

센서 저해상도-고해상도 문제에 대해 딥러닝 방법론이 성공적으로 적용되고 있지만, 앞서 설명한 기상 예보와 같은 센서 어플리케이션을 위한 딥러닝 방법론을 적용하기엔 다음과 같은 두 가지 한계점이 여전히 존재한다.

 (1) 딥러닝 학습을 위한 고해상도 데이터 획득 문제: 다량의 데이터가 존재한다면, 앞서 설명한 딥러닝 방법론이 성공적으로 다양한 저해상도-고해상도 문제 (미세 현미경 정확도 보정, 해수면 온도 측정 및 유체 난류 해상도 문제 등)에 적용할 수 있지만, 공학 분야에 이용되고 있는 센서들을 통해 조밀한 고해상도 딥러닝 학습 데이터를 확보 하는 것은 매우 큰 비용이 발생한다.
   
 (2) 딥러닝 학습을 위한 고해상도 데이터 관리 문제: (1)의 문제를 해결할 수 있더라도, 고해상도로 구축된 센서들은 예기치 못한 다양한 환경 조건으로 인해 기기가 무작위로 On-off되거나 움직임이 필요한 센서로 인해 일관성 있고 정확한 고해상도 데이터를 확보하는 것이 매우 어려운 문제를 제공한다.

본 논문에서는 딥러닝 학습 과정에서 고해상도의 측정 데이터 필요없이 저해상도-고해상도 측정 데이터 관계를 모델링 가능한 획기적인 딥러닝 프레임 워크를 제안한다. 제안된 방법론의 주된 장점은 딥러닝 모델이 학습 과정에서 오직 공간에 무작위로 spase하게 분포한 센서만을 이용하여 저해상도-고해상도 간 관계를 모델링 할 수 있다는 것이다. 해당 프레임 워크는 무작위로 분포한 데이터만을 활용하여 앞서 설명한 데이터 관련 문제를 해결하기 때문에 randomly seeded super-resolution GAN (RaSeedGAN)이라고 명칭되고, 제안하는 프레임 워크의 우수성을 검증하기 위해 3가지 예측 task (유체 유속 시뮬레이션, 지구 해수면 온도 및 유체 유속 측정 문제)를 채택한다. 자세한 딥러닝 구조에 대한 설명, 메커니즘 및 예측 결과들은 아래와 같이 설명하고자 한다.

(1) Initial layer : 먼저 low-resolution fields가 generator로 입력되는데, filter size 9 × 9 그리고 64 feature maps을 갖는 convolutional layer가 이용되고, parametric rectified linear unit (ReLU) 활성화 함수가 convolutional operation에 의해 추출된 정보를 포착한다. <br>
   
(2) Medium layer : 초기 레이어에 의해 추출된 정보는 16개의 residual blocks [2] 을 통해 보다 높은 비선형적 관계에 대해 모델링한다. 이떄 residual block은 3x3 kernel을 동반한 64개의 feature map 을 이용한다. 여기서, 저해상도를 증가시키기 전에, skip-connection sum 레이어가 residual blocks의 출력 부분 그리고 initialization layers의 출력 부분 사이에 적용된다. 이 후애, [2]에 제안된 subpixel convolution layer 가 generator 출력 만큼 증가 시키기 위해 사용된다. 최종적으로 생성되는 spase-high resolution ouput은 비선형 보간 기법을 이용하여 sparse sample과 sample 사이 데이터를 공간적으로 보간하여 관심 있는 최종적 고해상도 데이터를 복구할 수 있다.
<br> <br>

본 논문에서 제안하는 값비싼 고해상도 데이터를 학습과정에서 요구하지 않는 RaSeedGAN의 우수성을 검증하기 위해, 비선형성과 변동성을 포함하고 있는 3가지 실험 및 시뮬레이션 데이터를 이용한다. 우수성 검증을 위해, 아래 그림과 같이 (1) Pinball flow numerical simulation, (2) NOAA sea surface temperature database (3) particle-image velocimetry (PIV) experiment 와 같은 세 가지 예시에 대해 검증하고, 보다 자세한 numerical simulation 조건은 해당 리뷰에서 딥러닝 알고리즘에 대한 high-quality 정보를 집중하기 위해 생략한다. 세 가지 예시는 서로 다른 image 차원을 갖는다. (1),(2),(3)은 각각, 512 x 512, 720 × 1,440, 128 × 128 크기로 서로 다른 이미지 사이즈를 갖고 해당 예측 task에 마다 딥러닝 모델을 독립적으로 학습하여 예측 성능에 대해 검증한다. 또한, 서로 다른 task이지만 본 알고리즘의 일반화 능력을 검증하기 위해 무작위로 추출된 sparse한 고해상도 데이터로 부터 특정 직사각형 크기 픽셀마다 평형하게 이동하여 직사각형 공간 내 10개의 센서를 평균화하는 작업을 통해 32 x 32 bin size를 갖도록 input feature를 가공한다. 

그림 6은 세 가지 예측 task에 대해 딥러닝 모델이 고해상도 데이터를 학습에 이용하지 않고, 저해상도-고해상도 사이 관계를 예측할 수 있는지에 대해 비교한 결과이다. 그림 6의 첫번째 열에는 평균화 작업을 거친 입력 저해상도 필드, 두번째 열은 "Sparse HR reference"라고 하는 특징화된 고해상도 필드, 세번째 그리고 네번째 열은 RaSeed GAN이 이를 예측하고 변환환 결과와 타겟 필드들을 나타낸다. 여기서 주목할 점은, 전체 고해상도 데이터는 딥러닝 모델 능력 테스트를 위해 그림 6의 마지막 열에 포함되어 있지만 훈련 중 직접적으로 사용되지는 않았다는 점이다. 그림 6의 각 task에서 알 수 있듯이, RaSeedGAN은 원기둥 주변과 원기둥 부근의 난류 발달 지역을 정확하게 복구할 수 있을 뿐만 아니라, 높은 수준의 디테일로 온도 실험 데이터를 복구할 수 있다.

본 연구에서는 무작위로 공간에 배치된 센서 데이터로부터 관심 있는 영역의 고해상도 센서 측정 결과들을 추정하기 위한 RaSeedGAN 프레임워크를 제안한다. 해당 프레임 워크의 가장 큰 장점이자 방법론적 접근 요약은 (1) 무작위로 공간에 배치된 센서 데이터들을 특정 구간 센서 개수마다 평균화하여 저해상도 입력 feature를 만드는 것. (2) 저해상도 입력 feature로 부터 듬성듬성 배치된 해당 센서 데이터를 복구하는 것. (3) 예측된 결과를 보간하여 다시 공간적으로 매우 세부적으로 기술된 온도/유속 고해상도 데이터를 얻는 것에 있다. 여기서 GAN은 듬성듬성 배치된 해당 센서 데이터들을 예측하는 generator에 대해 실제 결과와 매우 유사한 생성 field를 예측할 수 있게 했다. 특히, 본 연구는 유체 흐름 시뮬레이션, 해양 표면 온도 분포 측정 및 입자-이미지 속도측정 데이터에서 검증되었다. 이러한 프레임 워크는 고해상도의 데이터를 훈련 자체에 필요하지 않기 때문에 비용-효율적으로 많은 다양한 분야에 적용될 수 있을 것으로 생각한다.