Deep Learning for CT

Stanford AI for Healthcare

Deep Learning for CT Scans

우리가 데이터를 어떻게 다룰에 따라 두가지의 다른 모델이 존재한다.

Single image processing: This is done using simple 2D convolutional networks like DenseNet and ResNet과 같이 2차원의 컨볼루션으로 구현이 가능하다. 결과들은 여기 있다.
Series / Multi-image processing: 이미지들을 차곡차곡 쌓아서 3D image 혹은 3D point cloud 라고 하는 입체를 만든다. 이것은 3차원의 컨볼루션으로 구현이 가능하다. 또는 이미 훈련되어진 DenseNet과 RNN, LSTM을 함께 활용할 수 있다.

Current Work

2D Convolutional Neural Networks은 개별의 CT 스캔을 사용하여 폐암을 감지하는데 표준 모델로 사용되어 왔다. 그 중에 한 예시는 여기서 Github Repo 확인할 수 있다.
역사적으로, CT 스캔은 PET 스캔과 함께 폐암의 병변을 판독하기 위해 사용되었다. 2017년 Krzysztof Pawełczyk et al. 에서는 병변을 확인하기 위해 3D Convolutional Networks를 사용하였다. 이 논문에서는 데이터의 불균형성을 동적으로 관리하는데 이는 의료 데이터셋을 다룰 때 매우 흔한 기법이다. 매 에폭이 끝난 후 테스트 셋을 사용하여 각 클래스별 정확도를 계산한다. 그리고 비교적 낮은 정확도를 가진 클래스를 다음 훈련 시 더 많은 비중으로 넣어준다.
Lung Nodule Detection Challenge (LUNA16) 은 16년도에 개최된 대회는 CT 폐의 혹을 판독하는 알고리즘을 개발하는 대회다. 탑 랭킹 모델의 대부분은 CNN을 사용하였다. 또한 하나의 성공 비결은 전문가의 도움을 받을 수 있는지이다. 병변의 위치를 이해하는 것, 방사 스캔에 대해서 이해하는 것 또는 관련된 의학 지식을 얻는 것은 모델을 디자인하는데 좋은 선택을 할 수 있고 좋은 성능에 영향을 미친다. 대부분의 팀이 비슷한 모델을 사용하였고, 그것은 pre-trained CNN 구조이다. Sample code to work with the LUNA16 dataset: Github Repo
Monika Grewal et al. from Parallel Dots, 2018년에 개재된 이 논문은 RADNet (Recurrent Attention DenseNet)을 설명한다. DenseNet 구조를 사용ㅌ하여 특징을 뽑고, 양방향 LSTM에 전달된다. 이미지 주변의 컨텍스트를 알고 있어 더 높은 성능을 가져올 수 있었다.
CT에서 중요한 부분 중 하나가 세그멘테이션이다. Patrick Christ et al. [11] [12] 은 간과 암 세그멘테이션에 Conditional Random Fields (CRFs) and Cascaded Fully Convolutional Networks (CFCNs) 을 사용하여 좋은 성능을 보이었다. CRFs 는 의학 이미지 세그멘테이션 분야에서 반세기동안 유명세를 떨쳤다. 그리고 지금은 3D variations 과 함께 쓰이고 있다. 다른 모델로 U-Net [13](for 2D image slices) V-Net [14](for 3D image volumes) 이 있고, 이미지 세그멘테이션에서 놀라운 성능을 보이고 있다.

Challenges

A Survey on Deep Learning in Medical Image Analysis, 이곳에서도 이야기하듯이 의학이미지를 다루는 모델에 있어서 pre-trained model은 중요하다.
The data from CT scans is very high dimensional. Generally each series contains around 70-300 high-resolution images, which leads to a really large input dimensionality. However, the information which is useful for discriminating abnormal from normal trials can be minuscule in comparison and sometimes is present only in a small subset of the data. One way to tackle this is by using Gaussian Mixture Models to pinpoint viable regions, however this is still an open and very important problem.

The Future of Deep Learning with CT scans

In the last few years, novel architectures like U-Net, V-Net, Cascaded fully convolutional networks etc have shown to perform much better on segmentation and classification tasks when working with CT scan images. There is immense opportunity for new models to be developed to tackle some of the challenges of training with CT data. In addition, various techniques that have been used in other fields to process similar formats of data can be used to build models which perform better on medical imaging datasets:

VoxNet [5]: This work goes in depth on using 3D convolutional networks for deep representations of 3D volumetric point cloud input data for object recognition and classification tasks. This provides a good baseline for working on 3D data
OctNet [6]: It hierarchically and dynamically partitions the input into sections of different sizes, based on the amount of detail that they contain. This can potentially pay more attention to intricate sections containing more details, which could be helpful in some tasks like detecting nodules and lesions.

Static resolution of the input using a DenseConvNet vs using the OctNet architecture.

Conclusion

Since 2016, a lot of papers have come up using publicly available datasets consisting of CT scans of the abdomen, chest, and brain. However, a majority of them have been working with CT scans using individual image slices with 2D CNNs. Working with the entire 3D series is an area which is being intensely explored right now. There is potential for applying various other model architectures to tackle these datasets in their full form, and also using machine learning for other diagnostic and detection tasks. As we develop better models, get access to more data, and increase our computational capacities, it will be exciting to see how these tools can aid radiologists and medical practitioners in providing better diagnoses.

Lee, MinYe

Deep Learning for CT