Presentation

Research Paper RESEARCH!..??

석면폐증 또는 폐 CT 사진을 이용한 그래프 최근 논문 리스트

석면폐증 또는 폐 CT 사진을 이용한 딥러닝 최근 논문 리스트

https://www.dkfz.de/en/roentgenbildgebung/ct/ct_conference_contributions/DeepLearningInCT.pdf?m=1535345622

Graph Classification Data

• 그래프 변환 데이터

  • GRAPH 속성 정리 (석면폐증 vs 정상 )

    • DIAMETER

Graph Data Set 으로의 변환

Node 의 Feature => x, y, z 위치정보와 Node 의 색 (normalization)

• 그래프를 사용한 이유

Graph Isomorphism

• Graph Classification 문제를 풀기 위해서는 두 그래프가 서로 다른지를 구별할 수 있어야 한다. 즉, Graph Isomorphism 문제를 해결할 수 있어야 한다.

• Graph Isomorphism 설명

  • of nodes

  • of edges

  • structural similarity

• GIN 은 얼마나 Graph Isomorphism 을 해결할 수 있을까?

  • 현존하는 Wel 만큼 강함.

  • PROOF FOR THEOREM 3 정리하기

• 따라서 우리는 GIN 을 가지고 Graph Classification Task 를 풀고자함.

• Graph Classification (참고 GIN 논문 2) 문제 정의(Problem Definition) 은 다음과 같음.

  • 그래프 G = (V,E) 일때, $\{G_1, G_2, ...G_n \}\subseteq G$ 이고, 그래프 라벨의 집합 $\{y_1, y_2, ...y_n \}\subseteq Y$ 일 때, 그래프를 표현하는 벡터 $h_G$ 가 인풋으로 들어갔을 때, $g(h_G) = y_G$ 그래프에 해당하는 라벨이 나올 수 있도록 학습한다.

  • $given\ a\ set\ of\ graphs\ \{G_1, G_2, ...G_n \}\subseteq \mathbb{G}\ and\ their labels\ \{y_1, y_2, ...y_n \}\subseteq \mathbb{Y}$

• $g(h_G) = y_G$ 를 하기 위해서는 비슷한 그래프는 그래프를 표현하는 벡터상에서도 가깝게 위치하여야 한다.

• Similarity Function ??? 강의듣기 Node Embedding!

• 과연 비슷한 그래프는 같은 label 일까? Graph Classification 문제와 Graph Isomorphism 문제는 같지 않다. Graph Isomorphism 은 저 벡터상의 위치가 가까우면 동형이라고 판단할 수 있는데, Graph Classification 은 Graph에 "Label" 이란 요소를 추가하여, 위치가 아닌 같은 Label 로 분류가 되어야 한다.

• GIN 을 사용한 이유??

Node Embedding

• 그래프를 구별하기 위해서는 노드 임베딩은 INJECTIVE 를 만족하여야 한다. INJECTIVE 란 일대일 대응이며, 일대일 대응일 때, 정의역의 다른 원소는 다른 공역을 갖는다.

• GIN 설명 일대일함수 증명

• 피처 변해가는 과정 매 이터레이션 마다? CHAPTER 2 참조

Graph Embedding

• Node Embedding 을 기반으로 서로 다른 그래프를 다른 벡터 공간으로 표현할 수 있다. 즉, 이 말은 동형문제를 해결할 수 있다는 것을 의미한다.

• READOUT 함수 정의 넣기 최종노드의 피처

GIN (Graph Isomorphism Network) 쥔[Xu+ICLR'2019]

injective multi-set function

GIN 은 일대일 함수(injective) 를 찾았다. 다음이 일대일함수라는 것은 논문 Appendix 에 있는 증명을 찾아본다.

• $h(x) = \sum_{x\in X}f(x)$

• $h(c, X) = (1+\epsilon)f(c) + \sum_{x\in X}f(x)$

따라서 위 함수가 일대일 함수로 증명이 되었기 때문에 다음 식은 permutation invariant 하다. 즉, permutation (순서) 즉 벡터의 순서와 상관없이 같은 값이 출력된다. x 는 노드 피처 ! 노드 피처들을 평균하거나 맥스를 하지 않고 더해야 일대일함수이다. MLP 는 universal approximator 이다.

• $g(x) =\phi(\sum_{x\in X}f(x)) =\phi(f(x)+f(x)+f(x)) = MLP_{\phi}(MLP_f(x)+MLP_f(x)+MLP_f(x))$

• $g(c, X) = \varphi((1+\epsilon)f(c) + \sum_{x\in X}f(x))$

따라서, 우리는 신경망을 사용하여 $f, \varphi, \epsilon$ 을 학습한다. 그리하면, GIN 은 노드를 다음과 같이 업데이트 한다.

• 노드 피처를 임베딩 하는 함수

node representation of GIN

f는 압축하는 함수이다. 원핫 벡터 또는 N-digit으로 표현된 수보다 더 작다.

• GIN을 쓰는 이유

  • GIN : MLP+sumpooling

  • GCN : Linear+Relu+mean pooling

  • GraphSAGE : MLP + max pooling

Architecture

Experiment

• 원본 데이터 설명

• Graph를 잘 표현하기 위해서는 Graph의 각 노드들의 피처들이 잘 표현이 되는직 . GINConv 를 통해 노드 피처를 얻을 때, The number of iterations 은 3 Layer

• $\mathbf{x}^{\prime}_i = h_{\mathbf{\Theta}} \left( (1 + \epsilon) \cdot \mathbf{x}_i + \sum_{j \in \mathcal{N}(i)} \mathbf{x}_j \right)$

Graph 가 비슷한 사상에 매핑이 됬는지 시각화 결과

• 실험필요

Compare Studies

• Graph Classification Paper Lists 정리하기 !

Question Lists

• GCN 을 사용하지 않는 이유

  • AGGREGATE 연산자 MEAN 은 강하지 않다.

    • GCN 은 이웃 노드의 피처를 aggregate 하기 위해 MEAN 연산자를 사용한다. GCN 은 permunant invariant 하지만i ,injective 하지 않다. 다음은 3가지 aggregator 연산자에 대해 multiset 을 잘 표현하는 순서에 따라 나열한 것이다. $\{3,3,3,3,2,2\}$ 라는 중복집합이 있을 때, SUM 은 3+3+3+3+2+2 로 중복집합의 모든 원소를 표현하지만, MEAN 은 $3* \frac {4}{6} + 2* \frac {2}{6}$ 으로 비율 혹은 분포를 표현한다. MAX 는 중복을 표현하지 않고 으로 표현한다.

    • 이를 그래프 구조에서 보면, 아래 두 그래프는 다르지만 같은 노드 피처를 가지게 됨을 알 수 있다.

  • 1 개의 신경망 층은 강하지 않다.

• GraphSAGE 를 사용하지 않는 이유