작고 빠른 딥러닝 그리고 edge computing

190906 이민예

엣지 컴퓨텅 / 모델 압축

손정의 :

앤드류 응 :

클라우드 컴퓨팅은 반드시 좋은 것일까?

Latency Problem : Embedded System => Limited Memory

Nvidia TX2

엣지에서

아래 엣지에서는 빠른 응답속도를 필요로 하는, 클라우드는 풍부한 자원에서 낮은 연결성으로 두가지를 결합한다. 엣지가 어떤 면에서 산업에서 주목을 받고 있는지, 엣지는 컴퓨팅 제한사항이 많다. 온디바이스 인공지능은 저전력, 파워가 효율적이고, 손으로 들고다니기 때문에, 내 정보가 보안이 되어야 한다. 딥러닝을 디바이스로 데이터를 보내긴 보내는데 변환된 정보를 보내서

원래 디자인된 딥러닝 모델을 압축하는 것이 -> 모델 압축이다.

디자인한 단계부터 -> 컴팩디자인

모델 압축

1프루닝 : 신경망이 있는데 프루닝이라는 것은 많은 가지가 있지만, 강렬한 정보는 별로 안된다. 재학습을 하면 가지치기를 하면 더 적은 가중치를 가지게 됨.

가지를 쳤다가, 다른 가지들을 연결해서, 새로운 피처도 학습을 한다.

퀀티제이션 : 비트수를 고려할 때 효율적으로 할 수 있기 떄문에, 나는 연산을 최대한 정확히 할꺼야, 진수를 바꾸거나, 조금 더 효율적으로 표현할 수 있다고 한다. 딥컴프리션, 송환 논문 ㅇ-> 이분 논문만 다 읽어도 경량화 전문가 : ㅇ ㅇdeep compression deep compression song han

wcss : 양자화된 가중치를 비슷한 애들끼리 묶고,

텐서 펙토리제이션 : n*n = 1*n n*1

distillation : 경량화 : 학습한 것을 전달해주고 싶은데 나의 지식을 다 전달해주면, 다르다, 따라서 증류를 해서 전달하겠다. 소프트라벨을 넘겨준다. 나오는 결과를 학습을 시킨다. 소프트맥스 안단을 보면 이것도 많은 정보를 가지고 있다.

레즈넷 : 어떤 네트워크나 다 들어있다. 렐루 함수 비선형화

복잡도가 가중치가 더 효율적이라는 점 경략화도 할 수 있다.

1*! -채널별에 대한 ㅡ특징을 잘 찾지 못함