[차세대 테크 리더십 포럼] "AI 반도체 & 인공지능" / 사전 읽기 자료 정리 + 간단 후기 / 2022.06.25

 

---

**** 류수정 대표님 강연 ****

- "미국 AI 반도체 시장 동향...미래 신산업의 핵심동력", <AI 타임즈>, 2022.03.15
(http://www.aitimes.com/news/articleView.html?idxno=143445)

AI 반도체 구분.(사진=ETRI)

[AI 반도체]

• 시스템 반도체의 일종. AI 전용 반도체
• AI 서비스 구현에 필요한 대규모 연산을 높은 성능과 전력 효율로 실행하는 반도체
• 아키텍처 구조, 서비스 플랫폼, 기술구현 방식 등에 따라 다양하게 구분됨
• 일반적으로는 GPU, FPGA, ASIC부터 최근의 뉴로모픽 칩(Neuromorphic Chips)까지 포괄함
• 데이터 센터용과 엣지 디바이스용으로 시장이 세분화돼 성장 중

[GPU(Graphical Processing Unit)]

• 게임과 같이 동시 계산 요구량이 많은 복잡한 그래픽 영상 처리를 위해 개발됨
• 여러 명령어를 동시에 처리할 수 있는 병렬 처리 구조를 가짐
• 수천 개의 코어가 탑재돼 대규모의 방대한 데이터 연산 시 연산처리능력이 CPU보다 성능이 우수한 장점

[ASIC(Application Specific Integrated Circuits)]

• 애플리케이션의 특성에 적합한 AI 시스템을 구현하기 위해 특정 목적•용도에 맞도록 제작된 주문형 반도체
• 가장 빠른 속도와 높은 에너지 효율이 특징

[FPGA(Field-Programmable Gate Arrays)]

• 회로 재구성 프로그래밍을 통해 용도에 맞게 최적화해 변경이 가능한 반도체
• 활용 목적에 따라 높은 유연성이 특징
• 특정 목적에 맞춰 기계학습을 통해 최적화된 학습 모델의 출력 값을 빠르게 계산하는 인공지능 추론 서비스 구현에 적합한 AI 반도체

[뉴로모픽 반도체]

• 기존 반도체 구조가 아닌 인간의 뇌(뉴런-시냅스 구조)를 모방해 연산처리, 저장, 통신 기능을 융합한 가장 진화된 형태의 반도체 기술
• 차세대 AI 반도체로 불리기도 함

---

- "특허 정보를 활용한 인공지능 반도체 기술에 대한 심층 분석", <소프트웨어 정책 연구소>, 2022. 04. 28
(https://spri.kr/posts/view/23415?code=data_all&study_type=industry_trend)

AI 반도체의 발전 방향에 따라 칩 종류별로 분석

[1세대: CPU + GPU]

• 전통적인 폰 노이만 구조를 따르고 있는 CPU 및 GPU
• 장점: 높은 범용성, 상대적으로 낮은 가격
• 단점: AI 연산성능 및 에너지 효율성이 낮다

[2세대: FPGA+ASIC(NPU)]
<FPGA>

• 하드웨어를 재설계하지 않고 프로그래밍을 통해 사용 목적에 맞게 변경이 가능한 반도체
• 장점: 높은 유연성
• 단점: 전력 소모량이 많고, 가격이 비싸다

<ASIC(NPU)>

• 특정 용도에 맞게 제작된 주문형 반도체
• 장점: AI 연산속도가 빠르며, 전력 효율성이 높으나
• 단점: 설계 변경이 어려우며, 학습을 위한 설계가 어렵다

[3세대: 뉴로모픽]

• 전통적인 폰 노이만 구조에서 벗어나 인간의 뇌를 모방하여 설계된 반도체
• 장점: AI 반도체 중 가장 높은 연산속도 및 전력효율
• 단점: 기술 성숙도가 낮고 비(非) 폰 노이만 구조로 인한 낮은 범용성

결론: 제3세대 AI반도체 기술 = 기존 1세대 반도체에 비해 차별화된 기술

[기술수명주기: 3세대 < 1, 2세대]

• AI 반도체는 전 세대 모두 기술수명주기가 짧은 분야
• 짧다: 진입 장벽이 낮고, 새로운 혁신이 발생하는 주기가 짧다는 것을 의미(해당 분야의 기술이 오래되거나 빠르게 파괴되는 경향이 있기 때문)
• 제3세대 AI 반도체가 더 최신 기술 특허를 사용해 기술이 발전
• 기술이 빨리 변함 = 시장에서 빠르게 활용될 수 있는 가능성이 높다
• 후발자의 불리함은 작아져(새로운 기회의 창이 열림과 동시에 진입 장벽이 낮아)
• 선발자는 새로운 도전에 직면할 수도

[독창성: 3세대 < 1, 2세대]

• 독창성: 다양한 분야의 지식과 더 폭이 넓은 기술 융합 및 결합된 정도 = 혁신성이 더 높다
• AI 학습 시 소요되는 막대한 전력을 극복할 저전력 반도체의 기술 확보가 경쟁우위의 핵심
• 저전력 반도체 기술 개발을 위해서는 혁신설계, 신소재 개발, 초미세 공정 확보의 3가지 측면에서 다양한 기술이 융합되어야
• 향후 다양한 기업들의 시장 진입이 가능하다는 점을 의미

[과학기술논문인용도: 3세대 < 2세대 < 1세대]

• 과학기술논문인용도: 기술의 기초과학 의존도를 측정
• 낮다: 기술의 발전 방향이 기초과학에 의존하지 않는 추세이며 진입 장벽이 낮다는 것을 의미

[보편성: 3세대 > 1, 2세대]

• 보편성: 해당 기술이 얼마나 다양한 분야에 활용될 수 있는가를 측정
• 높다: 더 다양한 분야에 활용될 가능성이 높아 기술 가치가 높다는 것을 의미

[전유성: 3세대 > 1, 2세대]

• 전유성: 모방으로부터 자신의 혁신결과나 성과를 타인의 모방으로부터 지키고 금전적 이익을 확보할 수 있는 정도
• 높다: 모방으로부터 혁신의 결과를 성공적으로 보호할 수 있는 수단이 존재한다는 것을 의미
• 특허 출원자들이 전유 가능성이 높은 기술 영역을 꾸준히 연구 개발하여 기술 역량을 축적하고 있음을 증명
• 기술 개발을 위해 다른 기업의 지식에 의존할 필요성이 적기 때문에 후발자의 입장에서 투자 가치가 높다는 것을 의미

[현지화 & 집중도: 3세대 > 1, 2세대]

• 높다: 특정 국가의 특정 기업 또는 개인에게 속하여 집중되어 있다는 것을 의미
• 장기적으로 신소재에 기반한 3세대 뉴로모픽 반도체가 향후 기술혁신을 주도할 가능성이 매우 높음
• 특히 저전력에 대한 경쟁우위를 확보하기 위해 차세대 뉴로모픽 기술이 중요할 것으로 전망

<!> 원문에서 ‘현지화와 집중도가 제3세대에서 높게 분석’, ‘1세대에서 3세대로 갈수록 독창성, 집중도가 모두 낮아지는데’ 두 문장이 서로 충돌하기 때문에 본문에서 집중도에 대한 정보는 정확하지 않음.

---

- "AI 기술의 다양한 응용 분야_AI 반도체의 현황과 미래전망", <SK Hynix News>, 2022. 04. 01
https://news.skhynix.co.kr/post/various-applications-of-ai-technology?gclid=EAIaIQobChMInfi43qKi-AIVg6-WCh2EZAEKEAMYASAAEgKDCvD_BwE

주요 용어 설명

• 뉴로모픽(Neuromorphic) 반도체: 사람 뇌의 신경구조(병렬로 작용)를 모방하여 병렬 형태의 연산구조를 지닌 반도체 소자 / 신경(뉴로) + 형상(모픽)을 의미
• 엣지 컴퓨팅(Edge Computing): 생성된 데이터를 (중앙의 대규모 서버로 전송하지 않고) 데이터가 생성된 기기 자체에서 처리하거나 데이터가 발생한 곳과 가까운 소규모 서버로 전송해 처리하는 컴퓨팅 방식
• 합성곱 신경망(Convolution Neural Net, CNN): 행렬로 표현된 필터 각 요소가 데이터 처리에 적합하게 자동으로 학습되도록 하는 기법
• 영상 분류(Image Classification): 이미지나 영상 속 대상이 어떤 범주에 속하는지 구분하는 작업
• 객체 탐지(Object Detection): 이미지나 동영상에서 의미 있는 객체(object)의 위치를 정확하게 찾아내는 작업
• 가중치(Weight): 평균치를 산출할 때 각 개별값에 부여되는 중요도
• 배치(Batch): 처리해야 할 데이터를 일정 기간 모았다가 한 번에 처리하는 데이터 처리 방식
• 상호 접속(Interconnection): 병렬 처리를 위한 컴퓨터 구조에서 복수 개의 프로세서와 기억 장치 모듈 간에 데이터 및 제어 신호를 전달하기 위한 연결 구조
• GBps: 초당 얼마나 많은 데이터를 전송할 수 있는지를 나타내는 단위. 1GBps는 1초에 대략 10억 bit의 데이터를 전송할 수 있음을 의미
• 총 대역폭(Aggregate Bandwidth): 여러 개의 통신 채널이 병렬로 연결될 때 개별 채널들의 대역폭을 다 합한 것
• ICI(Inter-Core Interconnect): 코어 간 연결선
• 2D Torus: 행과 열의 노드들은 기본적으로 그물망 구조로 연결되며 같은 행과 열의 노드들은 별도의 링으로 한 번 더 접속
• 메시(Mesh): 노드들을 2차원 배열로 연결하여 각 노드가 4개의 주변 노드들과 직접 연결되는 그물망 구조
• 노드(Node): 네트워크상 연결점 또는 종점
• 핀(Pin): 부품과 부품을 고정하는 기계요소
• 크로스바 스위치(Crossbar Switch): 세로 및 가로로 교차하는 여러 개의 신호선의 교차점에서 접점을 여닫으며 접속 여부를 결정하도록 하는 스위치
• 2진 트리(Binary Tree): 하나의 노드에 두 개의 노드가 연결되고 연결된 노드에 계속 두 개씩 노드가 연결되며 아래로 확장되는 크리스마스트리 형태의 연결 구조
• 팻 트리(Fat Tree): 모든 층위가 연결된 노드 수에 상관없이 동일한 대역폭을 가진 형태의 2진 트리 구조. 이러한 조건을 만족하려면 노드 수가 적은 최상단의 연결부에 할당된 대역폭을 최하단으로 내려갈수록 노드 수만큼 나눠 배분해야
• 병행성(Parallelism): 컴퓨터 시스템의 여러 부분이 동시에 작동하거나 여러 컴퓨터 시스템이 동시에 작동하는 것을 의미
• FPGA(Field Programmable Gate Array): 회로 변경이 불가능한 일반 반도체와 달리 용도에 맞게 회로를 다시 새겨넣을 수 있어 프로그램이 가능한 비메모리 반도체
• ASIC(Application Specific Integrated Circuit): 특정 목적으로 설계된 비메모리 반도체
• 시스톨릭 배열(Systolic Array): 같은 기능을 가진 셀로 연결망을 구성해 전체적인 동기 신호에 맞춰 하나의 연산을 수행할 수 있도록 설계된 특수한 처리장치
• 컴파일러(Compiler): 고급 언어로 쓰인 프로그램을 컴퓨터에서 즉시 실행될 수 있는 형태의 목적 프로그램으로 변환해주는 프로그램
• 쿠다(Compute Unified Device Architecture, CUDA): 엔비디아에서 개발한 기술로 그래픽 처리 장치(GPU)에서 수행하는 (병렬 처리) 알고리즘을 C 프로그래밍 언어를 비롯한 산업 표준 언어를 사용하여 작성할 수 있도록 하는 GPGPU 기술
• 시냅스 가중치(Synapse Weight): 전기 신호를 인접한 뉴런으로 전달하는 신호 전달 능력

Cloud Computing vs Edge Computing

• Edge Computing: 기존 Cloud Service와 대척점에 있는 AI 응용 분야
• AI 응용 분야: 대량의 입력 데이터(영상, 사진)를 처리해야 함 ➡️ 엣지 컴퓨팅을 통해 데이터를 자체적으로 처리하거나, 데이터의 양을 줄여 유무선 통신을 통해 클라우드 서비스로 전달하는 방식을 취해야 함
• Edge Computing을 위한 가속기: (주로 자율주행 등에 사용되는) AI 칩 설계의 또 다른 큰 분야
• AI 칩: Convolution(합성곱) Neural Net을 통해 대량의 정보를 지닌 이미지(입력 데이터)를 압축 ➡️ 여러 처리 과정을 거쳐 Image Classification, Object Detection등의 작업을 수행 ➡️ 이렇게 필터를 거치며 크기가 줄어들면 확실한 특징만 남음 ➡️ 이를 통해 최적의 인식 결과를 얻을 수 있음

AI와 개인정보보호

현재의 대화형 서비스

• AI 응용 분야 중 하나
• [문제] 마이크 입력을 통해 집안의 대화가 끊임없이 노출되는 방식을 사용 ➡️ 단순한 오락용 서비스 이상으로 발전되기 힘듦
• 더 다양한 응용 분야에서 활용하기 위해서는 먼저 개인정보보호 문제를 해결해야
• [방안] 동형 암호화(Homomorphic Encryption)에 주목

Homomorphic Encryption, 동형 암호화

• 민감 정보(사용자의 음성, 의료 데이터)를 있는 그대로 전송하지 않고, 사용자만이 풀 수 있는 암호문(Ciphertext)으로 변환해 전송하는 기술
• 데이터를 처리할 때도 암호화된 상태로 곱셈, 덧셈 등 필요한 연산이 이뤄짐 ➡️ 그 결과를 다시 사용자에게 암호화된 상태로 보냄 ➡️ 사용자가 이를 해독(Decrypt)해 결과를 확인
• 사용자 이외에는 아무도 암호화 이전의 데이터를 알 수 없음

Homomorphic Accelerator, 동형 가속기

• Homomorphic Encryption 기술을 구현하려면 일반적인 데이터를 처리하는 심층 신경망(Deep Neural Network, DNN) 서비스에 비해 적게는 수천 배, 많게는 수만 배에 달하는 계산량이 필요
• Homomorphic Accelerator로 연산 성능을 획기적으로 높여 서비스 시간을 줄여야

AI 칩과 메모리 반도체

• 대규모 DNN에서는 막대한 수의 가중치(Weight)를 활용해 많은 양의 데이터를 처리함 ➡️ 외부의 대용량 DRAM에 저장된 가중치를 필요할 때마다 읽어와 프로세서로 가져옴 (프로세서 내부에 모든 가중치를 담을 수 없기 때문) ➡️ 병렬 처리와 함께/혹은 한 번에 같은 가중치를 ‘여러 번 사용’하는 배치(Batch) 방식을 활용함 (for 에너지와 시간 효율)
• 정리) DRAM이 장착된 프로세서를 여러 개 병렬로 구성하고 이를 서로 연결한 뒤, 가중치나 중간 데이터를 여러 개의 DRAM에 분산 저장하고 재사용하는 방식으로 연산을 수행
• 이런 구조에서는 프로세서 간 고속 연결이 필수적
• 모든 프로세서가 하나의 통로를 통해 연결되는 방식에 비해 더 효율적
• 최대의 성능을 끌어낼 수 있음

AI 칩의 연결구조

• DNN의 크기와 성능: 대역폭(Bandwidth)과 지연시간(Latency)을 바탕으로 결정됨
• 프로세서들을 상호 접속(Interconnection) 형태로 대량으로 연결할 때 문제가 되는 것은 대역폭(Bandwidth)과 지연시간(Latency)
• N개의 가속기(Accelerator)를 병렬로 연결해 N배의 성능을 내고 싶어도, 상호 접속된 연결부의 대역폭에는 한계가 있어 지연시간이 발생하고, 이로 인해 기대한 만큼의 성능을 얻지 못하기 때문
• 이러한 성능의 확장성(Scalability)을 효율적으로 제공하기 위해서는 각 프로세서 사이의 연결 구조가 중요. 각 프로세서를 연결하는 방법은 전체 시스템에 큰 영향을 미침
• 가장 극단적인 해결책: 모든 프로세서를 1:1로 연결하는 클리크(Clique) 구조를 채택 ➡️ 칩의 핀(Pin)15) 수가 프로세서 개수만큼 급격하게 증가하고 인쇄회로기판(Printed Circuit Board, PCB) 상의 정체(Congestion)가 허용할 수 없는 범위를 넘어, 실제 설계에서는 최대 4개의 프로세서밖에 연결할 수 없음:(
• 일반적인 해결책: 크로스바 스위치(Crossbar Switch)16)를 이용 ➡️ 스위치에 모든 연결이 수렴돼, 연결하려는 프로세서가 많으면 스위치에 신호선이 몰려 PCB 상의 레이아웃을 잡기가 어려워짐:(
• 가장 좋은 방법: 전체 네트워크를 2진 트리(Binary Tree)17)로 구성 ➡️ 최말단에 프로세서를 연결하고 최상단에 가장 많은 대역폭을 할당해야 하므로, 팻 트리(Fat Tree)18) 형태로 구성하는 것이 확장성과 함께 최고의 성능을 발휘하기에 가장 이상적

뉴로모픽 방식의 AI 칩

• DNN을 가속하는 클라우드 서버용 프로세서는 모든 데이터의 표현과 처리 방식이 디지털로 이뤄져 있으며, 연산은 하드웨어의 바탕 위에서 소프트웨어로 시뮬레이션하는 방식으로 진행된다. 최근에는 이러한 시뮬레이션 방식과 달리 생명체의 신경망 회로와 그 신호를 그대로 아날로그 전자 회로로 직접 가져와 동일하게 처리하는 뉴로모픽 AI 칩도 활발히 연구되고 있다.
• 뉴로모픽 방식을 활용하는 실제 응용 분야에서는 원래의 데이터 표현이 아날로그 방식을 따르므로 한 개의 신호는 한 개의 노드에 표현된다. 또한 연결 상태는 소프트웨어로 결정되지 않고 하드웨어로 연결되어 있으며, 가중치는 아날로그 형태의 고정된 상태로 저장되게 된다. 이러한 구조는 매우 적은 에너지로 한 번에 많은 정보를 처리할 수 있다는 장점이 있다.
• 뉴로모픽 AI 칩은 구조가 고정돼 있어 ‘프로그램화할 수 있는 가능성(Programmability)’은 낮지만, 규모가 작은 특정 엣지 응용 분야에서는 장점이 크다. 실제로 뉴로모픽 프로세서는 높은 에너지 효율을 발휘해, 사물인터넷(Internet of Things, IoT)에서 사용하는 센서의 AI 신호 처리나 대량의 영상 입력 데이터를 고정된 가중치의 CNN으로 처리해야 하는 영상 분류와 같은 응용 분야에 유용하다.
• 하지만 가중치가 고정돼 있어 지속적인 학습이 필요한 응용 분야에는 사용되기 어려울 것으로 예상된다. 또한 구조의 한계로 여러 개의 칩을 동시에 연결하는 병행성(Parallelism)19)을 활용하기도 어렵다. 이에 따라 실제 응용 분야는 엣지 컴퓨팅 분야에 한정될 것으로 전망된다.
• 뉴로모픽 구조를 IBM의 ‘트루노스(TrueNorth)’와 같이 아날로그 형태가 아닌 디지털 형태로 구현하는 것도 가능하다. 하지만 확장성이 좋지 않은 것으로 알려져 있어 유용한 응용 사례를 찾기는 어렵다.

AI 칩과 전력소모

• AI 칩 자체의 전력소모를 줄이려는 노력과 더불어 이를 위한 DNN 구조의 개발도 가속될 것으로 예상
• 신경망의 구조와 학습 방법에 따라 전력소모를 얼마든지 줄일 수 있음
• 에너지 절약형 DNN 구조를 계속 연구·개발할 필요

AI 반도체 시장의 미래

• AI의 응용 분야가 확대되고 성과가 나타나면서 관련 시장 규모도 크게 확대될 것으로 전망
• 결국 AI 시장은 응용 시스템이 견인하며 계속 새로운 분야를 창출할 것
• 신경망 회로 구조에 따른 인터페이스 품질에 의해 서비스 질이 차별화될 것
• AI 칩의 경우, 추론과 학습을 얼마나 빠르고, 정확하게, 적은 전력 소모로 구현하는지에 따라 경쟁우위가 결정될 것
• AI 칩의 전력 효율의 관점에서도 메모리 접근 방식을 개선하는 등 새로운 신경회로망 구조를 연구할 필요
• 앞으로는 메모리 내에서 정보를 처리하는 PIM(Processing-In-Memory)과 시냅스 가중치(Synapse Weight)25)를 아날로그 메모리에 저장해 신경회로망을 뉴로모픽으로 모사하는 방식이 중요한 연구 주제로 다뤄질 것

[제15회] 차세대 테크 리더십 포럼 : AI반도체, 인공지능

---

**** 이상욱 교수님 강연 ****

- "AI 윤리란 무엇인가?", <과학의 지평>, 2021. 05. 31
https://horizon.kias.re.kr/17815/

-"[스페셜 리포트] ⓛ ‘낯선 지능’과 함께 살아가기", <AI 타임즈>, 2020.09.28
http://www.aitimes.com/news/articleView.html?idxno=132490

- "[유네스코 인공지능(AI)윤리 강의] 1편 AI 시대, 왜 윤리가 중요한가?", <Youtube>, 2021. 11. 10.
https://www.youtube.com/watch?v=dwWkldY32c8&t=0s [00:05:34 영상]

- "[유네스코 인공지능(AI)윤리 강의] 2편 차별과 혐오, 우리는 AI에게 어떻게 공정함을 요구해야 할까?", <Youtube>, 2021. 11. 10.
https://www.youtube.com/watch?v=F5lmUkSQdWQ&t=0s [00:08:51 영상]

- "[유네스코 인공지능(AI) 윤리 강의] 3편 딥페이크의 도전, AI는 민주주의를 위협하는가?", <Youtube>, 2021. 11. 10.
https://www.youtube.com/watch?v=cmh4IMXTPyo [00:08:14 영상]

- "[유네스코 인공지능(AI) 윤리 강의] 4편 자동화된 결정, 우리는 자율적으로 결정하는가?", <Youtube>, 2021. 11. 10.
https://www.youtube.com/watch?v=OX1xZVuGUow [00:08:42 영상]

- "뭐라고? 전 세계가 함께 모여, 인공지능에 대한 원칙을 만들었다고?! I 이상욱 교수(한양대학교 철학과)에게 듣다" , <Youtube>, 2022. 02. 11.
https://www.youtube.com/watch?v=4KB7Rn4zewA&t=1s [00:06:46 영상] 

---

***** 후기 *****

1. 류수정 연사님: 사전 자료를 나름 열심히 보고 갔지만(뒷 부분은 안 보긴 했음) 강연을 이해하기에는 역부족이었다. 사실상 석사과정 이상은 돼야 알아들었을 것 같,,,은데 관련 전공자(학부생)들도 알아듣고 있는 것 같긴 했음. 그냥 내가 문제인 것 같다. 아 그리고 대표님의 기업 홍보차 오신 것 같기도.

2. 이상욱 연사님: 인공지능과 관련된 윤리에 대한 내용이기 때문에 이해하기 쉬웠다. 대학교 교양 수업 느낌. 내용 보다는 교수님의 지식에 감탄했던 기억이 많이 남는다. 철학과 교수님들은 모든 걸 다 알고 계신 것 같다. 공대생인 나도 잘 모르는 인공지능과 양자역학 등에 대해서 심도 깊은 QnA 답변을 해주셨다. 

 

후기가 수준 낮고 유치한 이유는,,, 잘 모르는 분야인데다가 피곤해서 졸음을 참느라 제대로 듣지 못했기 때문이다. 게다가 포럼 참석한지도 한참 지나서 기억이 잘 안 나고.