인텔 프로세서를 탑재한 AI 장비의 장점은?

데이터 센터와 에지 환경의 AI추론 처리에서는 IA프로세서가 일반적으로 이용되고 있다

데이터 센터와 에지 서버 환경의 AI의 처리는 주로 추론과 학습이란 2개의 처리에 분류된다.

학습(Training)란 데이터를 AI의 모델로 읽는 처리로 말하자면 유아에게 "개는 개", "고양이는 고양이"라는 것을 가르쳤고, 혹은 스스로 배우는 작업을 말한다.

그것에 대해서 추론(Inference)은 그 학습보다 현명하게 된 AI가 고양이의 사진이 왔을 때에는 고양이, 개의 사진이 왔을 때에는 개와 대답하는 것이라고 생각하면 알기 쉽다.

그러한 "화상 인식"만 아니라 소리에서 문맥을 포함한 글자를 인식했다"음성 인식"등 학습의 결과를 이용하고 어떠한 처리를 "추론"이라고 부른다.

AI을 구축하는 데는 학습도 추론도 중요하게 되는데, 특히 최근 주목받고 있는 것이 추론이다.

왜냐하면, AI의 애플리케이션을 도입하고 사용자에게 있어서 유익한 기능을 제공하려면 효율적인 추론 처리가 필수적이기 때문이다.

학습 단계에서는 추론 → 모델 수정의 사이클을 방대한 횟수 실시하지만 모델의 정밀도를 향상하기 위해서, GPU에 의한 병렬 실행에서 처리 시간의 단축을 도모하는 것이 많다.

그것에 대해서 추론 페이즈에서는 학습 사이클에 있던 추론 패스를 한번 실행하는 것 때문에 요구되는 계산 자원도 적게, 또, 애플리케이션에 대해서 신속하게 결과를 제공한다는 필요가 있으므로 CPU가 이용되는 것이 압도적으로 많아지고 있다.

이 때문에 데이터 센터에서의 추론에 관해서는 데이터 센터 전용의 CPU에서 압도적 셰어를 가지는 Intel의 IA프로세서가 이용되는 일이 너무 많다.

안타깝게도, 추론에 이용되는 프로세서의 시장 점유율이라는 통계는 아니지만 반도체 업계에서는 대부분은 IA 또는 그 호환 프로세서라고 생각되고 있다.

인텔 주식회사 APJ데이터 센터·그룹 세일즈 AI 기술·설루션·전문가 오우치 야마 히로시 씨에 따르면"IA프로세서를 이용한 AI의 실장의 장점은 이미 데이터 센터와 에지 환경에 있는 IA프로세서를 활용하고 AI을 실현할 수 있는 점이다"라고 말했다.

이미 있는 데이터 센터와 에지 서버 환경의 인프라를 그대로 이용하고 AI추론의 환경을 실현할 수 있어 AI의 환경을 저비용으로 마련된다는 점에서도 큰 효과가 있다.

 

 

 

 

각종 AI프레임워크로의 최적화와 함께 OpenVINO툴 키트 등의 소프트웨어 개발 환경을 제공

그런 Intel의 IA프로세서에서 AI추론 환경에서 하드웨어와 나란히 두 바퀴다 것이 소프트웨어의 최적화이다.

이미 말했던 대로 Intel에서는 AI추론으로 뛰어난 CPU 제품을 라인 업하는 것과 동시에 소프트웨어 개발 키트를 충실시킴으로써 보다 CPU의 가능성을 끌어내는 소프트웨어를 개발자들이 더 쉽게 쓰도록 하고 있다.

Intel의 오오 우치야마 씨는 "Intel의 AI소프트웨어 개발에 대한 전략은 3개의 기둥으로 구성되어 있다. 1번째가 『 중요한 OSS AI라이브러리에 대한 최적화 』, 2번째가 『 자체 AI소프트웨어 개발 제공 』, 3번째가 『 AI소프트웨어의 스타트 업 기업 인수 』이다.

이들을 조합함으로써 고객이 보다 효율적인 소프트웨어 개발이 가능하도록 한다"며 AI추론용 소프트웨어 개발 환경의 충실을 3개의 기둥을 중시하면서 진행 중이라고 설명했다.

1번째"중요한 OSS AI라이브러리 최적화"라고 하는 관점에서는, Google의 Tensor Flow, Facebook의 PyTorch 등 AI소프트웨어 개발에서 일반적으로 이용되고 있는 AI프레임워크로의 최적화를 든다. 왜냐하면, AI소프트웨어 개발 현장에서는, 그러한 체제가 이미 이용되고 있어 소프트웨어 개발자는 그것들의 프레임워크를 위한 코드를 이미 많이 가지고 있는 경우가 많기 때문이다.

그래서 이들의 프레임워크를 이용하고 개발한 코드를 IA프로세서에 쉽게 최적화할 수 있는 툴의 제공이 중요하다.

그 대표 예로서 오오 우치야마 씨는 "Intel Optimization for PyTorch"의 예를 들었다.

궁궐에 따르면 PyTorch자체에도 IA프로세서 전용의 최적화 기능은 이미 준비되어 있어 그것을 이용하면 어느 정도의 최적화는 가능하다고 한다.

그러나 그러한 최적화는 일반적인 것에 그치고, 보다 최신의 IA프로세서의 기능 확장 등에 대응하고자 하는 경우에는 "Intel Extension for PyTorch(IPEX)"라는 확장 패키지를 이용함으로써 최신의 IA프로세서로의 최적화 등이 더 깊은 수 있게 된다라는 것이다.

 

2번째 독자 AI소프트웨어 개발 제공에서는 Intel자체 AI추론 소프트웨어 개발 툴이"OpenVINO(오픈 비노) 도구"(이하, OpenVINO)의 제공이 꼽힌다. OpenVINO에서는 AI모델의 최적화를 시행하고 그것을 양자화하는 단계에서 IA프로세서로의 최적화를 실시한다. 예를 들면 제2세대 Xeon SP이후에서 지원되는 Intel DL Boost를 이용하면 FP32를 이용하고 있는 AI모델을 INT8로 교체 연산 가능하게 된다.

그러한 최적화를 거치면, AI소프트웨어를 IA프로세서에 최적화된 성능 향상할 수 있게 된다.

이 OpenVINO는 단체로 이용 가능하지만 Tensor Flow 등의 프레임워크의 이용에도 대응한다. 이 경우에는 기존의 코드 자산을 살리면서 IA프로세서에 대한 최적화가 가능하게 된다.

 

여기까지 보고 왔듯이 제3세대 Xeon SP 같은 최신 제품과 Sapphire Rapids 등 미래의 확실한 로드맵에 의한 하드웨어의 진화, 그와 동시에, 하드웨어로의 최적화가 확실하게 할 수 있는 OpenVINO 같은 개발 툴과 같은 소프트웨어의 진화라는 두 바퀴로 Intel의 AI추론 설루션은 진화하고 있다.

 

것이다.