미국의 주식 중개 업체인 나이트캐피탈(Knight Capital)은 AI 도입 실패로 인해 무려 4억 4,000만 달러의 손실을 입은 적이 있습니다. 트레이딩 시스템에 인공지능을 도입했다가 대규모 주문 오류가 발생한 탓에 기업의 존속 문제로까지 이어진 것인데요.
이 사건은 AI 도입에 따른 위험성과 철저한 검증의 필요성을 업계에 각인시킨 사례로도 유명합니다. 핵심 업무에 AI를 도입했다가 실패하게 된다면 비용적 손실을 넘어, 기업의 존폐 문제로까지 이어질 수 있습니다.
최근 AI 기술의 급속한 발전으로 많은 기업들이 AI 도입을 고려하고 있습니다. 하지만 어떻게 시작해야 할지, 어떤 준비가 필요한지 막막해하는 기업들이 많습니다. 이에 NVIDIA의 엘리트 파트너사인 아이크래프트의 AI 사업본부 황상호 부장님을 만나 기업형 AI 도입에 대한 인사이트를 들어보았습니다.
네트워크 전문 기업에서 AI 사업 본부까지
아이크래프트 AI 사업본부에 대한 소개 부탁드립니다.
아이크래프트는 네트워크 전문 기업으로 시작했습니다. 2016년부터 서버와 스토리지 사업을 시작했고, 이후 멜라녹스(현 NVIDIA 네트워크)의 총판을 맡게 되었죠.
이후 AI가 대두되고, GPU의 중요성이 커지면서 NVIDIA가 멜라녹스를 인수하게 되었습니다. 이 과정에서 아이크래프트도 자연스럽게 NVIDIA의 파트너가 되었습니다.
현재 아이크래프트 AI 사업본부는 NVIDIA의 전 제품과 솔루션의 국내 판매를 담당하고 있습니다. 주요 고객으로는 네이버, 카카오와 같은 대형 포털사들의 AI 네트워크를 전담하고 있죠. 이외에도 삼성, 현대 등 대기업들의 AI 구축 프로젝트도 일부 맡고 있습니다.
아이크래프트는 단순히 하드웨어를 판매하는 기업이 아닙니다. 기업형 AI 인프라 전반에 대한 컨설팅과 구축, 기술 지원, 유지 보수까지 종합적인 서비스를 제공할 수 있습니다.
특히 NVIDIA 비즈니스를 다른 파트너사들보다 오래 해온 경험을 바탕으로 다양한 레퍼런스와 노하우를 보유하고 있습니다.
기업형 AI 도입 전, 반드시 고려해야 하는 것은?
기업형 AI 도입 시 흔히 저지르는 실수는 무엇인가요?
많은 기업들이 AI를 도입할 때 과도하게 큰 규모로 시작하려는 경향이 있습니다. 실제로 필요 이상의 과도한 스펙으로 설계된 경우를 많이 봤습니다.
아이크래프트는 고객의 실제 요구사항에 맞춰 최적화된 환경을 설계하는 것을 가장 중요하게 생각합니다. 한 번은 공공기관 AI 센터 사업에서 기존 설계를 검토하고 재구성하여 약 10억 원의 비용을 절감해드린 사례도 있었죠.
AI 도입을 고려하는 기업들이 가장 먼저 준비해야 할 것은 무엇인가요?
우선 전담 팀이나 인력을 꾸리는 것이 중요합니다. 기존 IT 부서의 누군가가 겸직하는 것이 아니라, AI를 전담으로 담당할 수 있는 팀을 구성해야 합니다.
그리고 최소한의 테스트 환경을 구축하는 것이 좋습니다. 테스트 환경이라고 하면 거창하게 생각하시는 분들이 많은데요. 실제로는 GPU 카드 한 장으로도 시작할 수 있습니다. 개인적인 생각으로는 첫 테스트 환경 구축을 위해 1억 5천만 원에서 2억 원 정도의 초기 예산이 적절하다고 봅니다.
AI 도입을 위한 적정 예산 규모는 어느 정도라고 생각하시나요?
서비스 규모에 따라 다양하기 때문에 어떤 금액이 정답이라고 말하기는 어렵습니다.
다만 테스트 환경 구축을 위해서는 위에서도 말씀드렸듯이, 1억 5천만 원에서 2억 원 정도면 충분히 시작할 수 있다고 생각합니다.
물론 실제 서비스를 위한 환경을 구축하려면 50~60억 원 정도를 기본으로 생각해야 하지 않을까 합니다. 특히 대규모 AI 서비스를 운영하는 대기업들의 경우 1천 억 원 이상의 예산이 필요한 경우도 많죠.
중요한 것은 단계적으로 접근하는 것입니다. 처음부터 큰 규모로 시작하기보다는, 테스트 환경에서 시작해 점진적으로 확장해 나가는 것이 훨씬 더 효과적입니다.
아이크래프트가 지원하는 기업형 AI 컨설팅
최근에 기업들이 AI를 통해 얻고자 하는 주요 목표는 무엇인가요?
많은 기업들이 AI를 통한 자동화에 관심을 갖고 있습니다. 기존에 수작업으로 처리하던 업무를 AI를 통해 자동화하여 시간과 인력을 절감하고, 더 빠르고 정확한 결과를 얻고자 합니다.
또한 최근에는 대규모 언어 모델(LLM)에 대한 관심도 높아지고 있습니다. 다양한 데이터를 처리하고 원하는 결과값을 정확하게 얻을 수 있는 환경을 구축하고자 하는 기업들이 늘어나고 있습니다.
하지만 그만큼 도입에 대한 리스크나 해결해야 할 문제도 많아진 것 같습니다.
맞습니다. 실제로 기업형 AI 도입은 단순히 하드웨어를 구매하는 것으로 끝나지 않습니다. 많은 기업들이 AI 환경만 구축하면 된다고 생각하지만, 실제로는 데이터 준비와 활용 방안에 대한 깊은 고민이 필요합니다.
AI 프로젝트를 시작하기 전에 먼저 ‘무엇을 할 것인지’, ‘어떤 데이터를 가지고 있는지’, ‘어떤 결과를 원하는지’에 대해 명확히 해야 합니다. 단순히 AI를 도입했다는 것에 그치지 않고, 실제 비즈니스 가치를 창출할 수 있는 방안을 고민해야 하죠.
아이크래프트의 AI 컨설팅은 어떤 점에서 차별화되나요?
많은 기업들이 AI를 도입하고 싶어 하지만, 정작 어떤 목적으로 어떻게 활용할지에 대한 구체적인 계획이 없는 경우가 많습니다. 그래서 아이크래프트는 고객사의 비즈니스 목표와 데이터 현황을 깊이 있게 분석하는 것을 가장 중요하게 생각합니다.
먼저 고객사와 긴밀히 협력하여 AI가 실질적인 비즈니스 가치를 창출할 수 있는 방안을 함께 모색하고 있습니다.
실제로 최근에 아이크래프트로 문의 주신 제조업체는 초기에는 단순한 품질 관리 시스템 도입을 원했었는데요. 당사의 분석 결과, 예측 정비 시스템을 구축하는 것이 오히려 더 큰 비용 절감 효과를 가져올 수 있다는 점을 발견했습니다. 이를 고객에게 제안하여 최종적으로 더 큰 비즈니스 가치를 창출할 수 있었죠.
AI 인프라 구축에는 고성능 컴퓨팅뿐만 아니라 효율적인 네트워크 구성도 중요합니다. 그렇기에 이 두 가지 측면을 모두 고려한 솔루션을 설계하는 것이 중요한데요. 아이크래프트는 국내에서 가장 큰 성과를 내고 있는, NVIDIA의 엘리트 파트너입니다. 기술력과 네트워크 전문 기업으로서의 경험을 결합하여, 종합적인 솔루션을 제공하고 있습니다.
앞서 언급했듯이, 많은 기업들이 처음부터 과도하게 큰 규모의 AI 인프라를 구축하려다 실패하는 경우가 있습니다. 우리는 고객이 실제로 필요로 하는 규모와 기능을 정확히 파악하여, 초기에는 작은 규모로 시작하고 점진적으로 확장해 나가는 전략을 제시하고 있습니다.
레퍼런스 아키텍처 전체를 판매하거나, 구현된 기술에 대한 이해도 없이 하드웨어만 판매하는 기타 업체와는 비교할 수 없다고 감히 말씀드리고 싶습니다.
실제 컨설팅 과정에서 고객들의 니즈를 어떻게 파악하고 해결하고 계신가요?
아이크래프트는 단순한 제품 판매가 아닌, 고객의 비즈니스 성공을 위한 진정한 파트너로서의 역할을 수행하고 있습니다. 아이크래프트의 컨설팅 과정은 크게 네 단계로 이루어집니다.
먼저 고객사의 현재 IT 인프라, 데이터 현황, 비즈니스 목표 등을 종합적으로 분석합니다. 이 과정에서 고객이 미처 인지하지 못했던 잠재적 니즈를 발견하기도 합니다.
이후 분석 결과를 바탕으로 고객과 함께 구체적이고 실현 가능한 AI 도입 목표를 설정합니다. 이 때 단기, 중기, 장기 목표를 구분하여 단계적 접근 방식을 수립하고 있습니다.
목표가 설정되었다면 이제 최적의 하드웨어 및 소프트웨어 구성을 설계합니다. 이 과정에서 NVIDIA의 최신 기술과 우리의 네트워크 전문성을 결합하여 차별화된 솔루션을 제안 드리고 있습니다.
최종적으로 설계된 솔루션을 실제로 구축하고, 지속적인 모니터링과 최적화를 제공합니다. 특히 AI 기술이 빠르게 발전하는 만큼, 구축 이후에도 계속해서 최신 트렌드를 반영한 업그레이드 방안을 제시하여 꾸준한 애프터 서비스를 수행하고 있습니다.
마지막으로 AI 도입을 고민하는 기업들에게 조언 한 마디 부탁드립니다.
늦었다고 생각할 때가 가장 빠른 때입니다. AI가 어렵고 막연하게 느껴질 수 있지만, 지금 시작하지 않으면 앞으로 더 뒤처질 수 있습니다.
또한 기업형 AI 도입이 성공하기 위해서는, 의사결정권자들의 관심과 지원이 매우 중요하다고 생각합니다. AI는 단순한 IT 프로젝트가 아니라 기업의 미래를 좌우할 수 있는 중요한 전략적 결정이기 때문입니다.
현재 국내에서도 수많은 대기업들이 이미 본격적인 AI 환경을 구축하고 있습니다. 앞으로 이들이 만든 AI 엔진이나 서비스를 활용하게 될 가능성이 높습니다. 따라서 지금부터라도 자사에 맞는 AI 활용 방안을 고민하고, 관련 노하우를 쌓아가는 것이 중요합니다.
아이크래프트는 고객사의 니즈를 정확히 파악하고, 최적화된 AI 환경을 설계하는 데 전문성을 가지고 있습니다. AI 도입을 고민하고 계신다면 언제든 상담해 드리겠습니다.
함께 읽으면 좋은 글