작성자: Boxu Li 

소개

지난 몇 년 동안 인공지능은 틈새 실험에서 많은 비즈니스 전략의 핵심으로 자리 잡았습니다. 2024년까지 전 세계 조직의 78%가 어떤 형태로든 AI를 사용했다고 보고했습니다. 이는 불과 1년 전 55%에서 증가한 수치입니다. 하지만 이러한 열정에도 불구하고 냉혹한 현실이 다가오고 있습니다: 실제로 AI 투자에서 상당한 가치를 얻는 회사는 거의 없습니다. 많은 경영진이 AI가 기대했던 ROI를 제공하지 못했다고 느끼며, 수많은 파일럿 프로젝트는 확장되지 않습니다. 보스턴 컨설팅 그룹은 회사 중 26%만이 개념 증명을 넘어 AI를 통해 실질적인 가치를 창출할 수 있는 역량을 개발했다고 밝혔습니다. 사실, 겨우 **4%**만이 꾸준히 상당한 수익을 올리는 진정한 "AI 리더"이며, **74%**는 아직 의미 있는 가치를 보지 못했습니다. 마찬가지로, S&P 글로벌 설문조사는 대다수의 AI 이니셔티브를 폐기하는 기업의 비율이 지난 한 해 동안 17%에서 42%로 증가했으며, 거의 46%의 AI 프로젝트가 파일럿과 전체 배포 사이에서 중단된다고 보여주었습니다. 이 숫자들은 명확한 그림을 그립니다: AI를 채택하는 것은 쉽지만, 성공적으로 채택하는 것은 어렵습니다.

왜 이 격차를 포부에서 영향으로 연결하는 것이 이렇게 어려운 걸까요? 그 이유는 기술적 측면과 조직적 측면 모두에 있습니다. 기술적 측면에서는 많은 기업들이 기존 시스템과 워크플로우에 AI를 통합하는 것, 데이터 문제를 처리하는 것, 그리고 대규모로 AI 도구를 관리하는 것에 어려움을 겪고 있습니다. 예를 들어, 데이터 품질은 큰 걸림돌입니다. 한 산업 보고서에 따르면, 83%의 조직이 데이터 품질 문제로 인해 자동화 프로젝트에서 최소 한 개의 데이터 소스를 제외해야 했습니다. 데이터가 고립되어 있거나 일관성이 없거나 신뢰할 수 없다면, 최고의 AI 모델도 제 성능을 발휘하지 못합니다. 또한, 대규모로 AI를 배포하려면 강력한 인프라(MLOps 파이프라인, 컴퓨팅 자원, 모델 성능을 모니터링하는 도구 등)가 필요합니다. 그러나 많은 기업이 이를 갖추지 못하고 있습니다. 2024년에는 약 27%의 기업만이 MLOps 도구를 사용하여 AI를 관리하고 배포하고 있었으며, 다른 42%는 1년 내 시작할 계획이었습니다. 이는 대다수가 대규모 AI를 위한 기반을 개발하는 초기 단계에 있음을 나타냅니다.

조직의 도전 과제는 마찬가지로 만만치 않습니다. 종종 인재와 지식의 격차가 존재합니다. 기업들은 데이터 과학 팀 한두 개가 모델을 구축하고 있을 수 있지만, 더 넓은 범위의 직원들(심지어 고위 관리직도)은 AI의 역량이나 한계를 완전히 이해하지 못합니다. 이는 비현실적인 기대나 AI 출력에 대한 불신으로 이어질 수 있습니다. 최근 Anthropic 설문 조사에 따르면, 미국 직원의 약 40%가 현재 직장에서 AI를 사용하고 있으며(2023년의 20%에서 증가), 많은 근로자가 이러한 도구를 어떻게 최적으로 활용할지에 대해 여전히 확신하지 못하며, 교육 프로그램이 뒤처져 있습니다. 게다가 AI를 확장하려면 변화 관리가 필요합니다. 이는 프로세스를 변화시키고 사람들의 기술을 향상시키는 것으로, 내부 저항에 직면할 수 있습니다. 강력한 리더십과 명확한 비전이 없다면, 파일럿 프로젝트는 종종 널리 조직에 퍼지지 못하는 고립된 실험으로 남게 됩니다.

Global and Regional Trends: Despite challenges, enterprise AI adoption continues to accelerate, especially in certain regions. The United States leads in private AI investment and has a high adoption rate, but interestingly not the highest usage growth. Asia-Pacific has become a hotbed of AI activity – one report calls it "the region to watch" as APAC executives embrace generative AI faster than almost anyone. Asia is now second only to North America in adoption of GenAI tools. If 2023 was about pilots, 2025 is poised to be the year Asia scales up AI deployments across industries. This is fueled by strong top-down support: for example, Japan passed an AI Promotion Act in 2025 aiming to make Japan the "world's most AI-friendly country" through pro-innovation policies and investments. Japan recognized it was lagging in AI adoption and is now mobilizing government and industry to catch up. Likewise, South Korea launched a national AI Strategy with a comprehensive framework act and billions in funding to become a global top 3 AI powerhouse, including goals to have AI adopted by 30% of companies by 2030. These policy pushes mean enterprises in Northeast Asia are under pressure – and receiving support – to integrate AI sooner rather than later.

한편, 중국과 인도는 대규모 AI 사용자 풀(수백만 명의 소프트웨어 엔지니어와 AI 스타트업 붐 등)을 자랑하지만, 기업 환경은 다릅니다. 중국의 대형 기술 기업들은 전 세계적으로 AI 선두 주자이지만, 많은 전통적인 중국 기업들은 여전히 AI 도입 초기 단계에 있습니다. 인도의 IT 서비스 기업들은 빠르게 AI를 글로벌 클라이언트와 국내 사용을 위한 제품에 주입하고 있습니다. 반대로, 유럽은 보다 신중하고 규제 중심의 접근 방식을 취하고 있으며, 이는 다가오는 EU AI 법안과 함께 기업의 AI 채택을 늦출 수 있다는 우려가 있습니다. 그러나 유럽에서도 설문조사에 따르면 뒤처지지 않기 위한 경영진의 긴급성이 증가하고 있습니다. 전반적으로 세계적인 추세는 명확합니다: 기업들은 AI와 함께 '무언가'를 해야 한다는 강한 압박을 느끼지만, 이를 지속 가능한 비즈니스 가치로 전환하는 것은 보편적인 어려움입니다.

AI 확장의 주요 장벽

• 전략 부재와 경영진 후원 부족: 많은 조직이 명확한 비즈니스 결과와 연계된 전략 없이 AI를 도입했습니다. 개별 팀이나 혁신 연구소에서 시작한 분산된 파일럿 프로젝트가 흔하며, 경영진 수준에서의 조정이 부족합니다. 이로 인해 중복된 노력이 낭비되고, 핵심 비즈니스 요구를 충족하지 못하는 프로젝트가 발생합니다. BCG의 연구에 따르면, AI 리더들은 CEO 수준의 강력한 후원을 받고 AI 이니셔티브를 전략적 목표와 일치시킵니다. AI가 CEO의 우선순위일 때, 필요한 자원을 확보하고, 부서 간 협력이 개선되며, 단순히 AI를 위한 AI가 아닌 고가치 문제 해결에 집중하게 됩니다.
• 인재와 기술 격차: 성공적인 AI 도입은 데이터 과학자, 엔지니어, 도메인 전문가 및 변화 리더의 조합을 요구합니다. 많은 회사는 이러한 프로필을 충분히 보유하고 있지 않습니다. AI 인재 채용은 경쟁이 치열하고 비용이 많이 들며, 기존 직원의 역량 강화는 느립니다. 기술 전문가 외에도 중간 관리자와 일선 직원은 AI 도구와 함께 작업하는 방법(예: AI 추천 해석, 생성적 AI 시스템에 질문하는 방법 등)에 대한 교육이 필요합니다. 직원들이 AI를 이해하지 못하면 신뢰하지 않거나 제대로 활용하지 못해 잠재적 이점을 상실할 수 있습니다. 선도 기업들은 역량 강화 프로그램과 교차 교육에 많은 투자를 하고, 종종 내부 "AI 아카데미"를 설립하여 전체 AI 이해도를 높입니다. 이를 통해 새로운 AI 솔루션이 도입될 때 직원들이 이를 일상 업무에 통합할 준비를 하게 됩니다.
• 데이터, 기술 및 인프라 문제: 언급했듯이 데이터의 품질과 가용성은 기본입니다. 데이터 인프라를 현대화하지 않은 회사는 대량의 접근 가능한 깨끗한 데이터가 필요한 알고리즘을 테스트하기 조차 어려워합니다. 데이터 시스템의 분산, 오래된 IT 아키텍처, 클라우드 컴퓨팅 기능의 부족은 모두 AI 확장을 방해합니다. 또한 기업 규모에서 AI를 배포하려면 모델 성능을 추적하는 모니터링 시스템, 새로운 데이터를 사용하여 모델을 업데이트하는 프로세스, 모델 사용을 관리하는 메커니즘이 필요합니다. 이것은 MLOps 및 AI 거버넌스의 범주에 속하며, 많은 기업이 아직 성숙하지 않은 영역입니다. 한 설문 조사에서 "ROI 입증의 어려움"이 MLOps에 투자하지 않은 주요 이유로 꼽혔으며, 이는 적절한 인프라가 없으면 ROI 달성이 어려워지고, 명확한 ROI가 없으면 인프라에 대한 예산 확보가 어려운 딜레마를 나타냅니다. 이 고르디안 매듭을 자르려면 비전 있는 리더십이 필요하며, 수익이 완전히 드러나기 전에 플랫폼과 도구에 투자해야 합니다.
• 위험, 보안 및 윤리적 우려: 기업 AI 채택은 사이버 보안, 법규 준수 또는 윤리적 함정과 같은 위험에 대한 정당한 우려로 인해 지연될 수 있습니다. 규제가 있는 산업(금융, 의료 등)의 기업은 AI 결정이 법을 준수하고 감사 가능하도록 해야 합니다. 또한 잘못된 AI가 무심코 차별하거나 고도의 실수를 저지르면 평판에 큰 타격을 줄 수 있습니다. 적절한 감독이 없으면 AI 프로젝트는 법무 부서의 두려움 때문에 저해될 수 있습니다. 성공적인 도입자는 강력한 거버넌스 프레임워크를 통해 이러한 우려를 선제적으로 해결합니다. 예를 들어 민감한 결정에 "인간이 개입하는" 점검을 시행하고, 알고리즘에 대한 편향 감사를 실시하며, AI 추천의 투명성을 보장합니다. 많은 회사가 내부 AI 윤리 위원회를 설립하고 있습니다. 책임 있는 AI를 위한 도구와 프레임워크도 등장하고 있습니다. 예를 들어, Macaron AI 팀은 AI 비서에서 디자인과 준수의 중요성을 강조하고, 정책 바인딩 및 투명성 조치를 구현하여 사용자 신뢰를 구축합니다. 기업은 AI를 책임감 있게 배포할 수 있음을 보여줌으로써 사용자(및 규제 기관)와의 신뢰를 구축해야 합니다. 이해관계자가 AI를 신뢰하면 AI 확장을 더 쉽게 지원합니다.

성공한 채택자들이 다르게 하는 것: 앞서 말한 냉정한 통계에도 불구하고, AI를 통해 상당한 성과를 이루는 기업들이 있습니다. 그들이 성공하는 이유는 무엇일까요? 연구와 사례 연구는 몇 가지 모범 사례를 지적합니다:

AI를 명확한 비즈니스 가치에 연결: 단순한 실험을 위한 AI가 아닌, 성공적인 기업은 구체적인 비즈니스 문제나 기회를 시작점으로 삼습니다. 그들은 "AI가 어떻게 수익을 증가시키고, 비용을 절감하며, 고객 경험을 개선할 수 있을까?"라는 질문을 던지며, 측정 가능한 KPI를 가진 프로젝트를 추구합니다. 예를 들어, "AI를 인사에 사용하자, 왜냐하면 유행이니까"라는 접근이 아니라, "AI 비서를 통해 콜센터 평균 처리 시간을 20% 줄이자"거나 "예측 유지보수를 통해 제조 중단 시간을 줄이자"와 같은 목표를 설정합니다. 명확한 지표(시간 절감, 전환율 상승, 오류 감소 등)를 설정하고 이를 철저히 추적함으로써 AI 배포가 집중되고 책임감 있게 이루어지게 합니다. 또한, AI 도구가 직원들의 업무를 쉽게 하거나 고객을 더 만족시킨다는 것을 현장 직원들이 느낄 때, 그들은 회의론자가 아닌 지지자가 됩니다.

작게 시작하고 빠르게 확장하세요: 성공적인 조직은 종종 AI를 소규모로 파일럿 테스트하지만, 첫날부터 확장 계획을 세웁니다. 이들은 파일럿을 솔루션을 개선하고 가치를 증명하는 학습 단계로 보고, 결과가 긍정적이면 빠르게 광범위하게 구현합니다. 특히, 확장 단계에 대한 예산과 계획을 세웁니다 (POC 단계에만 국한되지 않음). 이는 확장 가능한 유연한 아키텍처를 구축하고, 초기부터 IT, 데이터, 사업 부문이 협력하는 크로스 기능 팀을 구성하여 통합 문제를 사전에 해결하는 것을 포함할 수 있습니다. 예를 들어, 한 은행은 AI 사기 탐지 시스템을 한 지역에서 파일럿 테스트하여 오탐지율이 크게 감소하는 것을 확인한 후, 1년 이내에 20개 이상의 국가에 이를 전면적으로 도입했습니다. 이는 파일럿 테스트 동안 확장을 위한 실행 계획서와 내부 옹호자를 준비했기 때문입니다.

인프라와 도구에 투자하세요: AI 리더들은 "배관"을 아끼지 않습니다. 데이터를 모으고 정리하기 위해 데이터 레이크 또는 현대적인 데이터 웨어하우스에 투자하고, 모델 훈련 및 배포를 위해 클라우드 플랫폼이나 고성능 컴퓨팅을 활용하며, AI 모델의 버전 관리, 테스트, 지속적 배포를 위해 MLOps 도구를 포함합니다. 이는 종종 이러한 서비스에 전문성을 가진 기술 제공자나 클라우드 벤더와의 협력을 필요로 합니다. 그 결과는 신뢰성과 확장성입니다. 견고한 기반이 있으면 새로운 AI 사용 사례를 추가하는 것이 점차 쉬워지고 빨라집니다. 반대로, 임시방편 인프라에서 AI를 시도하는 조직은 더 많은 사용자나 데이터가 추가될 때 파일럿이 현실의 복잡성에 의해 무너지는 경우가 많습니다.

인재 육성과 크로스 기능 팀 구성: 우리는 기술 향상에 대해 언급했습니다. 그 이상으로, 성공적인 AI 조직은 데이터 과학자와 도메인 전문가 간의 장벽을 허물고 있습니다. 이들은 예를 들어, 마케팅 전문가와 머신러닝 엔지니어가 개인화 알고리즘에 대해 함께 작업하는 학제 간 팀을 구성하여 서로에게서 배웁니다. 이를 통해 AI 솔루션이 실제 비즈니스 맥락에 적합하고 실질적으로 구현될 수 있도록 합니다. 또한, 지식 전수를 통해 비즈니스 전문가는 기술에 더 정통하게 되고, 기술 전문가는 도메인 직관을 얻게 됩니다. 추가로, AI를 선도하는 회사들은 종종 중앙 AI 또는 데이터 과학 센터를 두어 모범 사례를 개발하고 내부 컨설팅을 제공하며, 부서 간에 재사용할 수 있는 공통 플랫폼이나 도구를 구축합니다. 이는 각 팀이 매번 새로운 것을 발명하는 것을 방지하고 전체 도입 속도를 높입니다.

임원 옹호 및 변화 관리: 마지막으로, 위의 모든 것은 강력한 리더십 없이는 이루어지지 않습니다. 성공적인 AI 도입자는 AI의 조직 내 역할에 대한 설득력 있는 비전을 제시하고 변화를 적극적으로 관리하는 리더가 있습니다. 이는 AI가 직원들의 업무를 어떻게 보강할 것인지 명확하게 전달하고(단순히 일자리를 줄이는 것이 아님), 이사회 및 투자자와 현실적인 기대치를 설정하며, 데이터 기반 의사결정 문화를 촉진하는 것을 의미합니다. AI 프로젝트의 성공을 축하하여 모멘텀을 구축하며, 실패를 학습 기회로 솔직하게 인정합니다. C-suite가 눈에 띄게 참여할 때 – 예를 들어, CEO가 타운홀에서 AI 이니셔티브를 논의하거나 최고 AI 책임자가 임명될 때 – 이는 AI가 일시적인 실험이 아닌 전략적 우선순위임을 회사 전체에 신호합니다.

앞을 내다보며

2025년에 접어들면서 기업의 AI 도입이 전환점에 도달했습니다. 과대 광고는 이제 가치를 달성하기 위해 필요한 것에 대한 신중한 성찰로 대체되고 있습니다. 좋은 소식은 성공을 위한 요소들이 점점 더 이해되고 있으며, 자원도 풍부하다는 것입니다. 큰 AI 연구 팀이 필요하지 않은 사전 훈련된 모델과 API가 더 많아져 기업들이 쉽게 활용할 수 있습니다(컴퓨터 비전 서비스부터 대형 언어 모델 API까지). 또한, 통합 플랫폼과 **코드가 필요 없는 AI 도구(이전 블로그에서 논의한 바 있음)**가 더 많아져 기술적 노력이 덜 들면서 배포 속도를 높일 수 있습니다. 요컨대, 진입 장벽이 점점 낮아지고 있습니다.

그러나 AI를 기업의 구조에 진정으로 통합하여 지속적으로 이익이나 목표 성과를 창출하기 위해서는 회사의 비전, 적응력, 거버넌스를 시험하는 여정이 될 것입니다. AI 선도 기업과 뒤처진 기업 간의 격차는 향후 몇 년간 더 벌어질 수 있습니다. 한편으로는 2023-2024년을 학습 단계로 삼고 이제 AI를 전례 없이 확장하여 효율성, 고객 통찰력, 혁신에서 경쟁 우위를 차지하고 있는 기업들이 있을 것입니다. 다른 한편으로는 전략이나 헌신 없이 AI에 손을 댔던 기업들은 정체되거나 뒤처질 수 있으며, 더 민첩한 경쟁자들이 AI를 사용하여 그들을 앞질러 갈 것입니다.

AI의 비즈니스 도입이 생산성 향상과 연관되어 있다는 사실은 더 이상 의심의 여지가 없습니다. 연구에 따르면 AI 준비가 된 기업들이 앞서 나가고 있습니다. 이제 문제는 어떤 기업들이 AI의 잠재력을 현실로 전환하기 위한 조직적 작업을 실행할 수 있는가입니다. 기술적 강점을 명확한 비전과 강력한 실행력으로 결합한 미국과 아시아의 기업들이 이 새로운 시대에서 속도를 선도할 가능성이 높습니다. 이들은 강력한 혁신 생태계와 (아시아의 경우) 종종 현대화를 위한 상명하달식 긴박함의 혜택을 받고 있습니다. 그러나 적절한 접근법을 사용하면 어느 지역의 조직이든 성공할 수 있습니다.

결론적으로, AI 실험의 시대는 AI 실행의 시대로 넘어가고 있습니다. 기업은 반짝이는 알고리즘을 쫓는 것에서 벗어나 AI가 대규모로 번성할 수 있는 기반인 데이터, 사람, 프로세스를 구축하는 데 집중해야 합니다. 지금까지 많은 사람들이 겪었던 어려움에서 볼 수 있듯이 그 길은 쉽지 않습니다. 그러나 AI로 인해 효율화된 운영, 차별화된 고객 경험, 새로운 제품 기회라는 보상이 여전히 존재합니다. 신중한 전략, 강력한 리더십, 초기 실수로부터 배우려는 의지가 있다면, 회사는 과대 광고에서 지속적인 영향으로의 격차를 실제로 메울 수 있습니다. 2025년은 AI에 대해 단지 이야기하는 사람들과 이를 통해 사업을 진정으로 변혁하는 사람들을 구분하는 중요한 해가 될 것입니다. AI 리더의 플레이북을 따르고 도전에 정면으로 맞서면서, 어떤 기업이라도 야심 찬 파일럿에서 확장된 AI 중심의 성공으로 가는 여정을 가속화할 수 있습니다.