이번엔 왓슨 IBM '왓슨x데이터'로 기업 AI 도입 및 데이터 관리

기업용으로 AI를 변경한 IBM 왓슨

 

예전 체스를 두던 딥블루라는 인공지능 프로그램이 있었습니다. 딥마인드에 의해 잊혀진 IBM의 딥불루는 왓슨으로 다시 태어나 2021년 왓슨 AI 스튜디오에서 AI 팩트시트를 상용화할 것이라고 발표했습니다. AI 팩트시트는 AI 모델의 간단한 기반 알고리즘 설명, 기능, 성능을 표기하는 정보차트입니다. 식료품 라벨에 필수로 포함해야 하는 ‘영양성분 표시’처럼 AI에도 정보차트가 중요하다고 강조하며 팩트시트를 주장했습니다. AI 팩트시트는 기업과 개발자가 AI 모델을 이해하고 활용하는 데 도움을 줄 수 있습니다. 또한, AI 모델의 투명성과 신뢰성을 높이는 데에도 도움이 될 것으로 기대됩니다. IBM은 시작단계를 지나 점차적으로 팩트시트 활용 범위를 넓혀 최종적으로 모든 왓슨 스튜디오에 이 기능을 도입하겠다는 계획이였습니다. 그로부터 2년 후 새로운 솔루션으로 다시 태어났습니다. 

 

IBM이 왓슨x.데이터(watsonx.data)라는 새로운 데이터 레이크하우스 솔루션을 발표했습니다. 이 솔루션은 기업이 정형 및 비정형 데이터를 저장하고 활용하면서도 성능을 유지하면서 비용을 절감할 수 있도록 도와주는 것이 목적입니다. 이를 위해 왓슨x.데이터는 데이터 웨어하우스의 고성능 처리 기술과 데이터 레이크의 유연성을 함께 제공하며, 정형 데이터와 비정형 데이터를 자유롭게 저장 및 분석이 가능합니다. 또한, 왓슨x.데이터는 AI를 전 비즈니스 영역으로 확대하기 위한 멀티 쿼리 엔진과 스토리지 계층 기술로 데이터 분석 작업을 최적화하여 이전보다 빠르고 안전하게 데이터를 처리할 수 있도록 지원합니다. 기업 사용자는 이를 이용하여 셀프 서비스로 활용할 수 있습니다.

 

왓슨X.데이터는 AI를 학습시키는 데 최적화되어 있으며, 멀티 쿼리 엔진과 스토리지 계층 기술로 AI 및 분석 작업을 최적화합니다. 또한, 데이터 용도에 따라 컴퓨팅 및 저장 공간을 확장 또는 축소하여 기존에 사용하고 있는 데이터 웨어하우스 비용을 50%까지 절감할 수 있습니다.

왓슨X.데이터는 다른 왓슨X 플랫폼 솔루션과 마찬가지로 파운데이션 모델과 생성형 AI를 활용하고 있습니다. 사용자가 자연어 문장과 질문을 사용해 필요한 데이터를 활용할 수 있도록 돕는 '시맨틱 오토메이션' 기능이 대표적인 사례입니다. 예를 들어, 사용자가 왓슨X.데이터에 "이 테이블에 거주지 데이터를 추가해줘"라고 말하면 시맨틱 오토메이션의 AI가 후보 테이블을 찾고, 실제로 조건을 충족시키는 테이블 간의 조인 키도 찾아냅니다. 이 기술을 통해 사용자는 코딩이나 데이터 엔지니어링 전문 지식 없이도 셀프 서비스 대화 기능을 사용해 데이터를 쉽게 검색, 보강, 정제할 수 있습니다.

IBM 왓슨X는 파운데이션 모델과 생성형 AI를 기업 전용으로 제공한다는 것이 차별점입니다. 일반 사용자들을 대상으로 한 '챗GPT'와는 달리, 기업용 AI는 '신뢰'가 핵심이라는 것이 IBM의 설명입니다. 기업은 AI가 거짓 정보를 사실처럼 꾸며내거나 부적절한 언어를 사용하지 않을 것이란 확신이 있어야 하며, 변화하는 법률과 규제 환경에도 적응할 수 있어야 한다는 것입니다. 이에 가장 핵심은 데이터 관리이며, IBM은 왓슨X.데이터를 통해 조직 전체가 AI를 활용할 수 있는 기반을 마련할 수 있다고 설명했습니다.

이외에도, 왓슨x.데이터는 파운데이션 모델과 생성형 AI를 활용하여 사용자가 자연어 질문을 사용하여 데이터를 쉽게 검색하고 정제할 수 있는 기능을 제공합니다. 더불어 왓슨x.데이터는 AI를 도입하는 데 따른 어려움을 해결하기 위해 파운데이션 모델을 사용하여 AI를 학습시킬 수 있는 데이터 준비 및 학습에 들어가는 시간과 비용을 절감하여 조직에서 결과를 창출하는 시간을 단축시킵니다. 이러한 비즈니스용 AI 플랫폼이 왓슨x로, IBM은 오는 7월 왓슨x.데이터를 정식 출시할 예정입니다.