Twelve Labs: AI로 비디오 이해를 혁신하다

Twelve Labs는 비디오 데이터 분석의 한계를 넘어서는 AI 모델을 개발하며 AI 업계에서 주목받고 있습니다. 공동 창업자인 Jae Lee는 비디오를 텍스트처럼 분석할 수 있는 기술이 다양한 새로운 애플리케이션을 가능하게 할 것이라고 믿습니다.

Twelve Labs의 AI는 비디오 검색, 요약, 질문 응답 등 다양한 작업에서 뛰어난 성능을 제공하며, NVIDIA, Samsung, Intel 등 주요 기업들로부터 투자를 유치했습니다.

---

📹 Twelve Labs의 핵심 기술

1. 비디오 검색의 혁신

기존 키워드 기반 검색은 제목, 태그, 설명만을 탐색할 수 있어 비디오 콘텐츠를 정확히 분석하기 어려웠습니다.

• Twelve Labs의 모델은 비디오 안의 동작, 객체, 배경음을 텍스트와 매핑하여 특정 순간을 빠르게 검색할 수 있습니다.
• 예: “빨간 셔츠를 입은 사람이 레스토랑에 들어간 시점”을 검색 가능.

2. 맞춤형 모델 제공

Twelve Labs는 고객이 자신만의 데이터를 사용해 AI 모델을 맞춤화할 수 있는 기능을 제공합니다.

• 기존의 OpenAI, Google 등과 차별화된 비디오 중심의 AI 모델.
• 광고 삽입, 콘텐츠 검토, 하이라이트 자동 생성 등 다양한 작업에 활용 가능.

3. 멀티모달 기능 확장

Twelve Labs의 모델은 비디오뿐만 아니라 이미지, 오디오, 텍스트를 모두 처리할 수 있는 멀티모달 검색 기능을 제공합니다.

• Marengo 모델: 이미지, 오디오, 비디오 간 검색 가능.
• Embed API: 데이터 간 의미와 관계를 수학적으로 표현하여 이상 탐지, 데이터 분석 등에 활용.

---

🔍 윤리적 문제와 대응 방안

AI 모델의 편향(Bias)은 비디오 분석 AI에서 중요한 문제입니다.

• 과거 연구에 따르면 뉴스 클립을 학습한 AI가 인종적 편견을 학습할 가능성이 있음.

Twelve Labs는 다음과 같은 대응책을 준비 중입니다:

• 모델 배포 전 편향 테스트 진행.
• 의미 있는 윤리적 벤치마크 개발 중.
• 데이터 출처: 공공 도메인 및 라이선스 데이터 활용, 고객 데이터는 훈련에 사용하지 않음.

---

🚀 성장과 투자 유치

Twelve Labs는 비디오 분석 기술을 기반으로 빠르게 성장하며 다양한 업계에서 활용되고 있습니다.

주요 고객 및 파트너

• Databricks: 데이터 파이프라인에 Twelve Labs의 임베딩 서비스 통합.
• Snowflake: AI 서비스인 Cortex AI와 Twelve Labs 모델 연동.
• 주요 활용 사례:
  • 실시간 위협 감지, 교통 관리, 응급 대응 시간 단축 등.

투자 현황

• 최근 SK Telecom, Databricks Ventures, Snowflake Ventures, In-Q-Tel 등의 참여로 3000만 달러를 추가 유치하며, 총 1억 710만 달러의 투자 확보.
• 투자금 활용:
  • 제품 개발 및 팀 확장.
  • 엔지니어링, 연구, 고객 지원 등 다양한 부문에서 채용 확대.

---

📈 새로운 리더십과 확장 전략

Yoon Kim 전 SK텔레콤 CTO가 사장 및 전략 책임자로 합류하며 글로벌 확장에 박차를 가하고 있습니다.

• Kim은 Apple Siri 개발 경험과 SK텔레콤 기술 리더십을 바탕으로 Twelve Labs의 글로벌 전략을 강화할 예정.
• San Francisco와 서울을 기반으로 확장 계획 실행.

---

🔮 미래 전망과 기대

Twelve Labs는 새로운 시장으로의 확장을 목표로 하고 있습니다.

• 보안 및 국방: In-Q-Tel의 투자는 국가 보안 및 방위 분야에서의 활용 가능성을 시사.
• 자동차 산업: 실시간 비디오 분석을 통한 자율주행 및 안전 시스템 개발 가능성.

Jae Lee는 “우리 기술은 데이터센터에서 디바이스까지 다양한 환경에서 실시간으로 작동할 수 있는 AI 애플리케이션의 새로운 시대를 열 것”이라며 기대감을 나타냈습니다.

Twelve Labs의 기술과 비전이 어떻게 AI와 비디오 분석의 한계를 뛰어넘을지 주목해볼 만합니다. 😊