🧠 AI 경쟁 2라운드, GPT-4o와 허(HER)

지난주는 멀티모달 AI 경쟁의 서막이라고 할수 있을 정도였습니다. 오픈AI가 화요일 새벽 GPT-4o 공개로

2024. 5. 19.

지난주는 멀티모달 AI 경쟁의 서막이라고 할수 있을 정도였습니다. 오픈AI가 화요일 새벽 GPT-4o 공개로 스타트를 끊었고, 연이어 구글이 그와 유사한 기능을 Gemini 를 통해 시연했습니다. 그리고 며칠전 메타는 카멜레온 논문을 공개했고요. 새 LLM의 발표가 더는 크게 주목받지 못할정도로 AI에 익숙해진 지금, 멀티모달의 연이은 공개는 살짝 식은 AI에 다시 불을 붙이는 듯한 분위기입니다. 이 상황에서 우리들은 어떤 기업이 경쟁에 참여하고 있는지 알 필요가 있을 것 같습니다. 특히 AI의 빠른 변화를 아직 따라가지 못한 분들을 위해 조사해봤습니다.

🤔 LLM? 멀티모달?

멀티모달 모델은 텍스트, 이미지, 오디오 등 여러 형태의 데이터를 동시에 처리 → 허(HER)
대형 언어 모델(LLM)은 주로 텍스트 데이터에 초점을 맞추어 언어 관련 작업을 수행 → 챗봇
LLM에 대해서는 <메타가 새로 공개한 Llama 3 는 AI 일까?> 참고 - 링크

🥊 멀티모달 경쟁, 누가 발 빠르게 참여하고 있나?

1️⃣ GPT-4o - 오픈AI : 링크

유형: 옴니모델(Omnimodel)
능력: 텍스트, 이미지, 오디오 등을 깊게 통합하여 맥락을 이해하고 정교한 응답 생성.
성능: 모달리티 간의 고급 맥락화.
효율성: 명시되지 않음.
공개: 2024년 5월

2️⃣ 제미니/제미나이(Gemini) 1.5 프로 - 구글 : 링크

유형: 멀티모달
능력: 텍스트, 이미지, 비디오, 오디오, 코드를 처리. 최대 100만 토큰의 장기 컨텍스트 창 제공.
성능: 다양한 작업에서 높은 성능, Mixture-of-Experts (MoE) 아키텍처 활용.
효율성: 큰 컨텍스트 창을 효율적으로 처리.
공개: 2024년 5월

3️⃣ 카멜레온(Chameleon) - 메타 : 링크

유형: 혼합 모달(Mixed-Modal)
능력: 이미지와 텍스트를 이해하고 생성. 이미지 캡션, 시각적 질문 응답, 텍스트 및 이미지 생성, 장기 작업에 우수.
성능: Gemini Pro와 GPT-4V 같은 대형 모델과 동등하거나 더 나은 성능.
효율성: 효율적인 훈련 및 정렬 기술 사용.
공개: 2024년 5월

4️⃣ 이미지바인드(ImageBind) - 메타 : 링크

유형: 멀티모달
능력: 텍스트, 이미지, 비디오, 오디오, 3D 측정, 온도 데이터, 운동 데이터 통합. 텍스트나 소리에서 장면 생성에 유용.
성능: 다양한 데이터 유형에서 다재다능.
효율성: 여러 데이터 유형 처리에 효율적.
공개: 2023년 5월

5️⃣ MM1 - 애플 : 링크

유형: 멀티모달
능력: 이미지와 텍스트 해석, 객체 수 계산, 이미지의 부분 식별, 맥락 학습 지원.
성능: 지속적인 상호작용에 효과적.
효율성: 명시되지 않음.
공개: 2024년 3월

6️⃣ 멀티모달 모델 - 퀄컴 : 링크

유형: 멀티모달
능력: 모바일 장치용 설계, 여러 입력 유형 지원, 다중 턴 대화에 최적화.
성능: 모바일 애플리케이션에 효과적.
효율성: 온디바이스 내 프로세스에 매우 효율적.
공개: 2024년 2월

7️⃣ 푸유-헤비(Fuyu-Heavy) - 어뎁트 : 링크

유형: 멀티모달
능력: 텍스트와 이미지를 효율적으로 처리, 복잡한 계산과 장기 대화에서 뛰어남.
성능: 다양한 벤치마크에서 우수.
효율성: 기업 환경에 최적화.
공개: 2024년 1월

🤔 멀티모달? 옴니모델?

옴니모델 (Omnimodel)
- 설명: 단일 모델 아키텍처 내에서 다양한 데이터 모달리티(텍스트, 이미지, 오디오 등)를 깊이 통합.
- 특징: 여러 모달리티를 동시에 원활하게 처리하고 해석하여 모달리티 간 상호작용을 활용해 더 정교한 응답을 생성.
멀티모달 (Multimodal)
- 설명: 여러 모달리티(텍스트, 이미지, 오디오 등)를 처리하는 모델.
- 특징: 각 모달리티를 별도로 처리한 후 결과를 결합하는 방식. 개별 모달리티의 특화된 컴포넌트 사용.
혼합 모달 (Mixed-modal)
- 설명: 초기 융합 접근 방식으로 다양한 모달리티를 통합하여 처리.
- 특징: 입력 데이터를 조기에 결합하여 다양한 모달리티를 동시에 처리, 예를 들어 텍스트와 이미지를 함께 이해하고 생성.
요약
- 옴니모달은 다양한 모달리티를 깊이 통합하여 동시에 처리.
- 멀티모달은 개별 모달리티를 별도로 처리한 후 결합.
- 혼합 모달은 초기 단계에서 다양한 모달리티를 결합하여 처리.

🔮 멀티모달, 그 다음은?

이제는 영화 HER를 재현할수 있는 기술이 준비된 만큼, 일상과 맞닿은 레이어, 즉 온디바이스 AI의 경쟁이 다가오고 있다고 생각합니다. 모두가 기다리고 있으니까요. 그 관점에서 본다면 아무래도 이미 스마트폰과 웨어러블 디바이스 모두 엄청난 점유율을 자랑하는 애플과 삼성, 일단 갖출건 다 갖춘 구글, 안경 포지션을 선점중인 메타, 그리고 중국의 스마트폰 기업들이 어드밴티지가 있을 것이라고 생각합니다.

📌 (한국시간 기준)금주의 실적발표 일정

네이버 프리미엄콘텐츠에 연재를 시작했습니다! X에 포스팅 하는 내용보다 조금 더 풍부한 내용으로 구성 되어있고, 앞으로도 살을 더 붙여볼 생각입니다. 기존에 테스트 삼아 몇번 게시했던 어닝콜 전문과 주요 해외 리포트 번역본 역시 앞으로 네프콘을 통해서 꾸준하게 제공될 예정입니다.

최신 콘텐츠

Arm 실적발표 - 발표내용 요약, 어닝콜 전문

쿠팡 실적발표 - 발표내용 요약, 어닝콜 전문

오픈도어 실적발표 - 발표내용 요약, 어닝콜 전문

그랩 실적발표 - 발표내용 요약, 어닝콜 전문

월마트 실적발표 - 발표내용 요약, 어닝콜 전문

채널 바로가기