[2023 Google I/O] Supercharge your web app with machine learning and MediaPipe

원본 링크: https://io.google/2023/program/dcece33d-7fc9-490c-8a6d-cc7f83fc0d1f/

Google I/O 2023

 

2023 Google I/O가 진행되었고, Web 관련된 세션들도 정말 많이 발표되었다.

그 중 재미있는 몇 가지를 간단히 요약해보려한다.

 

첫 번째로 정리해볼 세션은 위 링크에 있다. 제목에 ML로 앱을 향상시킨다는 내용이 있어 궁금해서 바로 봤다.

내용 정리는 ChatGPT에게 시켰다. 이거 해보려고 $20 결제해서 GPT4 사용했다.

긴 영상 내용만 파악하고 넘어가고 싶을 때 아주 좋은 것 같다.

 

내용 간단 정리

1. 미디어파이프(MediaPipe) 소개
   • 구글에서 개발한 오픈 소스 기술
   • 실시간 미디어 처리를 위한 크로스 플랫폼 프레임워크
2. 미디어파이프의 주요 기능
   • 비디오, 오디오, 그래픽 처리 및 분석을 위한 라이브러리 제공
   • 기계 학습(ML) 모델을 쉽게 통합하여 실시간 미디어 처리를 향상시킴
3. 미디어파이프의 구성요소
   • 계산 그래프(computational graph) : 처리 작업의 흐름을 정의하는 데 사용됨
   • 노드(node) : 입력 데이터를 받아 처리한 후 결과를 출력하는 요소
   • 스트림(stream) : 노드 간 데이터를 전달하는 경로
4. 미디어파이프 사용 사례
   • 손 추적 : 손의 움직임을 인식하고 분석하는 애플리케이션
   • 얼굴 인식 : 얼굴의 특징을 감지하여 감정, 나이, 성별 등을 판단하는 기능
   • 포즈 추정 : 인체의 관절 위치를 인식하여 움직임을 추적하고 분석하는 기능
5. 웹 애플리케이션에서 미디어파이프 사용
   • 미디어파이프 자바스크립트 라이브러리를 사용하여 웹 애플리케이션에 통합 가능
   • 웹 카메라 및 기타 미디어 소스에서 스트리밍 미디어 처리를 지원

 

위 내용정리에 나온 내용대로, MediaPipe를 사용하여 웹개발시에 이미 학습된 ML모델의 적용을 간단히 할 수 있다.

직접 커스텀 학습 시키는 방식도 가능하다.

자세한 내용은 풀영상을 보면 도움이 된다. 

연동 예시와 커스텀 모델 사용 예시 등을 예시로 보여주고 있다.

더 관심이 생긴다면 아래 링크를 통해 미디어파이프 홈페이지를 둘러볼 수 있다.

https://developers.google.com/mediapipe

MediaPipe  |  Google Developers