동영상에서 원하는 장면 검색하기

자유게시판

동영상에서 원하는 장면 검색하기

최근에 이미지 검색쪽을 공부하다가 동영상 속 장면을 검색할 수 있는 방법을 보고서
소개하고자 합니다.

아래 링크는 자연어를 이용해 유튜브 비디오를 검색하는 오픈소스입니다.
해당 예제는 유튜브 비디오를 대상으로 하지만 일반 동영상도 가능합니다.
이 오픈소스는 AI를 이용해서 텍스트와 이미지의 유사도를 구해서 이미지를 검색하는
방법을 취합니다.

실제로 실행하려면 소스를 실행해야 하기 때문에 사용하기에 어려울 수 있습니다.
Github에 있는 natural-language-youtube-search.ipynb 를 Google Colab에서 실행해
보는 것이 그나마 쉬운 방법으로 보입니다.
Facebook Twitter GooglePlus KakaoStory NaverBand 신고
 
8 Comments
26 장곡  
좋은 정보 감사합니다.
40 백마  
정보 감사합니다.^^
12 블랙헐  
싱기방기 해요~~~
2 darong  
원리를 간단히 설명하자면 이렇습니다.
동영상을 일정 간격으로 잘라서 이미지를 추출합니다.
이렇게 추출한 N개의 이미지와 검색어를 AI를 이용해 각각 벡터로 변환합니다.
그런 다음 이미지 벡터와 검색어 벡터의 내적(유사도)를 구하면 어느 이미지가 검색어와 유사한지
측정할 수 있습니다.
12 블랙헐  
darong님 설명해주셔서 감사드립니다. 그런데 제 메모리에 과부하가.....
10 섬진나루  
글로 설명하면 찾아 주는 것도 조금만 기다리면 가능하겠지요?
2 darong  
이 오픈소스가 글로 설명하면 그에 맞는 동영상 내 장면을 찾는 것이고,
아래 링크가 글로 설명한 내용에 맞는 이미지를 검색하는 오픈소스입니다.

https://github.com/haltakov/natural-language-image-search
10 섬진나루  
신통망통한 세상.