Reddit

Claude and I built a 'video' format so Claude (and other LLMs) could 'watch' videos!

LLM이 영상 내용을 살펴보도록 돕는 브라우저 기반 프레임 그리드 도구

Frame Grid는 동영상이나 GIF에서 프레임을 추출해 번호와 시간 정보가 있는 PNG 그리드로 묶습니다. 브라우저에서 오프라인으로 작동하며 자막 동기화, 중복 프레임 제거, 프레임별 구조 지문과 JSON 내보내기도 지원합니다. 비슷한 작업은 ffmpeg로도 가능하지만, 설치 없이 쓸 수 있는 점을 내세웁니다.

AI 요약

Frame Grid는 동영상·GIF를 일정 간격으로 샘플링해 여러 프레임을 한 장의 PNG 그리드로 만듭니다. 각 프레임에 번호와 시간 정보를 붙여 LLM에 이미지로 전달할 수 있습니다. 동영상에 포함되지 않은 SRT·VTT 자막 파일을 함께 불러오면 프레임에 자막을 표시하고, 프레임이 시작되는 시점과 연결한 TXT 대본도 내보냅니다. 카메라 촬영, 동영상 파일, 애니메이션 GIF를 입력으로 받으며 데이터는 브라우저 밖으로 전송하지 않습니다.

처리와 출력

프레임 간 MAD(Mean Absolute Difference)를 기준으로 비슷한 장면을 건너뛰거나 중복 표시할 수 있습니다. 선택 기능인 ElasticTOK는 프레임을 16×16 패치로 나누고 RGB 평균값을 양자화해 768개 토큰을 만듭니다. 토큰열에 suffix automaton을 적용해 압축률(CR)과 상태 수를 계산하고, 전이 밀도 지문을 32바이트로 압축합니다. 결과는 프레임별 JSON manifest에 담깁니다. 높은 CR은 정적인 화면처럼 구조가 반복되는 프레임, 낮은 CR은 세부 요소가 많은 프레임을 가리킵니다.

GIF는 지원 브라우저에서 ImageDecoder API로 처리하고, 사용할 수 없으면 GIF89a 파서와 LZW 디코더로 전환합니다. 프레임별 합성, 인터레이스, 폐기 방식도 처리합니다. 여러 그리드를 한 번에 ZIP으로 내려받을 수 있으며, 무제한 그리드 설정에서는 탭 메모리가 실질적인 제약이 됩니다. PNG는 캔버스가 아닌 이미지로 보관해 장시간 처리 중 메모리 사용을 줄입니다.

기존 도구와의 차이

프레임을 그리드로 만드는 작업 자체는 새롭지 않습니다. README도 ffmpeg의 tile 필터를 대안으로 안내합니다. 예를 들어 ffmpeg -i video.mp4 -vf "fps=2,scale=256:-1,tile=5x4" grid%02d.png로 프레임 그리드를 생성할 수 있습니다. Frame Grid는 명령줄 도구 설치나 스크립트 작성 대신 페이지에서 파일을 넣고 처리하는 흐름을 제공합니다. OCR과 오디오 전사는 현재 약속된 기능이 아니라 향후 연구 항목입니다.

Reddit 반응

  • @u/DeliciousGorilla — 이 프로젝트도 관심 있을 수 있습니다. 개발자가 논문도 썼습니다: cdaf.
    • @u/phatelectribe — Turbo Encabulator 영상을 보는 기분이었습니다. 쉽게 설명해 주실 분 있나요?
    • @u/Ascenspe — 에이전트에게 영상 읽는 법을 가르치는 것 같습니다. 처음에는 에이전트가 영상을 보고 설명을 만들고, 그다음부터는 다른 에이전트가 영상을 다시 보는 대신 텍스트를 읽어 사용량을 줄이는 방식입니다.
  • @u/cuddlingisfun — 이걸 ffmpeg로 할 수는 없나요?
    • @u/crispyfrybits — 당연히 됩니다. OP는 바퀴를 다시 발명하고 칭찬받으려는 것 같습니다.
    • @u/Flybutter101 — OP가 칭찬을 기대하는 것 같지는 않습니다. 다른 사람을 돕고 싶어 올린 순진한 게시물 같은데 너무 부정적이네요.
    • @u/Khamubro — 고맙습니다. 대단한 걸 발명했다고 말하려던 게 아니라, 다른 도구가 있는 줄 몰랐고 무료로 만든 걸 공유하고 싶었습니다.
  • @u/jacksterson — Claude에게 시키면 되는데, 앱까지 필요하지는 않습니다.
    • @u/Khamubro — 토큰을 쓰지 않고 무료로 처리하는 앱입니다.
    • @u/jacksterson — 그 점은 생각 못 했네요!
  • @u/BlueFrozenSoul — 써 봤는데 좋습니다. 전부 로컬에서 처리한다면 왜 그리드가 20개로 제한되나요? 30분짜리 영상은 끝까지 처리하지 못했습니다.
    • @u/Khamubro — 제한을 없앤 v2.5를 방금 올렸습니다. 슬라이더를 끝까지 밀면 무제한이고, 전체 다운로드 기능도 추가했습니다.
    • @u/BlueFrozenSoul — 정말 고맙습니다!
  • @u/CPSiegen — 저장소에는 영상 내용을 텍스트화하려는 듯한 처리 기능이 많지만, 데모의 기본 기능은 일정 간격으로 프레임을 뽑아 그리드로 만드는 것입니다. 오래전부터 흔하고 쉬운 작업이며 기존 웹 도구나 ffmpeg로 할 수 있습니다. 데모 사이트는 모바일 다크 모드에서 접근성도 좋지 않습니다.
  • @u/AncientGrief — AI에 ffmpeg를 직접 쓰게 하면 안 되나요? 저는 잘 쓰고 있습니다.
    • @u/Khamubro — 만들 때 ffmpeg를 몰랐고, 이 도구는 무료라 토큰을 쓰지 않습니다.

원문: GitHub / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗