Jasna — 영상과 이미지의 모자이크 복원 도구

Jasna는 영상과 이미지에서 모자이크 영역을 찾아 복원하는 무료 GPU 기반 도구입니다. GUI와 CLI를 제공하며, RTX 5090에서 3분 22초 영상 처리 시간이 이전 도구 Lada보다 해상도에 따라 3.4~4.7배 짧았다고 보고합니다.

주제: 영상 처리 GPU 개발 도구

에디터 노트

Jasna의 성능 비교는 RTX 5090과 BasicVSR++라는 구체적인 조건에서 수치로 제시됩니다. 이 조건에서는 720p부터 2160p까지 Lada 0.11.0보다 처리 시간이 짧고, 문서도 Lada가 GPU 메모리를 더 적게 쓴다고 함께 밝힙니다. 따라서 속도 향상과 메모리 사용량은 별개의 비교 항목으로 읽어야 합니다. 복원 결과의 품질을 수치로 비교하는 자료는 여기에 제시되지 않았으며, LTX의 세부 묘사도 정성적인 설명에 머뭅니다. 공개된 벤치마크는 처리 시간과 메모리 사용량을 판단하는 데는 근거가 되지만, 복원 품질이나 다른 GPU에서의 성능까지 입증하지는 않습니다. 영상 처리 파이프라인과 GUI, CLI를 제공하는 점은 확인할 수 있지만, 모델과 번들 의존성의 라이선스는 애플리케이션 소스와 따로 확인해야 합니다.

AI 요약

Jasna는 영상과 이미지의 모자이크 영역을 감지하고 해당 부분만 복원합니다. 나머지 화면은 그대로 둡니다. GUI에서 복원할 구간을 미리 보고 선택하는 Segment Editor를 지원하며, VR180 영상과 실시간 미리보기도 처리합니다. 대부분의 작업은 GPU에서 실행합니다.

처리 방식과 모델

영상은 GPU로 디코딩한 뒤 기본 감지 모델 rfdetr-v6로 모자이크를 찾습니다. 시간에 따라 영역을 추적해 클립으로 묶고 장면 전환 지점에서 클립을 나눕니다. 기본 복원 모델 BasicVSR++는 클립을 256x256 이미지로 복원하며, 클립 사이를 조금 겹쳐 처리해 경계에서 생기는 점프를 줄입니다. 복원 결과를 원본 프레임에 합성해 모자이크 영역만 바꿉니다. GPU 인코더로 영상을 저장하고 오디오는 가능한 한 그대로 복사합니다.

추가 복원 옵션으로 UNet 4x, RTX Super Res, Topaz TVAI를 사용할 수 있습니다. 후원자용 LTX는 확산 모델을 사용하며 영상을 감지, 준비, 복원, 저장의 네 단계로 처리합니다. BasicVSR++보다 느리지만 더 많은 세부 묘사를 더할 수 있다고 안내합니다. LTX는 NVIDIA 전용이며 RTX GPU와 VRAM 8GB 이상, RAM 16GB 이상이 필요합니다. 지원 모델은 라이선스 코드로 활성화하며 코드 하나를 PC나 클라우드 작업 공간 3곳에서 사용할 수 있습니다. 활성화 뒤에는 오프라인에서도 작동합니다.

GPU와 실행 환경

NVIDIA는 GTX 16 시리즈나 RTX 20 시리즈 이상이 필요하며, GTX 10 시리즈와 이전 제품은 지원하지 않습니다. AMD Radeon RX 7000과 9000 계열은 실험적으로 지원합니다. AMD에서는 보조 복원과 LTX를 사용할 수 없습니다. 지원 파일 시스템은 Windows의 NTFS와 Linux의 ext4, Btrfs, XFS, ZFS이며 네트워크 디스크는 지원하지 않습니다. 프로그램 경로에는 중국어, 일본어, 악센트 문자 등 영문이 아닌 문자를 넣지 말아야 합니다.

첫 작업 전에는 NVIDIA GPU에 맞춰 모델을 준비합니다. 이 과정은 15~60분 걸리며 한 번만 수행합니다. 준비된 파일은 model_weights 폴더에 저장되므로 Jasna를 업데이트할 때 새 버전으로 복사하면 다시 기다리지 않아도 됩니다. 메모리가 부족하면 Max Clip Size를 낮추라고 안내합니다. GUI 외에도 CLI로 영상, 이미지, 폴더 단위 작업을 실행할 수 있습니다.

성능과 라이선스

개발자가 공개한 RTX 5090 Linux 측정에서 3분 22초 영상의 BasicVSR++ 처리 시간은 720p 32초, 1080p 34초, 2160p 1분 3초입니다. 비교 대상인 Lada 0.11.0은 각각 1분 47초, 2분 2초, 4분 56초로 Jasna가 3.4~4.7배 빠릅니다. 같은 표에서 Jasna v0.9.1의 GPU 메모리 사용량은 해상도별 최대 4.6GB, 5.6GB, 10.9GB입니다. Lada는 Jasna보다 GPU 메모리를 적게 쓴다고 문서에 적혀 있습니다.

공개 애플리케이션 소스는 AGPL-3.0 라이선스입니다. 모델과 번들 의존성은 각각 별도 조건을 따릅니다. 프로젝트는 Lada에서 영감을 받았고 일부를 기반으로 삼았다고 밝히며, mosaic_restoration_1.2 모델은 Lada 개발자가 학습했다고 설명합니다. 후원자 모델 라이선스 코드는 Buy Me a Coffee, Unifans 또는 중국 README에 안내된 판매처에서만 구매할 수 있습니다.

원문: GitHub / 번역·요약: Trawling

원문 보기 ↗토론 보기 ↗