Lightpanda, 933개 URL 크롤링서 25개 병렬 작업 성능 공개

본문

Lightpanda 프로젝트는 AI 에이전트와 웹 자동화에 쓰도록 만든 Zig 기반 헤드리스 브라우저를 공개하고 있습니다. 프로젝트가 제시한 크롤링 시험에서 933개 URL을 25개 작업으로 병렬 처리했을 때 Lightpanda는 4.81초와 메모리 최대 123MB를 기록했고, Headless Chrome은 46.70초와 2.0GB를 기록했습니다. 이 결과는 특정 사이트와 동시 작업 수에서 나온 프로젝트 측정치입니다.

Lightpanda는 Chromium이나 WebKit을 바탕으로 삼지 않고 새로 만든 브라우저입니다. 그래픽 렌더링 엔진 없이 HTML을 읽고 JavaScript와 DOM, Fetch·XHR을 처리하며, CDP와 WebDriver BiDi로 Puppeteer 같은 자동화 도구를 연결합니다. 화면을 그리는 대신 페이지를 불러와 데이터를 추출하고 폼을 조작하는 서버 측 작업에 초점을 맞췄습니다.

25개 병렬 작업에서의 차이

벤치마크는 데모 상품 사이트의 색인 페이지에서 링크를 따라가며 전체 933개 페이지를 방문하는 크롤링입니다. 같은 chromedp 클라이언트로 두 브라우저를 구동했지만, Chrome은 한 브라우저 안에서 여러 탭을 열고 Lightpanda는 탭 여러 개를 한 프로세스에서 실행하지 못해 작업마다 별도 프로세스를 띄웠습니다. 따라서 25개 조건은 Chrome의 탭 수와 Lightpanda의 프로세스 수를 비교합니다.

이 조건에서 Lightpanda의 완료 시간은 4.81초, 최대 메모리는 123MB였고 Chrome은 각각 46.70초와 2.0GB였습니다. 상세 벤치마크 문서는 공유 페이지가 중복 계산되지 않도록 PSS 기준으로 메모리를 측정했다고 설명합니다. Chrome은 탭끼리 렌더러와 V8 힙 등 자원을 공유해 탭 수가 늘면 경쟁이 생기며, Lightpanda는 프로세스가 서로 독립적이어서 25개 작업까지 처리량이 늘었다고 프로젝트는 설명합니다. 100개 조건에서는 Lightpanda 메모리가 410.2MB로 증가하고 완료 시간도 5.23초로 늘었습니다.

수치의 적용 범위에도 조건이 있습니다. 이 시험은 링크를 따라가는 특정 크롤링 작업이며, 화면 렌더링이 필요한 브라우저 사용을 비교하지 않습니다. 또한 GitHub README는 시험 장비를 AWS EC2 m5.large로 적었지만 상세 벤치마크 문서는 AWS m5.xlarge라고 적었습니다. 상세 문서의 비교표에는 Chrome 143.0.7499.169가 명시돼 있습니다.

참고 자료

• Benchmarks - Documentation | Lightpanda — https://lightpanda.io/docs/core-concepts/benchmarks