OpenZL v0.2, Zstandard보다 압축 해제 2배 빠른 LZ 엔진
OpenZL v0.2는 자체 LZ 엔진을 도입해 Zstandard보다 2배 이상 빠른 압축 해제를 내세웁니다. 새 오프셋 인코딩과 PivCo Huffman, 데이터에 맞춰 압축기를 조정하는 학습기를 설명하고, 압축률과 속도 사이의 여러 선택지를 벤치마크로 제시합니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
리눅스 커널 LZ4 코드 재동기화로 성능과 유지보수 개선
삼성의 Michal Wilczynski가 커널 내 LZ4 코드를 최신 upstream 코드와 동기화하는 패치 묶음을 제출했습니다. EROFS 읽기 처리량은 클러스터 크기에 따라 약 11~14% 높아졌고, 다른 커널 내 벤치마크에서는 최대 21% 향상을 보였습니다.
gzip은 언어 모델이 될 수 있을까요?
gzip의 DEFLATE 압축기가 텍스트의 다음 바이트를 예측하는 모델처럼 작동할 수 있는지 실험합니다. 코퍼스를 압축 창에 넣고 압축 길이를 점수로 삼아 beam search를 수행하자, 문장은 어색하지만 학습한 텍스트의 패턴을 일부 이어갔습니다.