지수적 트래픽 증가를 되돌리기: 하드웨어 사용량을 낮추는 방법
Cloudflare 데이터 파이프라인은 2026년 로드 밸런싱, 조기 샘플링, 단계별 집계를 적용해 백본 트래픽을 약 70GB/s 줄였습니다. 트래픽 증가 속도가 절감분을 빠르게 잠식하는 상황에서, 데이터 처리 위치와 방식을 바꿔 하드웨어 증설을 늦춘 과정을 설명합니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
Polars 2.0 출시 — 스트리밍 실행과 디스크 스필 기본 적용
Polars 2.0은 LazyFrame의 collect()에서 스트리밍 엔진을 기본 사용하고, 메모리가 부족하면 디스크에 데이터를 기록하는 out-of-core 처리를 켭니다. SQL 지원과 쿼리 최적화도 강화했으며, TPC-H·TPC-DS 벤치마크에서 대부분의 항목이 가장 빨랐다고 밝혔습니다.
미국 의회 주식 거래 신고 10,809건을 정리해 183,675건의 거래 데이터베이스로 공개했습니다
미국 하원·상원 의원의 주식 거래 신고를 정리한 데이터셋과 SQLite 도구를 공개했습니다. Hugging Face나 SQL로 데이터를 조회하고, 공식 신고 자료에서 직접 데이터베이스를 구축할 수도 있습니다.