LLM 토큰마다 같은 너비를 차지하는 글꼴 만들기
토크나이저와 글꼴을 결합해 텍스트의 각 토큰을 같은 너비로 그리는 TTF를 생성하는 프로젝트입니다. 여러 토크나이저를 지원하고 검증 결과도 공개하지만, 브라우저 렌더링과 유니코드 처리에 따른 오차가 남아 있어 정확한 토큰 계수기보다는 시각화 도구에 가깝습니다.
오픈소스 · 최신기사
직접 활용할 공개 저장소와 프로젝트를 소개합니다.
직접 활용할 공개 저장소와 프로젝트를 소개합니다.
토크나이저와 글꼴을 결합해 텍스트의 각 토큰을 같은 너비로 그리는 TTF를 생성하는 프로젝트입니다. 여러 토크나이저를 지원하고 검증 결과도 공개하지만, 브라우저 렌더링과 유니코드 처리에 따른 오차가 남아 있어 정확한 토큰 계수기보다는 시각화 도구에 가깝습니다.