LLM 토큰마다 같은 너비를 차지하는 글꼴 만들기
토크나이저와 글꼴을 결합해 텍스트의 각 토큰을 같은 너비로 그리는 TTF를 생성하는 프로젝트입니다. 여러 토크나이저를 지원하고 검증 결과도 공개하지만, 브라우저 렌더링과 유니코드 처리에 따른 오차가 남아 있어 정확한 토큰 계수기보다는 시각화 도구에 가깝습니다.
최신기사
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
AI, 개발 도구, 오픈소스, 보안과 인프라의 변화와 이용 조건을 설명하는 최신 기사와 해설입니다.
토크나이저와 글꼴을 결합해 텍스트의 각 토큰을 같은 너비로 그리는 TTF를 생성하는 프로젝트입니다. 여러 토크나이저를 지원하고 검증 결과도 공개하지만, 브라우저 렌더링과 유니코드 처리에 따른 오차가 남아 있어 정확한 토큰 계수기보다는 시각화 도구에 가깝습니다.