GeForce RTX 20·30·40 텐서 연산 제한 푸는 도구 등장

본문

GeForce RTX 20·30·40 시리즈의 특정 텐서 연산 속도 제한을 바꾸는 오픈소스 도구들이 등장했습니다. Linux 커널 모듈이 Nvidia 드라이버보다 먼저 GPU의 속도 선택 레지스터를 수정하는 방식입니다. RTX 3090 Ti의 개발자 시험에서는 450W 제한 아래 BF16 행렬 연산 처리량이 87.5에서 157.4 TFLOPS로 늘었지만, RTX 4090의 실제 행렬 작업에서 보도된 향상 폭은 12~34%였습니다. 프롬프트 처리와 이미지 생성, 파인튜닝은 이득을 볼 여지가 있지만, 메모리 대역폭이 병목인 챗봇 토큰 생성과 게임은 변화가 작을 수 있습니다. 도구 지원은 주로 Linux에 한정되며, RTX 20·40 시리즈 지원은 실험 단계입니다. gpu-unlock 개발자는 기존 전력 관리와 스로틀링이 유지된다고 설명하지만, Turing 도구는 높은 전력 소모와 하드웨어 손상 가능성을 경고합니다. 해당 Turing 성능 시험도 개조한 RTX 2080 Ti 한 대와 특정 드라이버 조합에서 이뤄졌습니다.

제한을 바꾸는 방법

GeForce 텐서 코어는 FP16이나 BF16 수를 곱한 뒤 FP32 정밀도로 누산하는 연산을 FP16 누산 방식보다 낮은 속도로 처리합니다. TechSpot은 이 제한이 같은 칩을 쓰는 일부 워크스테이션 카드에는 적용되지 않는다고 설명했습니다.

gpu-unlock은 Linux 부팅 과정에서 Nvidia 드라이버가 GPU에 연결되기 전에 속도 선택 레지스터를 수정하고 카드를 초기화합니다. 이후에는 수정하지 않은 Nvidia 드라이버가 작동합니다. 따라서 도구가 GPU에 새 연산 기능을 더하는 것이 아니라, 이미 지원하는 연산의 처리율 설정을 바꾸는 방식입니다. 주 프로젝트는 RTX 30 시리즈를 안정 지원으로 분류하고 RTX 20·40 시리즈는 실험적으로 지원합니다. RTX 50 시리즈는 지원 대상에 포함하지 않습니다.

최고 처리율과 실제 작업의 차이

TechSpot이 소개한 RTX 3090 Ti 시험에서 BF16 처리량은 450W 제한 아래 87.5 TFLOPS에서 157.4 TFLOPS로 높아졌습니다. TF32도 거의 두 배가 됐고 FP16 증가는 35%였습니다. RTX 4090은 FP16 명령 처리율이 165.6에서 331.6 TFLOPS로 두 배가 됐지만, 이는 원시 처리율입니다. 실제 행렬 작업에서 별도로 보고된 향상 폭은 12~34%였습니다.

작업별 차이는 연산이 GPU 성능을 얼마나 많이 쓰는지에 따라 생깁니다. 프롬프트 처리에서 14~36% 향상이 보고됐고, 이미지 생성과 파인튜닝도 FP32 누산 텐서 연산을 많이 사용해 이득을 볼 수 있습니다. 반면 챗봇이 응답을 한 토큰씩 생성할 때는 메모리 대역폭이 병목이 되기 쉬워 속도 변화가 작습니다. 게임도 이런 텐서 연산을 거의 사용하지 않습니다.

RTX 2080 Ti용 turing-unlock은 개조한 22GB 카드에서 행렬 크기에 따라 FP16 연산이 36~64% 빨라졌다는 개발자 시험을 제시했습니다. Turing 세대에는 BF16 하드웨어가 없어 해당 연산은 적용되지 않습니다. 시험은 Dell RTX 2080 Ti 22GB와 Nvidia 드라이버 575.51.03 조합에서 이뤄졌으며 README는 다른 카드나 드라이버를 시험하지 않았다고 밝힙니다.

지원 환경과 안전성

도구 지원은 Linux 중심입니다. 일부 Windows 이식판은 특정 하드웨어에서 시험된 실험 버전입니다. 노트북은 전용 GPU가 완전히 꺼지면 설정이 초기화될 수 있어 데스크톱과 작동 조건도 다릅니다.

gpu-unlock 개발자는 기존 전력 관리와 스로틀링이 유지돼 손상 가능성이 매우 낮다고 설명합니다. 반면 Turing 도구 README는 텐서 코어가 많은 전력을 쓰며 최대 속도로 구동하면 하드웨어가 손상될 수 있다고 경고합니다. 장기간 안정성이나 여러 카드에서의 통제된 비교 자료는 기사와 확인된 프로젝트 자료에 제시되지 않았습니다.

자료: TechSpot / 정리·해설: Trawling

참고 자료

• GitHub - Zagitta/gpu-unlock: Your GeForce runs AI at half speed. This fixes it for 20/30/40 series cards. Up to 2× FP16 / BF16 / TF32 tensor throughput · GitHub — https://github.com/Zagitta/gpu-unlock
• GitHub - nlzy/turing-unlock: Unlock full speed FP16 tensor core of NVIDIA Turing GPUs · GitHub — https://github.com/nlzy/turing-unlock