Vivo는 벤치마크를 속이고 있나?

AI 요약

Vivo X Fold6는 MediaTek Dimensity 9500 SoC와 12GB LPDDR5x RAM을 탑재한 폴더블폰입니다. 성능이 높은 칩일수록 발열이 커지므로 냉각 설계와 전력·열 제한이 지속 성능을 좌우합니다. Notebookcheck은 X Fold6를 테스트하던 중 3DMark 스트레스 테스트가 몇 차례 실행된 뒤 중단되는 현상을 먼저 확인했습니다. 처음에는 발열 문제로 봤지만, 벤치마크 앱을 기기가 식별한 결과일 가능성도 제기됐습니다.

■ 이름을 바꾼 3DMark 앱으로 재시험

UL(Underwriters Laboratories)은 테스트 앱의 이름과 패키지를 바꾼 ‘위장한’ 3DMark 앱을 제공했습니다. 같은 스트레스 테스트를 위장한 앱으로 실행하자 중단 없이 끝까지 진행됐습니다. 기기가 Play Store에서 내려받은 공식 3DMark 앱과 다른 앱을 구분해 성능 프로필을 적용한다는 정황입니다.

다른 3DMark 테스트에서도 차이가 반복됐습니다. Steel Nomad에서 Play Store 버전은 2,962점, 위장한 버전은 1,981점을 기록했습니다. 공식 버전이 49.5% 높습니다. Solar Bay Extreme에서는 각각 1,363점과 883점이 나왔고, 공식 버전이 54.4% 높았습니다. 전체적으로 Play Store 버전 점수가 위장한 버전보다 30% 이상 높게 나왔습니다.

■ UL 규정 위반 판단

Notebookcheck은 앱 이름에 따라 성능을 높이는 동작을 벤치마크 전용 최적화로 봤습니다. UL 규정은 특정 벤치마크 앱을 감지해 별도 성능 프로필을 적용하는 방식을 허용하지 않습니다. 일반 앱이나 게임에서도 같은 성능 프로필을 선택할 수 있다면 해석이 달라질 수 있지만, 이번 테스트에서는 공식 벤치마크 앱만 스트레스 테스트를 통과하고 훨씬 높은 점수를 냈습니다.

Notebookcheck은 Vivo X Fold6 자체는 여전히 좋은 폴더블폰이라고 평가했습니다. 다만 벤치마크 결과의 신뢰성이 떨어진다고 보고 최종 평점을 낮췄습니다.

■ 커뮤니티 반응

• @u/upbeatchief — Steel Nomad에서 2,962점 대 1,981점, Solar Bay Extreme에서 1,363점 대 883점이라면 완전한 사기입니다. 이 정도로 인위적인 점수를 만들면 사람들을 노골적으로 속이는 행위입니다.
• @u/RJsRX7 — 벤치마크에서 감지된 앱에 적용하는 것과 같은 성능 프로필을 게임에서도 쓰지 않는다면 벤치마크 치팅입니다. 적용한 프로필로 스트레스 테스트조차 끝내지 못하므로, 어느 쪽이든 그 성능을 짧은 순간 이상 실제로 쓰지 못한다는 뜻입니다. 결국 순수한 연출에 가깝습니다.
• @u/b3081a — 중국의 4대 스마트폰 제조사는 모두 치팅합니다. 차이는 정도뿐입니다. Geekerwan이 지난번에 이를 폭로하려 했지만, 영상이 중국에서 몇 달 동안 섀도 밴을 당했습니다.
• @u/Ok-Currency1593 — 중국 스마트폰 브랜드는 전부 이런 일을 합니다. 실제로 구매한 휴대폰은 리뷰 벤치마크 결과보다 30% 느립니다.
• @u/EloquentPinguin — 많은 제조사가 게임처럼 배터리 효율보다 60FPS 달성이 중요한 앱을 제외하고 효율 프로필을 적용합니다. 그런 앱 목록을 하드코딩한 것이라면 정상적인 설명이 될 수 있습니다. 동적 스케줄링보다 이상한 방식이지만 꽤 흔한 처리입니다. 그래서 이것을 곧바로 치팅이라고 부르기는 어렵습니다. 벤치마크에서 게임보다 높은 성능을 낸다면 분명 치팅입니다. 반대로 게임에서도 기대할 수 있는 성능을 벤치마크 앱에 적용한 것이라면 구분이 필요합니다. 벤치마크에서 SoC에 게임보다 더 높은 전력이나 더 긴 지속 전력, 더 높은 발열을 허용했는지가 판단 기준이 됩니다.
• @u/T_rex2700 — 오래된 이야기입니다. 대부분의 휴대폰에는 벤치마크 전용 프로필이 들어 있습니다. Geekbench나 3DMark에서는 허용되지 않지만, 한 업체가 앞서가면 다른 업체도 같은 방식으로 하지 않고는 경쟁하기 어렵습니다. Geekbench나 3DMark가 실제로 이를 단속하거나 막을 수 있는 것도 아닙니다. Antutu는 패키지 이름을 바꾸면 실행되지 않게 해뒀고, 공식 Weibo 계정은 기업의 높은 점수를 칭찬합니다. 완전히 쓸모없는 숫자입니다. 그래서 몇 년 전부터 많은 리뷰어가 실제 앱 성능을 나란히 측정하는 방식으로 옮겨갔습니다. 다만 시간과 장비, 기술, 지식이 필요하므로 대부분의 ‘리뷰어’는 성능 부분을 건너뛰어도 됩니다.
• @u/Stennan — 기기가 SoC 전압을 보고하도록 만들면 됩니다. 벤치마크 앱에서 끌어오는 전력과 다른 앱에서 끌어오는 전력을 비교하면 충분한 단서가 나옵니다. 그러면 제조사가 벤치마크 점수는 내세우면서 실제 사용에서는 성능이 떨어진다고 주장하기 어려워집니다.
• @u/bunihe — GPU만 제한하는 것이 아니라 CPU도 제한합니다. 그 추가 성능을 사용자가 직접 켤 수 있게 해주면 좋겠지만, 실제로 그런 제한은 크게 신경 쓰지 않습니다. 휴대폰 SoC는 벤치마크에 점점 더 맞춰지고 있습니다. Apple을 제외하면 모두 4.5GHz 이상을 노리며, 그런 클럭과 마이크로아키텍처·전력 설계는 효율이 매우 나쁩니다. 사용자 입장에서는 그런 성능을 원하지 않습니다. GPU는 이야기가 다릅니다. 휴대폰에서 SNL 성능 1,500점을 넘게 사용하는 앱도 거의 없고, 3,000점은 더더욱 필요하지 않습니다.
• @u/Morning_Gecko24 — 공개된 성능 모드와 벤치마크 앱을 몰래 감지하는 방식에는 실제 차이가 있습니다. 제조사가 전력과 열 제한을 원하는 대로 조정해도 되지만, 화이트리스트가 있으면 휴대폰끼리 비교할 때 점수가 무의미해집니다. 패키지 이름을 바꾸고 지속 성능 테스트를 진행하면 이런 동작은 빠르게 드러날 것입니다.

원문: Notebookcheck / 번역·요약: Trawling