Reddit에는 여론 조작이 있을까요? 칼 관련 추천 데이터가 보여주는 것

AI 요약

작성자는 Reddit의 제품 추천이 실제 사용자 의견인지 살펴보려고 칼 관련 하위 커뮤니티 6곳의 게시물과 댓글을 분석했습니다. 검색어에 “reddit”를 붙이면 제휴 링크 중심 페이지 대신 사람들의 의견을 볼 수 있다는 믿음이 출발점입니다. 다만 구매자가 모이는 곳이라면 브랜드도 유료 추천을 심으려 할 수 있습니다. 작성자는 자신이 운영하는 New Knife Day의 데이터로 이 가능성을 측정해 봤습니다.

분석 방법과 데이터

초기 수집 자료는 게시 직후의 댓글에 치우쳐 있었습니다. 구매 상담 글에는 이후 하루나 이틀 동안 댓글이 더 달리기 때문에, 작성자는 48시간이 지난 게시물 3,607개의 댓글을 다시 수집했습니다. 전체 댓글은 21,673개에서 51,129개로 늘었습니다. 분석 대상은 댓글을 10개 이상 쓴 작성자 987명이며, 이들이 구매 상담 글에서 남긴 브랜드 언급은 1,471건입니다.

구매 상담 글은 제목이나 본문에 “should I buy”, “recommend”, “under $”, “best knife” 같은 문구가 있는지 정규식으로 판별했습니다. 브랜드 언급 성향은 댓글에서 브랜드를 얼마나 자주 언급하는지, 특히 같은 브랜드를 반복하는지로 점수화했습니다. 작성자는 이 점수 상위 5%인 49개 계정을 ‘꼬리(tail)’로 묶었습니다.

이 계정들이 단순히 댓글을 많이 써서 구매 글에도 자주 나타나는지 비교하려고, 브랜드 언급은 글과 브랜드에 그대로 둔 채 작성자 이름만 무작위로 다시 배정했습니다. 이를 1,000회 반복해 우연히 기대되는 비중을 계산했습니다. 사용자 이름은 해시 처리했고 댓글 본문은 공개하지 않았습니다.

데이터가 보여준 집중도

꼬리 계정은 구매 글의 브랜드 언급 가운데 11.3%를 차지했습니다. 무작위 재배정 결과 기대 비중은 7.9%였고, 1,000회 가운데 실제 비중인 11.3%에 도달한 경우는 2회였습니다. 전체적으로는 구매 추천 약 9건 중 1건이 꼬리 계정에서 나왔으며, 기대치인 13건 중 1건보다 약 50건 많았습니다.

차이는 커뮤니티와 브랜드마다 달랐습니다. r/chefknives에서는 꼬리 계정 비중이 14.9%, 기대치가 7.7%였고, r/knifeclub에서는 각각 12.4%, 7.3%였습니다. 가장 큰 커뮤니티인 r/knives는 6.7%와 6.4%로 기대치에 가까웠습니다. 브랜드별로는 코드명 B003이 구매 추천의 31.2%를 꼬리 계정에서 받았고 기대치는 8.0%였습니다. B004는 26.1% 대 8.2%, B001은 20.4% 대 11.8%였습니다. 브랜드명을 공개하지 않은 이유는 이런 집중도만으로 해당 업체가 돈을 썼다고 볼 수 없고, 가장 강한 신호를 보인 브랜드에 열성적인 팬층도 있기 때문입니다.

꼬리 계정은 분석 대상 하위 커뮤니티에서 댓글 수 중앙값이 12개, 점수 중앙값이 1이었습니다. 브랜드 언급 가운데 약 3분의 2는 계정마다 특정 브랜드 하나에 집중됐습니다. 다만 이 특징은 열성 팬이나 브랜드 직원에게서도 나타날 수 있어 유료 홍보의 증거는 아닙니다.

계정 전체 이력과 한계

작성자는 신호가 나타난 세 브랜드 관련 꼬리 계정 23개와 비교 계정 23개의 Reddit 이력도 확인했습니다. 이 가운데 꼬리 계정 8개와 비교 계정 7개는 이력이 숨겨졌거나 계정이 정지·삭제돼 읽을 수 없었습니다. 확인 가능한 계정의 나이 중앙값은 두 집단 모두 4.5년이었습니다. 꼬리 계정 댓글 중 칼 관련 하위 커뮤니티에 작성된 비중은 3%로 비교 집단의 10%보다 낮았고, 활동한 하위 커뮤니티 수도 66곳으로 비교 집단의 47곳보다 많았습니다. 이력 전체에서 칼 브랜드는 한 곳만 언급하지 않고 7개를 언급했습니다. 작성자는 준비된 유료 계정의 전형적인 모습과 다르며 팬의 활동에 가깝다고 보지만, 오래된 계정을 잘 관리한 유료 계정과 구분하기 어렵다고 덧붙입니다.

분석에는 검증되지 않은 자동 분류가 들어갔습니다. 브랜드 탐지에는 칼에 맞춰 조정한 GLiNER 모델이 아니라 기본 모델을 썼고, 결과를 사람이 표본 검수하지 않았습니다. 구매 글 정규식도 수작업으로 확인하지 않았습니다. 따라서 비율은 모두 기계가 분류한 자료를 기준으로 합니다. 브랜드별 결과는 15~20개 계정에 좌우될 수 있고, 8개 브랜드와 6개 커뮤니티를 각각 비교하면서 우연히 눈에 띄는 결과가 나왔을 가능성도 있습니다. 표본은 Reddit 전체가 아니라 여섯 하위 커뮤니티에 한정됩니다.

작성자의 결론은 조작 여부를 단정하지 않는 데 있습니다. 특정 계정이 한 브랜드만 추천하는지 살펴보는 방법은 이 데이터에서 카르마 점수보다 꼬리 계정을 가르는 데 유용했습니다. 하지만 이 방법으로 오래된 계정의 유료 댓글까지 찾아내지는 못합니다.

Hacker News 반응

• @oceansky — 이 글이 Reddit에 여론 조작이 없다고 안심시키는 내용은 아닌 것 같습니다. 작은 사례, 그것도 규모가 작은 브랜드 하나만 살펴봤고 상당한 수의 봇을 발견했습니다. 섬에서 양 한 마리를 발견했다면 다른 양도 살고 있다고 봐도 됩니다.
• @bix6 — “칼 검색에 ‘reddit’을 붙이면 여전히 대부분 사람들의 의견을 얻습니다. 몇몇 브랜드는 구매 조언의 4분의 1에서 3분의 1을 주로 그 브랜드를 추천하는 계정에서 받습니다. 그들이 팬인지 유료 계정인지는 모르겠습니다.” 확신 없이 “모르겠다”고 말하려고 글을 너무 길게 썼습니다.
• @rithdmc — 여론 조작이 어떤 모습일지 나열한 항목은 범위가 너무 좁아 보입니다. 제가 스팸 시스템, 그러니까 여론 조작 수단을 설계한다면 이 네 가지 단서는 금방 없애겠습니다. 글에서 말한 계정이 거의 항상 한 브랜드만 언급하는 점, 댓글이 적고 점수가 낮아 커뮤니티 내 기반이 약한 점, 계정이 새롭거나 이력이 숨겨지거나 지워진 점, 상점이나 제휴 페이지 링크입니다.
• @iamnothere — 조작된 추천을 무비판적으로 따르는 사람들은 이런 단서에 신경 쓰지 않을 수도 있습니다. 그렇다면 위장보다 노출량이 더 중요합니다.
• @socializer — 이 글은 아무것도 입증하지 못하는 것 같습니다. 브랜드 충성도가 유료 여론 조작과 같다는 식으로 전개하지만, 글 스스로 결과가 통계적으로 유의하지 않다고 인정합니다. 저는 Reddit에 유료 제품 홍보와 정치적 메시지가 많다고 강하게 믿지만, 이 글은 그 효과를 찾지 못했습니다. 설계가 잘못됐을 수 있습니다.
• @DharmaPolice — 오래 활동하며 일반적인 게시물도 많이 쓰는 계정이 댓글 500개 중 한 번 특정 제품을 추천한다면 진짜인지 판단하기 어렵습니다. 계정이 오래됐고 활동 이력도 자연스러우면 봇이나 금전적 이해관계가 있는 사람이라는 의심을 입증하기도 어렵습니다.
• @embedding-shape — 실용적인 확인법으로 제시한 계정 이력 살펴보기도 이제는 대부분 불가능합니다. Reddit에서는 사람과 봇 모두 댓글·게시물 이력을 숨깁니다. 출처와 관계없이 모든 내용을 비판적으로 읽는 편이 낫다고 생각합니다.
• @ohm — Reddit은 계정의 게시물 이력을 숨기는 선택지를 추가했습니다. 그래서 그 계정이 봇인지 알아내기가 더 어려워졌습니다.
• @consp — 흥미로운 분석 같지만 GitHub 소스가 삭제됐거나 애초에 존재하지 않는 것 같아 조금 불편합니다.
• @add-sub-mul-div — 자기 사이트를 홍보하려고 여기 글을 올리고, 그 사이트 글은 다른 사람이 한 번도 제출하지 않았다는 점이 거의 행위 예술 같습니다.
• @janalsncm — “댓글을 많이 써서 꼬리 계정이 구매 글에 나타나는 것이라면, 무작위 재배정에서 브랜드 언급의 약 7.9%를 차지할 것으로 예상되며 대부분 6.3~10.1% 사이입니다. 실제로는 11.3%였습니다.” 저만 이 문단을 이해하기 어렵나요? 분석의 핵심인데, Claude가 쓴 내용을 붙여 넣지 말고 직접 설명했어야 합니다.
• @PyWoody — Reddit에서 제품 리뷰를 보는 일은 10년 전에 그만뒀습니다. 목공 도구나 스킨케어처럼 어떤 종류의 제품을 알아볼지 설명하는 가이드는 여전히 유용할 수 있습니다. 제품 리뷰는 GearLab을 몇 년째 이용하는데 꽤 믿을 만합니다. 그들과 아무런 관계도 없습니다.

원문: Peter Vijeh / 번역·요약: Trawling