dev.to 게시물의 92%는 반응 0개입니다 — 제목 조언으로는 바뀌지 않습니다

AI 요약

이 글은 dev.to에서 잘 먹히는 글쓰기 조언으로 흔히 제시되는 숫자형 제목, 네 개의 태그, 화요일 오전 게시, 커버 이미지 등의 효과를 플랫폼 자체 데이터로 검증하려고 시작한 분석입니다. 분석자는 먼저 dev.to의 공개 API와 게시물 데이터를 이용해 “좋은 게시물”의 조건을 찾으려 했지만, 그 전에 일반적인 게시물이 실제로 어떤 성과를 내는지부터 확인해야 한다는 사실을 발견합니다. 사용자가 보는 dev.to 피드는 전체 게시물의 대표 표본이 아니라 큐레이션된 결과이기 때문입니다.

■ 인기 피드와 실제 사이트의 격차

분석자는 먼저 dev.to 피드에서 게시물 2,500개를 가져온 뒤, 그중 8월에 게시된 170개를 살폈습니다. 모든 게시물이 최소 2주 동안 반응을 모을 수 있도록 했으며, 이 표본에서 중간값은 반응 15개, 70.6%는 반응 10개 이상, 평균은 28.8개였습니다. 반응이 0개인 게시물은 하나도 없었습니다. 하지만 이는 인기 피드가 원래 반응이 있는 글을 선별하기 때문에 나타난 결과입니다.

그래서 이번에는 무작위로 article ID를 뽑아 게시물을 직접 가져왔습니다. 8월 게시물 460개를 좋아요나 노출 여부와 무관하게 수집한 결과, 평균 반응은 0.21개였고 91.7%가 반응 0개였습니다. 반응 10개 이상인 게시물은 0.4%에 불과했으며, 댓글이 하나도 없는 게시물은 95.7%였습니다. 글의 표현을 빌리면, 반응이 적은 것이 아니라 아예 없는 것이 dev.to 게시 경험의 일반적인 모습입니다. 무작위로 확인한 “Four JavaScript problems I hit writing a chess engine”, “Delta E is a distance, not a score”, “How Farm.js compiles React components into direct DOM updates”, “Why Zod Crashed My Node.js Server” 같은 글도 분석자라면 읽었을 만한 내용이었지만 완전한 침묵 속에 묻혀 있었습니다.

■ 데이터 수집 도구가 만든 85%라는 오류

분석자는 태그별 게시물 API를 이용해 인기 태그 39개에서 82,749개 게시물을 수집했습니다. 그러나 이 데이터가 충분한지 검증하기 위해 인기 피드의 8월 게시물이 대규모 표본에 대부분 포함되어야 한다고 확인했을 때, 실제 포함률은 49%에 그쳤습니다. 특정 webdev 게시물은 반응 60개를 기록했음에도 태그 목록 12페이지를 살펴보는 동안 나타나지 않았습니다.

태그 목록의 페이지는 시간순으로 안정적으로 정렬되어 있지 않았습니다. 예를 들어 10페이지의 범위가 2026년 8월 31일부터 8월 29일까지인데, 11페이지에는 2026년 9월 13일 게시물부터 8월 27일 게시물까지 섞여 있었고, 12페이지는 다시 8월 27일부터 8월 18일까지 이어졌습니다. 페이지 사이에 게시물이 빠지고 시간 범위가 겹치므로, 이 목록을 순서대로 넘겨 완전한 데이터셋을 만들 수 없었습니다.

누락도 무작위가 아니었습니다. 태그 목록에 포함된 게시물은 평균 0.40개, 목록에서 빠진 게시물은 0.15개의 반응을 보였습니다. 포함된 게시물 중 최소 한 개의 반응을 받은 비율은 19.0%였지만, 누락된 게시물에서는 5.1%에 그쳤습니다. 즉 태그 목록을 통해 수집하면 실제 사이트보다 낙관적인 표본을 얻게 됩니다. 분석자의 초기 원고는 “85%가 아무 반응도 얻지 못한다”는 결론이었지만, 표본 검증을 거친 뒤 실제 수치는 92%에 가까워졌습니다.

■ 제목 조언보다 태그와 기존 독자층이 중요합니다

게시 후 2주가 성과를 판단하기에 충분한지도 확인했습니다. 게시 후 14~20일이 지난 글에서 반응을 하나라도 얻은 비율은 13.6%, 42~48일이 지난 글에서는 15.0%였습니다. 중간 기간에 뚜렷한 상승 추세가 없었으므로, 첫 2주 이후 의미 있는 반응이 계속 유입되지는 않는 것으로 나타났습니다.

세부 비교에는 상대적으로 규모가 큰 8월 태그 데이터 45,400개를 사용했습니다. 이 데이터는 태그 목록의 누락 편향 때문에 절대적인 성과를 실제보다 좋게 보일 수 있지만, 그룹 간 상대적 차이를 비교하는 데 사용했습니다. 커버 이미지를 사용한 게시물은 23.7%가 반응을 하나 이상 얻었고, 사용하지 않은 게시물은 11.2%였습니다. 제목에 “I” 또는 “my”가 들어가는 1인칭 표현도 24.7% 대 13.9%의 차이를 보였습니다. 읽는 데 3~17분이 걸리는 글은 3분 미만 글보다 성과가 좋았고, 태그 네 개를 붙인 글은 16.0%, 태그 하나만 붙인 글은 3.5%가 반응을 얻었습니다.

반면 널리 알려진 제목 조언 중 일부는 오히려 반대 결과를 보였습니다. “How”로 시작하는 제목은 그렇지 않은 제목보다 반응을 얻은 비율이 12.2% 대 15.1%로 낮았습니다. 숫자로 구성한 listicle 제목도 반응을 얻은 비율은 9.5%로 일반 제목의 15.0%보다 낮았습니다. 다만 listicle의 평균 반응은 0.80개로 다른 형식의 0.50개보다 높았습니다. 이는 대부분 실패하지만 가끔 크게 치솟는 형식의 특성으로 설명됩니다.

태그별 차이는 더 컸습니다. 최소 300개 게시물이 있는 태그 가운데 css는 38.8%, showdev는 38.2%, frontend는 33.6%, typescript는 30.1%가 반응을 얻었습니다. 반대로 crypto는 1.1%, jobs는 0.9%, defi는 0.1%였고, tech 태그를 단 800개 게시물 중에는 반응을 얻은 글이 하나도 없었습니다.

■ 작성자 내부 비교에서 제목 효과가 사라집니다

단순 비교에는 중요한 교란 요인이 있습니다. 커버 이미지를 사용하거나 1인칭 제목을 쓰는 사람이 원래 팔로워가 많은 숙련 작성자일 수 있기 때문에, 관찰된 차이가 제목 기법이 아니라 기존 독자층을 반영할 수 있습니다. 이를 확인하기 위해 분석자는 한 달에 최소 네 개의 글을 쓴 각 작성자 안에서, 특정 기능을 사용한 글과 사용하지 않은 글을 비교했습니다.

254명의 작성자를 대상으로 한 작성자 내부 비교에서 1인칭 제목의 중간 paired difference는 −0.08 반응이었고 95% 신뢰구간은 [−0.13, +0.00]이었습니다. listicle도 −0.08, 신뢰구간 [−0.12, −0.03]이었으며, 물음표가 들어간 제목은 −0.08, [−0.14, −0.04]였습니다. 콜론이 들어간 제목은 0.00이었습니다. 이전의 단순 비교에서 보였던 효과는 작성자라는 변수를 고정하자 사라지거나 아주 약한 음의 차이로 바뀌었습니다. 따라서 제목 표현은 성과를 직접 만드는 요소라기보다, 어떤 종류의 계정이 글을 쓰는지를 나타내는 표지에 가까웠습니다.

■ AI 표시와 게시 빈도에 관한 결과

dev.to의 새로운 AI-assisted disclosure label을 붙인 게시물 273개는 평균 반응 4.06개, 반응 10개 이상인 비율 11.0%였습니다. 나머지 게시물은 평균 0.48개, 10개 이상 비율 0.7%였습니다. 다만 분석자는 이 결과를 강하게 해석하지 않았습니다. 새 메타데이터 필드를 직접 설정하는 작성자가 플랫폼에 더 적극적으로 참여하는 사람일 가능성을 배제할 수 없고, 표본도 작기 때문입니다.

8월에 한 달 동안 1~5개를 게시한 작성자의 글은 23.3%가 반응을 얻었지만, 21~25개를 게시한 작성자의 글에서는 7.5%에 그쳤습니다. 고빈도 작성자는 전체 45,400개 게시물 중 18,386개를 작성할 정도로 적지 않았습니다. 분석자의 최근 20개 게시물은 반응 5~16개, 중간값 8개였으며, 무작위 표본과 비교하면 반응 8개만으로도 dev.to 게시물의 99.6%보다 높은 수준이었습니다. 반응 16개는 460개 표본 전체보다 높았습니다. 그러나 이는 높은 성과의 기준이 낮다는 뜻이기도 하며, 소수의 반응만 받아도 상위 0.5% 안에 들어갈 수 있다는 의미입니다.

■ 분석 과정에서 얻은 검증 원칙

분석자는 두 차례 수집 과정에서 계측 문제를 겪었습니다. 첫 번째로 진행 상황을 tail에 연결했는데 출력이 버퍼링되어 20분 동안 로그가 비어 있었습니다. 작업이 멈춘 것으로 생각해 종료했지만, 실제로는 20,596개 게시물을 모아 메모리에 보관한 상태였고 수집 결과를 잃었습니다. 두 번째 문제는 더 치명적일 수 있었습니다. 82,749개 게시물로 완성된 것처럼 보이는 데이터셋과 85%라는 수치를 얻었지만, 이미 존재를 알고 있던 게시물이 포함되는지 대조하지 않았다면 잘못된 결론을 그대로 발표했을 것입니다. 이 검증에는 4분이 걸렸고, 결과적으로 수치는 더 불리한 방향인 92%로 수정되었습니다.

글의 결론은 인기 피드를 기준으로 자신의 성과를 판단하지 말라는 것입니다. 피드는 전체의 극히 일부를 보여주므로, 실제 게시물 대부분과 비교할 수 없습니다. 태그는 신중하게 선택하고 커버 이미지는 사용할 수 있지만, 작성자 내부 비교에서 효과가 확인되지 않은 제목 최적화에 시간을 계속 쓰기보다는 다음 게시물이 시작할 때 이미 읽어줄 사람이 있도록 팔로우할 이유를 만드는 데 집중하라고 제안합니다. 플랫폼 관련 수치를 발표할 때는 알고 있는 사례와 표본을 대조해 수집 도구가 만든 편향을 먼저 확인해야 한다는 점도 함께 강조합니다.

원문: dev.to / 번역·요약: Trawling