개발
2026.09.22 · 3분
글 22편짜리 블로그의 태그를 세어 봤다.
태그 전체 59개
글 2편 이상 13개 ← 사이트맵에 싣는 것
글 1편짜리 46개 ← 78%
그리고 13개 안에 Next.js 와 nextjs 가 둘 다 있었다. 각각 글 2편과 3편. 같은 개념에 페이지가 둘이고 서로 경쟁하고 있었다.
이 블로그는 태그 페이지 중 글 1편짜리를 noindex 로 빼 둔다. 그 글로 가는 링크 하나가 전부인 목록을 검색엔진에 내밀 이유가 없어서다.
그런데 /tags 목록 페이지는 여전히 59개 전부를 링크하고 있었다. 이 목록은 푸터에 있어서 모든 페이지가 링크한다. 즉 크롤러가 어느 페이지에 들어와도 "색인하지 말라고 적힌 페이지" 46개로 가는 길을 본다.
여기서 「크롤 예산이 샌다」고 쓰고 싶었는데, 구글 문서를 열어 보니 그렇게 쓰면 안 되겠다 싶었다. 그 문서는 적용 대상을 스스로 이렇게 한정한다.
Large sites (1 million+ unique pages) with content that changes moderately often (once a week)
100만 페이지. 내 사이트맵은 45개다. 대상이 아니다.
문서가 말하는 낭비의 원리 자체는 맞다.
If Google spends too much time crawling URLs that it shouldn't, Google's crawlers might not explore the rest of your site, or might not increase your crawl budget.
다만 이건 큰 사이트 이야기이고 페이지가 수십 개인 블로그에 그대로 갖다 붙여 "구글이 이렇게 말했다" 로 쓰면 근거를 부풀리는 것이다. 그래서 이 글에서는 이렇게만 말한다 — 크롤 예산과 무관하게, 모든 페이지에서 링크되는 목록이 버릴 페이지를 다수 가리키는 구조는 그 자체로 낭비다. 읽는 사람에게도 쓸모없기는 마찬가지다.
떠올린 답은 간단했다. /tags 가 색인 대상 13개만 링크하게 하면 된다. 필터 한 줄이다.
그 변경을 승인까지 받았다가 되돌렸다. 두 가지 때문이다.
하나. 판정 함수 주석에 이렇게 적혀 있었다.
색인에서 빠져도 화면은 그대로 열린다. 막는 것은 검색엔진뿐이다.
일부러 갈라 놓은 원칙이었다. "검색엔진에 내밀 것인가" 와 "사람에게 보여줄 것인가" 는 다른 질문이다. 필터를 목록에까지 넣으면 그 구분이 사라진다.
둘. 이 블로그는 글 화면에 태그를 렌더하지 않는다. 그래서 /tags 에서 링크를 빼면 얇은 태그 46개는 사이트 안에서 도달할 길이 0 이 된다. 빌드는 계속 그 페이지들을 만드는데 아무도 닿을 수 없다.
59개 중 46개가 1편짜리라는 건 링크의 문제가 아니다. 분류의 문제다.
목록을 열어 보니 대부분 이미 있는 큰 태그에 속하는 것들이었다.
개인정보 · 이스케이프 · XSS · URL · 파서 · 심링크 · 프롬프트인젝션 → 보안
가족 · 떼캠 · 텐트 · 장비 → 캠핑
브라우저 · 자바스크립트 · 접근성 · 디자인시스템 → 프론트엔드
검색유입 · 분석 · 측정 → SEO
링크를 가리는 것은 증상 치료다. 태그를 합치는 것이 원인 치료다.
여기서 한 가지 함정이 있었다. 같은 글에 붙어 있던 태그끼리 합치면 글 수가 안 는다.
옵시디언, 노트, 생산성 이 전부 같은 글 하나에 달려 있었다. 셋을 합쳐도 결과는 여전히 1편이다. 이름만 셋에서 하나로 줄 뿐이다.
색인 대상을 늘리려면 서로 다른 글에 붙은 태그를 합쳐야 한다. 보안 이 5편을 더 받은 건 흡수한 태그들이 각각 다른 글에 있었기 때문이다.
그래서 병합 표를 만들기 전에 태그마다 어느 글에 붙어 있는지를 먼저 뽑았다. 이걸 안 하면 표를 열심히 만들고도 숫자가 안 움직인다.
병합 전 병합 후
태그 59 23
색인 대상 13 15
1편짜리 46 8
남은 8개는 앱 이름처럼 합치면 뜻을 잃는 것들이라 일부러 뒀다. 그 앱들에 대한 글이 더 나오면 자연히 2편을 넘는다.
마지막이 중요하다. 태그를 합치면 옛 주소가 남는다.
이 사이트의 태그 라우트는 스트리밍이라 없는 주소에 404 가 아니라 200 + noindex 를 낸다. 404 는 "끝났다"고 말하지만 이건 아무 말도 하지 않으면서 쌓인 평가를 버린다.
그래서 없어지는 태그 전부에 308 을 깔았다. 카테고리를 7개에서 4개로 줄였을 때 같은 일을 했고 그때 적어 둔 이유가 그대로 적용됐다 — 이미 검색엔진이 가져간 주소는 404 로 두면 안 된다.
병합과 리다이렉트는 같은 배포에 나가야 한다. 따로 내보내면 그사이에 옛 주소가 조용히 사라지는 구간이 생긴다.
이 글은 AI 가 조사·초안을 작성하고 사람이 검수한 뒤 발행했습니다. 사실관계는 아래 출처에서 확인할 수 있습니다.