Gemini나 Perplexity에 물으면 우리 업소가 나오는데 ChatGPT에서만 안 나온다면, 대개 글을 의심하게 됩니다. 여기 기록하는 사례에서는 글이 문제가 아니었습니다. ChatGPT는 그 페이지들을 아예 읽은 적이 없었습니다. 빙이 크롤한 적이 없었기 때문입니다.
이 얘기를 적어두는 이유는, 증상이 콘텐츠 문제와 똑같이 생겼기 때문입니다. 콘텐츠 문제로 오인하고 대응하면 몇 달을 버립니다.
격차
저희가 운영하는 어느 로컬 업체 블로그의 측정 결과입니다. 질문 15개 기준입니다.
| 지면 | 언급률 |
|---|---|
| Gemini | 79% |
| Perplexity | 67% |
| ChatGPT | 13% (15개 중 2개) |
같은 페이지, 같은 글, 같은 기간입니다. 이 정도 격차는 품질 신호가 아닙니다. 품질은 지면에 따라 달라지지 않습니다. 배관 문제를 가리키고 있었습니다.
진단을 두 번 틀렸습니다
틀린 경로를 같이 적습니다. 대부분이 밟게 되는 경로이기 때문입니다.
첫 번째 오진 — "빙에 등록이 안 됐다." 등록돼 있었습니다. 웹마스터도구에 사이트맵 8월 9일 제출, 8월 12일 크롤 성공, URL 10개 발견으로 찍혀 있었습니다.
두 번째 오진 — "그냥 색인이 늦는 것이다." 방향은 가까웠지만 손을 쓸 수 없을 만큼 뭉뚱그린 진단이었습니다. 사이트맵 커버리지 화면은 상태를 뭉쳐서 보여주기 때문에 진짜 상태가 가려집니다.
정확한 답은 URL 검사 화면에서만 나왔습니다. 이 화면은 발견·크롤·색인 세 단계를 따로 보여줍니다. 상태는 이랬습니다.
발견됨 ✅ · 크롤됨 ❌ · 색인됨 ⚪ — "발견되었지만 크롤링되지 않았습니다"
색인된 URL은 10개 중 0개. 빙은 주소가 있다는 건 알았고, 그 뒤의 페이지를 한 번도 가져간 적이 없었습니다.
기술적 차단은 아니었습니다
권위니 예산이니 하는 결론으로 넘어가기 전에, 시시한 원인부터 배제했습니다.
- bingbot 유저에이전트로 블로그에 접근하면 HTTP 200과 전체 HTML이 정상 반환 — Cloudflare 챌린지도, 403도, 503도 없음
- robots.txt 전체 허용, crawl-delay 없음
- 글 페이지에 noindex 없음, canonical만 있음
한 가지 덧붙이면, 빙 화면에는 "색인을 방해하는 문제가 있습니다" 류의 경고가 같이 떠 있었습니다. 그건 크롤되지 않은 신규 URL에 뜨는 정형 문구지 실제 위반 통보가 아닙니다. 저 문구 때문에 위의 오진 중 하나로 빠졌습니다.
진짜 병목은 크롤 예산이었습니다
그 블로그는 유입 링크가 0인 신규 서브도메인이었습니다. 검색엔진은 크롤 자원을 우선순위로 배분하는데, 아무것도 가리키지 않는 새 서브도메인은 그 줄의 맨 뒤에 섭니다.
여기서 두 가지가 따라 나오고, 둘 다 의외로 안 알려져 있습니다.
서브도메인은 상위 도메인의 신뢰를 자동으로 물려받지 않습니다. 빙은 blog.example.com을 example.com과 별개 사이트로 취급합니다. 본사이트가 쌓아둔 평판은 그냥 넘어오지 않습니다.
사이트맵과 IndexNow는 "존재 통보"이고, 링크가 "가치 보증"입니다. 저희는 통보 두 가지를 제대로 하고 있었고, 그건 제약이 아니었습니다. 제약은 이 페이지들에 크롤 자원을 쓸 만하다고 알려주는 신호가 웹 어디에도 없었다는 것이었습니다.
결정적 확인은 민망할 만큼 단순했습니다. 그 업체의 본사이트가 자기 블로그로 가는 링크를 하나도 걸어두지 않았습니다.
무엇으로 해결했나
- 본사이트에서 블로그로 가는 링크. "여기 클릭"이 아니라 내용을 설명하는 앵커텍스트로 걸었습니다. 이게 빠져 있던 권위 신호입니다.
- 빙 웹마스터도구 URL 검사 화면의 "요청 색인" 버튼. 크롤 예산 대기열을 건너뛰고 즉시 크롤을 강제합니다. 하루 10개 정도로 제한되므로 중요한 페이지에 씁니다.
- IndexNow. 저희는 발행 시 자동 전송되도록 이미 연결해 두고 있었습니다. 유용하지만 이것만으로는 부족했습니다. 통보는 하지만 보증은 못 하기 때문입니다.
같이 확인할 함정 두 가지
Cloudflare Pages의 soft 404. Pages 사이트에 루트 404.html이 없으면, 존재하지 않는 모든 경로가 404 대신 HTTP 200으로 홈 화면을 돌려줍니다. 삭제하거나 합친 글 주소가 계속 정상 응답을 하고, 엔진 입장에서는 서로 다른 주소 여러 개가 똑같은 내용을 서빙하는 것으로 보입니다. 가뜩이나 크롤 예산이 부족한 사이트에 중복 신호가 얹히는 셈입니다. 404.html을 넣으면 Cloudflare가 미매칭 경로에 진짜 404를 서빙합니다.
빙 색인 확인하다 막히지 않는 법. 빙에서 site: 검색을 직접 돌리면 CAPTCHA에 걸리기 쉽고, 실제 결과가 0건일 때도 빙은 무관한 퍼지 결과와 "약 N개"를 같이 보여줍니다. 건수만 보면 오판합니다. DuckDuckGo가 빙 색인을 쓰면서 site: 질의에 챌린지 없이 답합니다.
정리
ChatGPT와 나머지 지면 사이에 큰 격차가 보이면, 콘텐츠를 손대기 전에 색인 상태부터 확인하십시오. 저희 경험상 확인 순서는 이렇습니다.
- 빙 웹마스터도구에 사이트가 등록돼 있는가 — 서브도메인은 별도로 등록됐는가?
- URL 검사 화면에서 URL별 상태가 발견인가, 크롤인가, 색인인가?
- 그 페이지들로 향하는 링크가 있는가 — 우선 우리 본사이트부터?
- 존재하지 않는 경로에 진짜 404를 돌려주는가?
이 넷을 통과한 다음에야 콘텐츠 품질이 쓸모 있는 질문이 됩니다.
자주 묻는 질문
왜 하필 ChatGPT에 빙이 중요한가요?
ChatGPT의 웹 검색 결과는 그동안 빙 색인을 통해 서빙돼 왔습니다. Gemini와 Perplexity는 다른 방식으로 문서를 가져오기 때문에, 같은 페이지를 ChatGPT만 못 보는 상황이 생깁니다.
고치면 얼마 만에 반영되나요?
믿을 만한 숫자가 없어서 숫자를 못 드립니다. 지어내는 것보다 없다고 말씀드리는 편이 낫다고 봅니다. 요청 색인은 크롤 자체는 빠르지만, 그게 언급으로 이어지는지는 그 뒤 콘텐츠가 다른 문서들과 경쟁해서 정해집니다.
그럼 서브도메인은 쓰지 말아야 하나요?
꼭 그렇진 않습니다. 개설이 간단하고 나중에 고객에게 통째로 넘기기도 쉽습니다. 다만 서브도메인은 0에서 시작하므로, 개설 몇 달 뒤가 아니라 개설 당일에 본사이트 링크를 걸어줘야 한다는 뜻입니다.
레코아이 랩(RECO AI Lab)은 ChatGPT·Gemini·Perplexity가 로컬 업체 질문에 어떻게 답하는지를 영어와 한국어로 측정하고, 고객 자사 도메인에 한/영 콘텐츠를 발행하며, 색인 상태를 서비스 범위 안에서 함께 추적합니다. 측정 방법과 요금은 recoailab.com에 공개돼 있습니다.