웹사이트를 운영하다 보면 Google Search Console에서 페이지가 "발견됨 - 현재 인덱싱되지 않음" 상태로 나타나는 경우가 있습니다. 이는 Google이 페이지를 발견했지만 아직 크롤링하지 않았거나, 크롤링은 했지만 인덱싱을 하지 않은 상태를 의미합니다. 이번 글에서는 이러한 현상이 왜 발생하는지, 그리고 이를 해결하기 위한 몇 가지 방법에 대해 알아보겠습니다.
페이지가 인덱싱되지 않는 이유
Google이 모든 페이지를 인덱싱하지 않는 것은 흔한 일입니다. 대부분의 경우 웹사이트 소유자가 인덱싱을 원하지 않는 페이지가 있을 수 있으며, 이는 noindex 태그나 robots.txt 파일을 통해 인덱싱을 막아 두었기 때문입니다. 하지만 문제가 발생하는 것은 인덱싱이 되어야 할 페이지가 여전히 인덱싱되지 않는 경우입니다. 여기에는 여러 가지 이유가 있을 수 있습니다.
1. 서버 성능 문제
Googlebot이 페이지를 크롤링하려고 했지만, 서버의 성능 문제가 이를 방해할 수 있습니다. Google은 사이트에 과도한 부하를 주지 않기 위해 크롤링을 조정하는 경우가 있습니다. 따라서 서버가 충분한 트래픽을 처리할 수 있도록 성능을 개선하는 것이 중요합니다.
2. 페이지 품질 문제
Google은 페이지의 품질이 낮다고 판단하면 인덱싱을 거부할 수 있습니다. 이 경우 페이지가 제대로 크롤링되지 않았음에도 불구하고, 사이트 내의 다른 페이지 품질을 기반으로 추정합니다. 얇은 콘텐츠, 중복 콘텐츠, 또는 가치가 낮은 페이지가 사이트에 많이 존재할 경우, 전체적인 품질 평가에 악영향을 미칠 수 있습니다.
인덱싱 문제 해결 방법
1. 페이지가 실제로 인덱싱되었는지 확인하기
Google Search Console의 인덱싱 보고서가 최신 상태인지 확인해야 합니다. 또한, Google에서 직접 사이트 검색(site:yourdomain.com)을 통해 페이지가 인덱싱되었는지 여부를 확인하는 것이 좋습니다. 페이지가 검색 결과에 나타난다면 실제로는 인덱싱된 상태일 수 있습니다.
2. 사이트의 품질 개선하기
전체 웹사이트의 품질이 낮으면 Google이 특정 페이지의 인덱싱을 거부할 수 있습니다. 사이트의 레이아웃, 디자인, 이미지 통합, 페이지 속도 등을 점검하여 개선하는 것이 중요합니다. 경쟁사와 비교해 웹사이트의 품질이 충분히 높은지 점검해보는 것도 좋은 방법입니다.
3. 중복 페이지 확인
웹사이트에 중복 페이지가 존재할 경우 인덱싱에 문제가 발생할 수 있습니다. URL이 여러 버전으로 존재하거나 쿼리 문자열로 인해 중복된 페이지가 생성되는 경우가 많습니다. 이러한 페이지들을 정리하고, 정규화(canonicalization) 설정을 통해 중복 문제를 해결할 수 있습니다.
4. 페이지의 중요도 강조하기
Google에게 페이지의 중요성을 강조하기 위해 몇 가지 방법을 사용할 수 있습니다. 첫 번째로, 해당 페이지를 XML 사이트맵에 추가하는 것입니다. 이는 Googlebot에게 중요한 페이지임을 알리는 역할을 합니다. 또한, 내부 링크를 통해 다른 중요한 페이지에서 해당 페이지로 연결해주거나, 외부 백링크를 추가해 페이지의 가치를 높일 수 있습니다.
5. Google Search Console을 통한 크롤링 요청
변경 사항을 적용한 후 Google Search Console에서 크롤링 요청을 다시 시도할 수 있습니다. 이 요청이 완료되기까지는 며칠에서 몇 주 정도가 소요될 수 있으며, 그동안 페이지가 인덱싱되었는지 주기적으로 확인해야 합니다.
결론
페이지가 "발견됨 - 현재 인덱싱되지 않음" 상태로 나타나는 경우, 웹사이트의 전체적인 품질을 점검하고 Googlebot에게 페이지의 중요성을 강조하는 것이 필요합니다. 서버 성능, 페이지 품질, 중복 콘텐츠 여부 등을 꼼꼼히 확인하여 이러한 문제를 해결해 보세요.