페이지가 검색 결과에 나타나기 전에는 보통 발견, 크롤링, 처리, 색인 여부 판단 과정을 거칩니다.
이 과정은 마법이 아니라 기술적인 단계의 연속입니다. 사이트 구조와 설정은 각 단계에 도움을 줄 수도 있고 방해가 될 수도 있습니다.
발견
검색엔진은 링크, 사이트맵, 리디렉션, 기존에 알고 있던 페이지를 통해 URL을 발견합니다. 특히 내부 링크는 사이트의 중요한 페이지와 관계를 알려줍니다.
크롤링
크롤링은 URL을 요청하는 과정입니다. 이때 상태 코드, robots.txt, 리디렉션, 서버 응답 속도 같은 요소가 영향을 줍니다.
색인
색인은 페이지를 검색 시스템에 저장하고 검색 결과 후보로 삼을지 결정하는 단계입니다. 크롤링되었다고 반드시 색인되는 것은 아닙니다.
실무 포인트
중요한 페이지가 발견 가능하고, 크롤링 가능하며, 색인 가능하고, 명확한 canonical 상태를 갖도록 만드는 것이 기술 SEO의 기본입니다.