robots.txt·사이트맵·noindex, 차이는 뭘까요

robots.txt는 수집할 길을 안내합니다

robots.txt는 검색 로봇에 어떤 주소를 수집해도 되는지 알리는 파일입니다. 수집을 막았다고 그 주소가 검색 결과에서 반드시 사라지는 것은 아닙니다.

가게를 둘러보는 안내원에게 ‘이 통로는 들어오지 마십시오’라고 표시하는 것에 빗댈 수 있습니다. 안내원이 안으로 들어가지 않더라도 다른 곳에 붙은 표지판을 통해 방의 이름을 알 수 있듯, 검색엔진도 외부 링크로 주소 자체를 알 수 있습니다.

또한 robots.txt는 비밀번호가 아닙니다. 지침을 따르지 않는 수집 도구나 주소를 아는 방문자의 접근까지 막아 주지 않습니다. 고객 정보나 내부 문서를 보호하려면 로그인과 접근 권한 같은 실제 보호 방법이 필요합니다.

사이트맵은 찾아볼 주소의 목록입니다

사이트맵은 검색엔진이 홈페이지의 페이지 주소를 발견하도록 돕는 파일입니다. 제출했다고 모든 페이지의 수집이나 색인이 보장되지는 않습니다.

손님에게 건네는 매장 안내도처럼 생각하면 쉽습니다. 새로 만든 상품 소개 페이지가 목록에는 있지만 홈페이지 메뉴 어디에서도 이어지지 않는다면, 안내도만 고치는 것보다 실제 이동할 길도 함께 만드는 편이 자연스럽습니다.

사장님이 확인할 부분은 보여 주려는 페이지 주소가 목록에 들어 있는지, 그 주소를 열었을 때 정상 화면이 나오는지입니다. 파일을 새로 만드는 일부터 시작하기 전에 제작 도구가 이미 사이트맵을 제공하는지도 담당자에게 확인해 보십시오.

noindex는 검색 목록에서 빼 달라는 규칙입니다

noindex는 이를 지원하는 검색엔진에 페이지를 색인하지 말라고 알리는 규칙입니다. Google이 이 규칙을 읽으려면 해당 페이지에 접근하고 수집할 수 있어야 합니다.

안내원에게 ‘이 방은 안내 책자에 싣지 마십시오’라는 쪽지를 방 안에 붙인 상황을 떠올려 보십시오. 입구부터 막아 버리면 쪽지를 읽을 수 없습니다. 같은 페이지를 robots.txt로 막으면서 noindex도 넣는 방식이 의도대로 작동하지 않을 수 있는 이유입니다.

키리웹에 검색 제외나 공개 전환을 요청하실 때는 페이지 주소와 함께 ‘방문도 막을지, 검색 결과에서만 제외할지’를 알려 주시면 좋습니다. noindex 역시 방문자의 열람 권한을 제한하는 기능은 아니므로 목적부터 나누어야 합니다.

설정을 바꾸기 전에 공개 목적을 적습니다

세 설정은 켜고 끄는 개수보다 목적에 맞게 사용하는지가 중요합니다. 우선 공개할 페이지, 검색에서 제외할 페이지, 권한으로 보호할 페이지를 구분하는 것이 좋습니다.

예를 들어 새 메뉴 소개는 손님과 검색엔진이 읽게 해야 하지만, 고객별 상담 내용은 접근 권한으로 보호해야 합니다. 두 페이지에 같은 설정을 복사하면 안 됩니다. 개발 중 사용한 검색 제외 설정이 공개 뒤에도 남았는지 살펴보는 과정도 필요합니다.

설정 변경을 요청한 뒤에는 무엇을 바꿨는지 기록을 받아 두십시오. 검색 반영은 즉시 끝나지 않을 수 있으므로 페이지가 실제로 열리는지와 검색엔진이 처리한 상태를 구분해 확인해야 합니다. 주소 하나를 기준으로 점검하면 불필요하게 사이트 전체를 바꾸는 일을 줄일 수 있습니다.

• 검색에 보여 줄 페이지 주소를 정합니다.
• robots.txt가 필요한 페이지 수집을 막지 않는지 확인합니다.
• 공개할 페이지에 noindex가 남아 있지 않은지 확인합니다.
• 사이트맵과 메뉴에 정상 페이지 주소를 반영합니다.
• 비공개 정보는 로그인과 접근 권한으로 보호합니다.