색인이 생성되었으나 robots.txt에 의해 차단되었다는 구글 서치 콘솔 경고 메시지를 받았습니다. 세부 내용을 보니, search 페이지와 manage 관리자 페이지입니다.
티스토리를 검색해보면 아래 오류에 대한 내용은 많이 보실 수 있습니다. search와 manage 페이지는 검색과 관리자 페이지로 검색 색인이 될 필요가 없는 부분이라 차단되어 있는 부분인데, 구글 서치 콘솔에서 차단되어 있다는 경고 메시지를 보내는 내용입니다. 그래서 대부분 관련 문제의 해결 방법으로 '구글 서치 콘솔 > 색인 > 삭제' 메뉴에서 아래 2개의 URL을 임시 삭제 요청하는 방법으로 처리하라는 내용을 볼 수 있습니다. 저도 그 글을 읽고 '삭제' 메뉴에서 아래 2개의 URL을 삭제 요청해 놓은 상태입니다.
그렇게 처리를 해서 별 이슈가 없었는데 구글이 검색 관련 로직을 좀 변경했는지, 경고 메일이 왔습니다. 해당 경고 메일의 해결 방법을 읽어보니, 'NOINDEX'를 사용하여 검색 색인 생성을 차단'하라는 안내 설명이 있습니다.
색인 생성을 하고 싶지 않은 페이지의 메타태그 부분에 아래와 같이 noindex라는 태그 값을 넣어 처리하라는 내용입니다. 관련 자세한 설명은 구글 고급 검색 엔진 최적화 내용을 참고하십시오. (noindex 내용 여기를 클릭)
그런데 manage나 search 페이지는 티스토리 사용자 개인이 처리할 수 있는 방법이 없는 것으로 압니다. 티스토리 운영진 측에서 해당 페이지에 처리를 해주어야 하는 것으로 알고 있습니다.
해당 처리가 그리 복잡한 내용이 아닌 것 같은데, 간단한 처리를 통해 경고 메일을 받지 않았으면 좋겠다는 생각이 듭니다. 자라보고 놀란 가슴 솥뚜껑보고 놀란다고, 구글의 경고 메일은 별로 받고 싶지 않아서 말입니다.
아님 개인이 할 수 있는 방법이 있나요? 혹 아는 분 계시면 공유해주시면 감사하겠습니다. ^^
관련 글]
2021.06.04 - [나의 삶/애드센스 관련] - 티스토리 광고 크롤러 오류
