오랜만에 애드센스에 접속해보니 뭔가 경고하는 내용이 하나 공지가 되어 있었습니다. 애드센스에서 뭐 또 정책이 바뀐건가 싶어서 들어가본 결과, 오잉?! 왠 크롤러 오류가 발생했다고 나오더군요. 무슨 내용인지 일단 확인은 해봐야 하니까 한 번 애드센스 정책센터에 들어가 봅니다.
먼저 크롤러에 대해 간단히 말씀 드리겠습니다. 어려운 개념은 아니구요, 그냥 검색 수집 로봇의 일종이라고 생각하시면 될 것 같습니다. 구글에서는 문서를 수집하는 봇과 애드센스를 게시함에 있어서 적합한지 판단을 하는 봇이 있습니다. 근데 분명 애드센스 게시하는게 적합한 웹문서였는데 어느날 다시 수집을 하려고 해 보니 해당 웹문서가 고장이 나서 접근이 안 되거나 수집이 안 되는 문제가 발생할 때, 이렇게 애드센스에서 크롤러 페이지 오류를 띄웁니다.
티스토리에서 크롤러 오류가 발생할 수 있는 원인은 대체로 3가지 입니다.
1. HTML 스킨 변경으로 인한 일시적 정보 수집 불가
2. 문서의 비공개 혹은 삭제
3. 티스토리 서버 문제
일단 3번의 경우는 거의 희박하니까 패스하고, 그럼 1번 아니면 2번 둘 중 하나일텐데 이미 스킨은 오래전에 변경했으니 최종적인 후보는 2번이 가장 유력해 보입니다. 이제 오류로 지적받은 페이지를 직접 들어가서 확인을 해 봐야 합니다.
애드센스 메인 화면에 있는 1번의 내용을 확인합니다. 보시면 "광고 크롤러 오류가 있으며, 이 때문에 수익 손실이 발생할 수 있습니다." 라고 나와 있습니다. 아래쪽에 문제가 있는 사이트가 나와 있습니다. 2번을 살펴보니 "문제 유형 = 크롤러 : 페이지를 찾을 수 없음" 이라고 나와 있군요. 3번에는 디테일한 페이지 위치가 나와있습니다. 3번 URL을 클릭합니다.
문서번호가 2124번 입니다. 들어가서 확인해보니 이 페이지는 비공개로 돌려놓은 페이지 입니다. 지난 달에 비공개로 해 놓은 문서인데, 생각보다 늦게 감지하는군요. 어쨌든 사용자가 직접 비공개로 지정한 페이지이므로 별다른 문제는 아니었음을 확인했습니다. 따라서 이 크롤러 오류를 해결할 이후 후속 조치는 아무것도 없습니다. 그냥 시간이 지나면 알아서 오류는 사라질 것 입니다. 또한 비공개로 작성한 글을 공개로 전환해도 이런 크롤러 페이지 오류가 발생할 수 있다고 합니다. (댓글재보 감사) 참고하시기 바랍니다.
어느정도 시간이 흐르고 난 뒤에는 보시는 것 처럼 크롤러 문제는 깨끗하게 해결됨으로 처리 됩니다. 그러니 너무 신경 안 쓰셔도 됩니다.
수익이 감소될 수 있다는 말은 제 티스토리의 모든 에드센스에 적용되는 의미라기 보다는 에러가 난 페이지로 인해 그만큼 전체 수익 중 일부가 손실될 수 있다는 의미 입니다. 어차피 저 페이지는 검색하시는 분들도 많이 없기 때문에 상관 없을 것 같습니다. 크롤러 페이지 오류가 발생하면 당황하지 마시고 이와 같이 해결을 해 보시기 바랍니다. 끝.