웹사이트를 운영하다 보면 콘텐츠나 디자인에 먼저 신경을 쓰게 됩니다. 그런데 의외로 검색 노출을 좌우하는 부분은 눈에 잘 보이지 않는 설정에서 시작되는 경우가 많습니다. 그중에서도 robots.txt는 한 줄 설정만 잘못 들어가도 전체 페이지가 검색에서 보이지 않게 되는 상황까지 이어질 수 있어 주의가 필요합니다. 겉으로는 단순한 텍스트 파일처럼 보이지만, 실제로는 검색엔진과 사이트 사이의 첫 번째 소통 창구 역할을 하고 있습니다. robots.txt의 기본 개념 이해robots.txt는 검색엔진이 웹사이트를 방문했을 때 가장 먼저 확인하는 파일입니다. 쉽게 보면 사이트 이용 안내문처럼 작동하는데, 어떤 페이지까지 접근해도 되는지, 어디까지는 수집하지 말아야 하는지를 알려주는 역할을 합니다.검색엔진..
