워드프레스 네이버 검색차단 로봇 robots.txt 해결방법
모든 홈페이지, 워드프레스 포함,를 검색엔진에 효과적으로 노출시키려면 사이트맵과 RSS를 생성하여 검색엔진에 등록하는 것이 좋습니다. 검색엔진에 직접 등록하지 않아도 자동으로 노출될 수 있지만, 정해진 양식으로 제출하면 검색로봇이 사이트 정보를 더 쉽게 수집하고 정확하게 노출시킬 수 있습니다.
특히, 네이버 웹마스터 도구에서 검색로봇이 웹사이트에 제대로 접근하지 못해 검색이 차단된 경우, 이 문제를 수동으로 해결해야 합니다. 워드프레스의 경우에는 'robots' 설정을 조정하여 네이버 검색 차단 문제를 해결할 수 있습니다.
Robots.txt 수정방법은 위 내용을 참고하세요
네이버웹마스터도구 웹페이지 최적화 검증
네이버 웹마스터 도구는 웹사이트 소유자들이 자신의 웹페이지의 검색 엔진 최적화 (SEO) 상태를 확인하고 개선할 수 있게 도와주는 도구입니다. 이를 통해, 웹페이지의 최적화 검증 작업을 진행할 수 있습니다.
- 웹페이지 상태 체크 : 네이버 웹마스터 도구를 사용하여 웹페이지의 현재 SEO 상태를 분석합니다. 이는 웹사이트의 기본적인 구조, 컨텐츠의 품질, 링크 상태 등 다양한 요소를 포함합니다.
- 문제점 파악 : 분석을 통해 나타난 문제점이나 개선점을 파악합니다. 예를 들어, 중복된 컨텐츠나 깨진 링크, 최적화되지 않은 태그 등이 있을 수 있습니다.
- 개선 방안 실행 : 파악된 문제점을 바탕으로 개선 방안을 실행합니다. 이는 태그의 수정, 컨텐츠의 재구성, 링크의 정리 등 다양한 작업을 포함할 수 있습니다.
- 재검증 : 개선 작업 후, 다시 웹마스터 도구를 이용하여 웹페이지의 최적화 상태를 재검증합니다. 이를 통해 개선 작업이 제대로 반영되었는지 확인하고, 추가적인 개선점이 필요한지 평가합니다.
네이버 웹마스터도구에 들어가 검증 -> 웹페이지 최적화를 확인합니다.
그럼 robots.txt 파일에서 제대로 접근을 하지못해 차단되고 있는 상태임을 확인할 수 있습니다.
robots.txt 검색 로봇 허용
User-agent: Yeti
Allow:/
가장먼저 메모장을 열어 보기와 같이 작성후 txt확장자로 저장합니다.
아니면 아래 파일을 다운로드 합니다.
해당파일은 검색엔진에서 로봇이 활성화 할 수 있도록 합니다.
robots.txt 검색 로봇 차단
User-agent: Yeti
Disallow:/
반대로 검색엔진 로봇이 들어오지 못하도록 차단하는 파일은 아래 있습니다.
여기에 추가로 사이트맵 주소도 함께 추가해주는것을 추천합니다.
User-agent: *
Disallow:
Sitemap: https://homepage.co.kr/sitemap.xml
Sitemap: https://homepage.co.kr/post-sitemap.xml
Disallow: /wp-admin/
Disallow: /readme.html
파일질라 FTP 접속
다음 해당파일을 워드프레스에 업로드해야합니다.
파일질라와 같은 FTP 프로그램을 설치 후 실행해서 로그인합니다.
보는것과 같이 다운로드한 robots.txt파일을 워드프레스 최상위 경로에 업로드합니다.
참고로로 robots.txt파일은 네이버 웹마스터도구에서도 다운로드가 가능합니다.
네이버 웹마스터에 접속 후 robots.txt 간단생성에서 네이버 검색로봇만 들어오게 할것인지 모든 검색로봇을 허용할것인지 선택해서 다운로드 합니다.
- 로봇툴 설정 확인: 웹사이트의 로봇툴 설정을 먼저 확인합니다. 이 설정은 검색엔진 로봇이 웹페이지를 수집할 수 있는지 여부를 결정합니다.
- 수집 요청: 설정이 완료되면 '수집요처' 버튼을 클릭하여 로봇툴이 웹페이지의 정보를 수집할 수 있는지 요청합니다.
- 수집 상태 확인: 이후 로봇툴이 웹페이지 정보를 수집할 수 있는지의 상태를 다시 확인합니다.
만약 로봇이 웹페이지를 정상적으로 수집할 수 있다면, 웹페이지가 검색엔진에 노출될 준비가 완료된 것입니다.
이후 수집요처을 누른다음 설정된 로봇툴이 웹피이지 수집을 할 수 있는지 다시 확인합니다.
그럼 정상적으로 로봇이 수집가능한 상태임을 확인할 수 있습니다.
이상 웹페이지의 정보가 검색 엔진에 효과적으로 노출되려면, 검색엔진 로봇의 접근성을 허용해야 합니다. 워드프레스를 활용하는 사이트 관리자들은 위의 과정을 통해 네이버 검색 로봇의 웹페이지 수집을 허용할 수 있습니다. 이를 통해 웹사이트의 가시성을 높이고, 더 많은 사용자에게 정보를 제공할 수 있게 됩니다.