워드프레스 네이버 검색차단 로봇 robots.txt 해결방법

워드프레스 네이버 검색차단 로봇 robots.txt 해결방법

모든 홈페이지, 워드프레스 포함,를 검색엔진에 효과적으로 노출시키려면 사이트맵과 RSS를 생성하여 검색엔진에 등록하는 것이 좋습니다. 검색엔진에 직접 등록하지 않아도 자동으로 노출될 수 있지만, 정해진 양식으로 제출하면 검색로봇이 사이트 정보를 더 쉽게 수집하고 정확하게 노출시킬 수 있습니다.

워드프레스 네이버 검색 차단 및 허용 robots 해결방법

특히, 네이버 웹마스터 도구에서 검색로봇이 웹사이트에 제대로 접근하지 못해 검색이 차단된 경우, 이 문제를 수동으로 해결해야 합니다. 워드프레스의 경우에는 'robots' 설정을 조정하여 네이버 검색 차단 문제를 해결할 수 있습니다.

워드프레스 Robots.txt 수정 편집방법 2가지

Robots.txt 수정방법은 위 내용을 참고하세요

네이버웹마스터도구 웹페이지 최적화 검증

네이버 웹마스터 도구는 웹사이트 소유자들이 자신의 웹페이지의 검색 엔진 최적화 (SEO) 상태를 확인하고 개선할 수 있게 도와주는 도구입니다. 이를 통해, 웹페이지의 최적화 검증 작업을 진행할 수 있습니다.

• 웹페이지 상태 체크 : 네이버 웹마스터 도구를 사용하여 웹페이지의 현재 SEO 상태를 분석합니다. 이는 웹사이트의 기본적인 구조, 컨텐츠의 품질, 링크 상태 등 다양한 요소를 포함합니다.
• 문제점 파악 : 분석을 통해 나타난 문제점이나 개선점을 파악합니다. 예를 들어, 중복된 컨텐츠나 깨진 링크, 최적화되지 않은 태그 등이 있을 수 있습니다.
• 개선 방안 실행 : 파악된 문제점을 바탕으로 개선 방안을 실행합니다. 이는 태그의 수정, 컨텐츠의 재구성, 링크의 정리 등 다양한 작업을 포함할 수 있습니다.
• 재검증 : 개선 작업 후, 다시 웹마스터 도구를 이용하여 웹페이지의 최적화 상태를 재검증합니다. 이를 통해 개선 작업이 제대로 반영되었는지 확인하고, 추가적인 개선점이 필요한지 평가합니다.

네이버 웹마스터도구에 들어가 검증 -> 웹페이지 최적화를 확인합니다.

그럼 robots.txt 파일에서 제대로 접근을 하지못해 차단되고 있는 상태임을 확인할 수 있습니다.

robots.txt 검색 로봇 허용

User-agent: Yeti
Allow:/

가장먼저 메모장을 열어 보기와 같이 작성후 txt확장자로 저장합니다.

아니면 아래 파일을 다운로드 합니다.

robots.txt

0.00MB

해당파일은 검색엔진에서 로봇이 활성화 할 수 있도록 합니다.

 

robots.txt 검색 로봇 차단

User-agent: Yeti
Disallow:/

반대로 검색엔진 로봇이 들어오지 못하도록 차단하는 파일은 아래 있습니다.

robots.txt

0.00MB

여기에 추가로 사이트맵 주소도 함께 추가해주는것을 추천합니다.

User-agent: *
Disallow:

Sitemap: https://homepage.co.kr/sitemap.xml
Sitemap: https://homepage.co.kr/post-sitemap.xml

Disallow: /wp-admin/
Disallow: /readme.html

파일질라 FTP 접속

robots.txt 업로드 위치

다음 해당파일을 워드프레스에 업로드해야합니다.

파일질라와 같은 FTP 프로그램을 설치 후 실행해서 로그인합니다.

파일질라 FTP 워드프레스 플러그인 설치 및 사용방법 - 노랗IT월드

보는것과 같이 다운로드한 robots.txt파일을 워드프레스 최상위 경로에 업로드합니다.

 

참고로로 robots.txt파일은 네이버 웹마스터도구에서도 다운로드가 가능합니다.

네이버 웹마스터에 접속 후 robots.txt 간단생성에서 네이버 검색로봇만 들어오게 할것인지 모든 검색로봇을 허용할것인지 선택해서 다운로드 합니다.

• 로봇툴 설정 확인: 웹사이트의 로봇툴 설정을 먼저 확인합니다. 이 설정은 검색엔진 로봇이 웹페이지를 수집할 수 있는지 여부를 결정합니다.
• 수집 요청: 설정이 완료되면 '수집요처' 버튼을 클릭하여 로봇툴이 웹페이지의 정보를 수집할 수 있는지 요청합니다.
• 수집 상태 확인: 이후 로봇툴이 웹페이지 정보를 수집할 수 있는지의 상태를 다시 확인합니다.

만약 로봇이 웹페이지를 정상적으로 수집할 수 있다면, 웹페이지가 검색엔진에 노출될 준비가 완료된 것입니다.

이후 수집요처을 누른다음 설정된 로봇툴이 웹피이지 수집을 할 수 있는지 다시 확인합니다.

워드프레스 네이버 검색허용

그럼 정상적으로 로봇이 수집가능한 상태임을 확인할 수 있습니다.

이상 웹페이지의 정보가 검색 엔진에 효과적으로 노출되려면, 검색엔진 로봇의 접근성을 허용해야 합니다. 워드프레스를 활용하는 사이트 관리자들은 위의 과정을 통해 네이버 검색 로봇의 웹페이지 수집을 허용할 수 있습니다. 이를 통해 웹사이트의 가시성을 높이고, 더 많은 사용자에게 정보를 제공할 수 있게 됩니다.

• 네이버 웹마스터도구 참고
  • [IT 리뷰/블로그 SEO] - 네이버 웹마스터도구 올바른 RSS가 아닙니다 RSS 본문 크기를 줄여주세요
  • [IT 리뷰/블로그 SEO] - 네이버 웹마스터도구 사이트제목 사이트설명 없음 등록방법
  • [IT 리뷰/블로그 SEO] - 네이버 검색엔진 웹마스터도구 사이트맵 RSS 제출