워드프레스 Robots.txt 수정 편집방법 2가지

워드프레스 Robots.txt 수정 편집방법 2가지

워드프레스를 관리하면서 검색엔진에 노출을 하기 위해 가장 중요한것은 바로 각 웹마스터도구에서 검색엔진 로봇이 자유롭게 들어와 수집이 가능하도록 하는것입니다.

 

워드프레스 Robots.txt 저장위치 수정 편집

그리고 이러한 로봇수집을 가능하게 허락하느것이 바로 워드프레스 Robots.txt 파일로서 네이버블로그나 티스토리의 경우 해당 파일을 수정할 수 있는 권한이 없지만 워드프레스는 관리자로 하여금 로봇 텍스트 파일을 수정할 수 있는 권한을 주어집니다.

Robots.txt 란? 사용용도

"robots.txt" 파일은 웹사이트의 검색 엔진 크롤러에게 해당 사이트의 콘텐츠를 어떻게 크롤링하고 인덱싱해야 하는지 지시하는 텍스트 파일입니다. 이 파일을 사용하여 웹사이트의 특정 부분을 크롤러가 접근하지 못하도록 차단하거나, 특정 크롤러를 환영하거나 제한하는 등의 지침을 제공할 수 있습니다. robots.txt 파일은 검색 엔진 최적화(SEO) 관점에서 중요한 역할을 하며 Robots.txt 저장위치는 자신의 도메인 주소 바로 뒤 아래와 같이 저장됩니다.

https://www.example.com/robots.txt

robots.txt 파일의 위치 경로는 웹사이트의 루트 디렉토리에 위치해야 합니다. 웹사이트의 루트 디렉토리란 웹사이트의 기본 디렉토리를 말하며, 일반적으로 웹사이트의 주소 (예: example.com) 뒤에 아무 경로도 붙지 않은 상태를 의미합니다. robots.txt 파일은 이 루트 디렉토리에 직접 위치하며, 검색 엔진 크롤러가 사이트에 접근할 때 첫 번째로 확인하는 파일 중 하나입니다.

robots.txt파일은 메모장으로 만들어도 되고 네이버웹마스터도구에서 robots.txt 간단생성을 통해 다운로드 받을 수 있습니다.

robots.txt

0.00MB

그리고 이렇게 업로드된 Robots.txt 파일을 수정하는 방법은 크게 2가지입니다.

• FTP 프로그램을 통한 수정
• 워드프레스 플러그인을 통한 수정

기본적으로 워드프레스나 티스토리 등 Robots.txt에서 구글 검색엔진이나 네이버, 다음, 빙, 줌 등의 웹마스터도구에서 색인을 허용하고자 한다면 크롤러 접근을 허용해줘야하기 때문에 아래와 같이 입력해야합니다.

User-agent: *
Disallow: /private/
Allow: /public/

위 예시에서 "User-agent: *"는 모든 크롤러에게 적용되는 지시를 의미하며, "/private/" 경로는 접근 차단, "/public/" 경로는 접근 허용을 의미합니다.

파일질라 Robots.txt 수정

가장먼저 FTP프로그램인 파일질라나 알FTP등을 통한 편집방법입니다.

메모장을 열어 원하는 수집글을 입력한 다음 저장시 다른이름으로 저장합니다.

파일이름 : robots.txt

파일로 저장합니다.

robots.txt 위치

이후 파일질라를 통해 본인 워드프레스 계정으로 로그인 연결합니다.

이 후 최상위 위치에 robots.txt 파일을 업로드합니다.

워드프레스 Robots.txt Editor 플러그인

다른방법으로는 robots.txt Editor 플러그인을 설치해서 수정합니다.

설치 후 설정으로 들어갑니다.

 

그럼 현재 설정된 로봇툴이 있으며 변경하고자 하는 수집텍스트를 입력하고 저장합니다.

수동으로 Robost.txt 파일을 수정 후 업로드시에는 구문검증 및 저장 위치와 테스트등이 모두 필요하니 주의하여 수정하느것을 추천합니다.

• 워드프레스 검색엔진 등록 및 Robots.txt 참고
  • [IT 리뷰/블로그 SEO] - 워드프레스 네이버 검색차단 로봇 robots.txt 해결방법
  • [IT 리뷰/블로그 SEO] - 다음 웹마스터도구 검색엔진 워드프레스 등록 색인요청