워드프레스 Robots.txt 위치와 수정 방법 2가지(FTP · 플러그인)
워드프레스 Robots.txt 위치와 수정 방법 2가지(FTP · 플러그인)
워드프레스를 운영하다 보면 어느 순간부터 방문자 수보다도 검색엔진에 제대로 노출되고 있는지가 더 신경 쓰이게 됩니다. 구글 서치 콘솔이나 네이버·다음 웹마스터도구에서 수집 오류가 자꾸 잡힌다면, 가장 먼저 확인해야 할 부분 중 하나가 바로 robots.txt 설정입니다. 이 작은 텍스트 파일 하나가 검색 로봇이 사이트를 어떻게 드나드는지 방향을 잡아주는 역할을 하기 때문입니다.
워드프레스의 장점 중 하나가 설치형 블로그답게 이런 robots.txt 파일을 직접 만들고, 고쳐 쓸 수 있는 자유가 있다는 점입니다. 네이버 블로그나 티스토리처럼 플랫폼에서 제공해 주는 기본값만 써야 하는 게 아니라, 내 사이트 구조에 맞게 검색 허용·차단 범위를 조정할 수 있습니다.
워드프레스에서는 이 robots.txt를 직접 작성하거나 수정해서 구글, 네이버, 다음, 빙, 줌 같은 검색엔진이 어떤 폴더는 마음껏 수집하고, 어떤 폴더는 건드리지 말아야 하는지 알려줄 수 있습니다.
덕분에 관리자 영역이나 개인정보가 들어 있을 수 있는 경로는 깔끔하게 막고, 콘텐츠가 모인 게시글·카테고리 영역은 적극적으로 열어 줄 수 있습니다.
워드프레스 Robots.txt 개념과 저장 위치
robots.txt는 말 그대로 텍스트 파일입니다. 여기에 검색 엔진 크롤러에게 줄 간단한 규칙을 적어두면, 로봇이 사이트에 들어오기 전에 이 파일을 읽고 어디까지 들어가도 되는지를 판단합니다. 그래서 SEO 관점에서는 이 파일을 어떻게 작성하느냐가 꽤 중요한 역할을 합니다.
주소 형태는 항상 아래처럼 도메인 루트 뒤에 /robots.txt가 붙는 모양이 됩니다.
https://www.example.com/robots.txt여기서 example.com 뒤에 아무 경로도 붙지 않은 바로 그 위치가 웹사이트의 루트 디렉터리입니다. robots.txt 파일은 반드시 이 루트에 있어야 하고, 다른 서브폴더에 만들어두면 검색 로봇이 보지 못합니다.
그래서 워드프레스 기준으로 보면 일반적으로 public_html / www / html 같은 최상위 폴더에 위치하게 됩니다.
robots.txt 파일은 메모장 같은 기본 텍스트 편집기로 만들어도 전혀 상관없고, 네이버나 구글에서 제공하는 도구를 이용해 템플릿을 만들고 다운로드하는 것도 가능합니다.
중요한 것은 저장 형식이 반드시 UTF-8 텍스트여야 하고, 이름은 정확히 robots.txt로 맞춰야 한다는 점입니다. 확장자가 .txt가 맞는지만 확인해 두면 됩니다.
워드프레스에서 이 파일을 수정하는 방식은 크게 FTP로 직접 수정하는 방법과 플러그인을 이용해 관리자 화면에서 편집하는 방법, 이렇게 두 가지로 나눌 수 있습니다. 어느 쪽이든 원리는 같고, 중요한 건 수정 전에 항상 기존 파일을 백업해 두는 습관입니다.
검색엔진에 허용할 기본 Robots.txt 예시
워드프레스나 티스토리처럼 블로그 형태의 사이트에서 일반적으로 많이 사용하는 robots.txt 기본 예시는 아래처럼 심플합니다. 모든 검색 크롤러를 허용해 주고, 진짜 막고 싶은 경로만 최소한으로 지정하는 방식입니다.
User-agent: *
Disallow: /private/
Allow: /public/여기서 User-agent: *는 “모든 검색 로봇에게 적용한다”는 뜻입니다.
그 아래 줄에서 /private/ 경로는 접근을 막고, /public/ 경로는 접근을 허용하는 식으로 범위를 구분합니다. 실제 워드프레스 환경에서는 /wp-admin/처럼 관리자 경로나, 로그·백업 파일이 모여 있는 특정 디렉터리를 막는 경우가 많습니다.
| 지시어 | 설명 | 워드프레스 예시 |
| User-agent | 어떤 크롤러에게 규칙을 적용할지 지정 | User-agent: * (모든 검색엔진) |
| Disallow | 해당 경로에 접근하지 말라는 뜻 | Disallow: /wp-admin/ |
| Allow | 특정 경로를 명시적으로 허용 | Allow: /wp-admin/admin-ajax.php |
실제 운영에서는 여기에 사이트맵 주소까지 함께 적어 두면 검색엔진이 구조를 파악하는 속도가 한결 빨라집니다.
파일질라로 워드프레스 Robots.txt 수정하기
첫 번째 방법은 가장 기본적이면서도 확실한 방식입니다.
FTP 프로그램을 이용해 서버에 접속한 다음, 루트 폴더에 있는 robots.txt 파일을 직접 수정하거나 새 파일을 올리는 방법입니다. 여기서는 파일질라(FileZilla)를 기준으로 생각하면 이해하기 편합니다.
먼저 메모장이나 선호하는 텍스트 편집기를 열고, 허용·차단하고 싶은 경로에 맞게 robots.txt 내용을 작성합니다.
다 작성했다면 아래처럼 이름을 지정해 저장해 줍니다.
파일이름 : robots.txt이제 파일질라에서 호스팅 서버에 접속한 뒤, 워드프레스가 설치된 루트(보통 public_html, www, html 중 하나)로 이동합니다.
여기에서 준비해 둔 robots.txt 파일을 최상위 위치에 업로드하면 됩니다.
이미 파일이 있다면 덮어쓰기 전에 기본 파일을 PC에 내려받아 백업해 두는 것이 좋습니다. 잠깐의 수고로 큰 사고를 막을 수 있어서, 이 부분은 번거로워도 습관처럼 챙기는 편이 마음이 편합니다.
업로드가 끝났다면 브라우저 주소창에 직접 https://내도메인/robots.txt를 입력해 내용이 제대로 반영됐는지 확인해 보면 됩니다. 구글 서치 콘솔이나 네이버 서치 어드바이저에 있는 robots 테스트 도구를 함께 사용하면 문법 오류 여부도 바로 체크할 수 있습니다.
워드프레스 Robots.txt Editor 플러그인으로 수정
두 번째 방법은 FTP 접속이 번거롭거나, 직접 서버 파일을 건드리는 것이 부담스러울 때 쓰기 좋은 방식입니다.
Robots.txt Editor처럼 전용 플러그인을 설치하면 워드프레스 관리자 화면에서 바로 robots.txt 내용을 열어 수정할 수 있습니다.
플러그인을 설치하고 활성화한 뒤, 관리자 메뉴에서 설정 항목으로 들어가면 robots.txt 편집 화면이 나타납니다. 여기서 기존 설정을 확인하고, 수정하고 싶은 수집 규칙을 직접 입력한 뒤 저장만 눌러주면 됩니다.
FTP에 익숙하지 않거나, 노트북·모바일에서도 가볍게 수정하고 싶을 때 특히 편합니다.
다만 플러그인을 통해 수정한다고 해도 결국 서버의 robots.txt 내용을 바꾸는 것이기 때문에, 같은 내용이라도 항상 백업과 문법 검증을 먼저 해 두는 것이 좋습니다.
수동으로 robots.txt 파일을 업로드하는 방식은 저장 위치와 인코딩, 줄바꿈 등까지 신경 써야 하고, 플러그인 방식은 관리자 권한을 가진 사람이 실수로 잘못된 규칙을 쓰면 바로 반영된다는 점을 기억해 두면 좋습니다.
어느 쪽이든 “이 정도면 될 것 같아” 느낌으로 고치기보다는 반드시 테스트 도구에서 한 번 더 확인하는 편이 안전합니다.
- 워드프레스 검색엔진 등록 및 Robots.txt 관련 참고 글
워드프레스 Robots.txt 설정에서 자주 쓰는 패턴
실제 사이트 운영에서 많이 사용하는 robots.txt 패턴을 간단히 정리해 보면 다음과 같습니다.
서버마다 환경이 다르기 때문에, 그대로 복붙하기보다는 내 사이트 구조와 맞는지 꼭 확인한 다음 사용하는 게 좋습니다.
| 용도 | 예시 | 설명 |
| 관리자 영역 차단 |
|
관리자 페이지는 막되, AJAX 통신은 허용해서 기능이 정상 동작하도록 설정 |
| 검색에 불필요한 폴더 차단 |
|
로그나 임시 파일이 쌓이는 폴더는 수집에서 제외 |
| 사이트맵 위치 안내 |
|
검색로봇이 사이트맵을 바로 찾을 수 있도록 명시 |
여기에 더해 특정 검색엔진만 선택적으로 제어하는 것도 가능합니다.
예를 들어 크롤링 빈도가 너무 잦아 서버 부하가 걸리는 특정 봇이 있다면, 해당 User-agent를 따로 지정해 접근을 막아두는 식으로 조절할 수 있습니다.
Robots.txt 수정 후 꼭 확인해 보면 좋은 것들
robots.txt는 한 줄만 잘못 입력해도 의도치 않게 전체 사이트를 막아버리는 일이 생길 수 있습니다.
실제로 “검색 결과에서 갑자기 글이 사라졌다” 하고 확인해 보니, 어느 날 Disallow: / 한 줄이 추가되어 있던 사례도 종종 보입니다. 그래서 수정 후에는 아래 몇 가지만 꼭 체크해 보는 편이 좋습니다.
우선 브라우저에서 직접 robots.txt 내용을 확인해 줄 필요가 있습니다.
주소창에 /robots.txt를 붙여 열어 보고, 방금 수정한 내용이 그대로 들어가 있는지, 인코딩이 깨지지 않았는지 확인합니다. 그다음으로는 구글 서치 콘솔, 네이버·다음 웹마스터 도구에서 제공하는 robots 테스트 기능으로 특정 URL이 실제로 차단되고 있는지, 허용되고 있는지 시뮬레이션해 보는 것이 좋습니다.
마지막으로, 검색엔진 색인에서 큰 변화가 생기지 않았는지 며칠간 천천히 지켜보면 마음이 더 놓입니다.
대형 사이트가 아니라면 robots.txt를 바꾼다고 해서 순식간에 모든 색인이 날아가지는 않지만, 장기적으로는 꽤 큰 영향을 줄 수 있기 때문에 처음 몇 번은 조금 과하다 싶을 정도로 신경을 써주는 편이 낫다고 느꼈습니다.
FAQ – 워드프레스 Robots.txt 관련 자주 묻는 질문
워드프레스에서 robots.txt 파일이 보이지 않을 때는 어떻게 해야 하나요?
루트 폴더에 robots.txt가 아예 없는 상태인 경우도 많습니다. 이럴 때는 메모장으로 새 파일을 만들어 필요한 규칙을 적고, 이름을 robots.txt로 지정해 저장한 뒤 FTP로 루트에 업로드하면 됩니다.
일부 SEO 플러그인은 실제 파일 없이 가상 robots.txt를 만들어 주기도 하는데, 이 경우 플러그인 설정에서 내용을 편집할 수 있는지 먼저 확인해 보는 편이 좋습니다.
robots.txt에서 Disallow를 잘못 쓰면 검색 결과에 바로 영향이 있나요?
Disallow로 중요한 경로를 막아두면 크롤러가 그 영역을 더 이상 탐색하지 못하게 됩니다.
이미 색인된 페이지라면 바로 삭제되는 것은 아니지만, 시간이 지나면서 점점 검색 결과에서 밀려나거나, 새 글이 색인되지 않을 수 있습니다. 그래서 중요한 카테고리나 게시글 경로에 대해서는 되도록 Disallow를 사용하지 않는 쪽으로 생각하는 편이 안전합니다.
워드프레스 관리자에서 “검색엔진이 이 사이트를 인덱스하지 못하게 합니다” 옵션과 robots.txt는 어떤 관계인가요?
워드프레스 설정 > 읽기 메뉴에 있는 그 체크박스를 켜면, 워드프레스가 검색엔진에 크롤링을 자제해 달라는 신호를 보내게 됩니다.
이때 일부 설치에서는 robots.txt에 Disallow 규칙이 자동으로 추가될 수 있기 때문에, 실제 robots.txt 내용을 함께 확인해 보는 것이 좋습니다. 개발 단계에서 잠깐 차단해 두었다가 운영 단계로 전환할 때 이 옵션과 robots.txt를 같이 풀어줘야 정상적으로 색인이 이루어집니다.
플러그인으로 robots.txt를 수정하는 것과 FTP로 직접 수정하는 것 중 어느 쪽이 더 안전할까요?
둘 다 결국 같은 파일을 건드리는 일이지만, 안전성만 놓고 보면 FTP로 원본을 내려받아 백업하고 수정하는 방식이 조금 더 여유가 있습니다.
문제가 생겼을 때 로컬에 저장된 파일로 바로 되돌릴 수 있기 때문입니다. 반대로 플러그인은 접근성이 좋고 빠르게 수정할 수 있다는 장점이 있지만, 한 번 잘못 저장하면 곧바로 운영 사이트에 반영되기 때문에 백업과 테스트를 더 꼼꼼하게 챙겨야 합니다.
robots.txt에서 사이트맵 주소를 꼭 적어야 하나요?
반드시 필수는 아니지만, 적어두는 편이 검색엔진 입장에서는 친절한 안내가 됩니다.
특히 XML 사이트맵을 여러 개로 쪼개서 쓰거나, 이미지·뉴스 사이트맵 등을 따로 두고 있다면 robots.txt 하단에 Sitemap 항목을 한 줄씩 적어 두는 것이 좋습니다. 검색로봇이 사이트맵 위치를 더 빠르게 인지해서 색인 효율이 올라가는 느낌을 받을 수 있습니다.
네이버나 다음에서 robots.txt 오류가 뜨는데, 구글에서는 괜찮다고 나옵니다. 어디 기준을 따라야 할까요?
검색엔진마다 robots.txt 해석 방식에 약간씩 차이가 있을 수 있습니다.
기본 문법은 같지만, 각 서비스에서 제공하는 검사 도구가 조금 더 엄격하게 체크하는 부분이 다를 수 있기 때문입니다. 일반적으로는 구글과 국내 포털에서 모두 오류가 없도록 맞추는 쪽을 목표로 두고, 하나라도 경고를 띄우면 해당 도구의 안내에 맞춰 수정해 주는 편이 좋습니다.
워드프레스 멀티사이트를 사용할 때 robots.txt는 어떻게 관리하나요?
하나의 워드프레스 설치로 여러 사이트를 운영하는 멀티사이트 구조에서는, 도메인·서브도메인 구조에 따라 robots.txt 관리 방식이 조금 달라집니다.
각 사이트가 독립된 도메인이나 서브도메인을 가지고 있다면, 각각의 루트에 robots.txt를 따로 두는 것이 가장 명확합니다. 서브디렉터리 방식이라면 하나의 robots.txt에서 경로별로 세분화해 관리할 수도 있지만, 구조가 복잡해지기 쉬워서 처음부터 계획을 세워 두는 것이 좋습니다.
robots.txt만 잘 꾸며도 SEO가 크게 좋아질까요?
robots.txt는 어디까지나 “검색로봇이 어떻게 들어올지”에 대한 신호를 주는 역할이라, 이 파일 하나로 순위가 확 올라가지는 않습니다.
다만 중요한 페이지를 실수로 막아버리는 사고를 예방하고, 관리자·임시 폴더 등 불필요한 영역의 크롤링을 줄여 크롤링 예산을 아끼는 데에는 확실히 도움이 됩니다. 결국 콘텐츠 품질과 사이트 속도가 기본이고, robots.txt는 그 위에서 방향을 정리해 주는 보조 도구에 가깝다고 보면 마음이 더 편합니다.
티스토리나 네이버 블로그처럼 robots.txt를 직접 수정할 수 없는 서비스와의 차이는 무엇인가요?
티스토리나 네이버 블로그는 플랫폼에서 미리 정의해 둔 정책에 따라 로봇 접근이 통제됩니다.
사용자가 세부 경로를 직접 허용·차단할 수 없다는 점에서는 제약이 있지만, 반대로 말하면 세밀하게 건드리다가 잘못 건드릴 위험에서도 자유롭습니다. 워드프레스는 그 반대입니다. 자유도가 높은 대신 검색엔진과 서버 쪽 설정에 대한 책임도 온전히 운영자에게 있다는 점을 염두에 두고 robots.txt를 다루면 좋겠습니다.
2026년 기준으로 새로 워드프레스 블로그를 시작한다면 robots.txt는 언제 손대는 게 좋을까요?
개인적으로는 사이트 구조가 어느 정도 잡히고, 카테고리와 메뉴가 자리를 잡은 뒤에 손대는 편이 마음이 편했습니다. 초기에는 워드프레스 기본 상태로 두고, 글이 어느 정도 쌓이고 나서 “어디까지 검색에 보여줄지, 어디는 숨길지” 감이 잡힌 뒤에 robots.txt를 만들어 줘도 늦지 않습니다.
중요한 건 한 번 만들어 놓고 잊어버리는 게 아니라, 사이트 구조나 SEO 전략이 바뀔 때마다 가볍게 점검해 주는 습관이라고 느껴졌습니다.