robots.txt 작성법, 쇼핑몰은 어디서 고치나요?

robots.txt는 "어떤 로봇이(User-agent) 어디를 읽어도 되고(Allow) 어디는 안 되는지(Disallow)"를 적는 글자 파일이에요. 쇼핑몰이라면 관리자 페이지와 장바구니만 막고, 맨 아래에 Sitemap 줄 하나를 더하면 대부분 끝나요. 다만 AI 검색에 보이고 싶다면 AI 크롤러 이름을 막고 있지 않은지 한 번은 열어 보시면 좋을 것 같아요.

2026년 11월 10일에 국내 쇼핑몰·브랜드 자사몰 55곳의 robots.txt를 직접 받아 43곳을 읽었고, Google·OpenAI·Anthropic·Perplexity·네이버 공식 문서와 쇼핑몰 플랫폼 도움말을 같이 봤어요.

⏰ 바쁜 분들을 위한 핵심 요약

질문	답	근거
어디에 두나요	사이트 맨 위 주소 /robots.txt. 하위 폴더에 두면 안 읽어요	Google 사양 문서
기본 네 줄은요	User-agent, Allow, Disallow, Sitemap	Google 사양 문서
막으면 검색에서 사라지나요	아니요. 주소만 설명 없이 뜰 수 있어요. 숨기려면 noindex	Google robots.txt 소개
다른 쇼핑몰은 어떻게 쓰나요	43곳 중 Sitemap 줄 있는 곳 19곳, AI 검색 봇을 막은 곳 2곳, 네이버 Yeti를 막은 곳 0곳	불티 실측 2026-11-10
GPTBot을 막으면 ChatGPT 검색에서 빠지나요	아니요. 검색은 OAI-SearchBot, 학습은 GPTBot이 따로예요	OpenAI 크롤러 문서
스마트스토어도 고칠 수 있나요	판매자가 고치는 메뉴는 찾지 못했어요. 네이버가 정한 파일이 그대로 적용돼요	불티 실측 2026-11-10

robots.txt 작성법: 기본 네 줄

Google 사양 문서에 적힌 대로라면, Google이 읽는 줄은 user-agent, allow, disallow, sitemap 네 가지예요. crawl-delay 같은 줄은 Google이 읽지 않아요.

User-agent: *
Disallow: /admin/
Disallow: /order/

Sitemap: https://내도메인/sitemap.xml

이 네 줄이 뜻하는 건 이래요.

줄	뜻	주의할 점
User-agent: *	아래 규칙을 모든 로봇에게	로봇 이름은 대소문자를 가리지 않아요
Disallow: /admin/	/admin/ 아래는 읽지 말 것	경로는 대소문자를 가려요. /Admin/은 다른 경로예요
Allow: /	읽어도 됨	막힌 폴더 안의 일부만 열 때 써요
Sitemap:	사이트맵 전체 주소	https://부터 다 적어요. 여러 줄 써도 돼요

헷갈리기 쉬운 규칙이 두 개 있더라고요.

1. 로봇 이름을 따로 적으면 * 묶음은 그 로봇에게 적용되지 않아요. Google 문서는 "가장 구체적인 그룹 하나만 따르고, 특정 그룹과 * 그룹은 합치지 않는다"고 적고 있어요. 그래서 User-agent: GPTBot 아래에 Allow: /만 쓰면, * 묶음에 적은 /admin/ 차단이 GPTBot에게는 빠져요.
2. 도메인마다 파일이 따로예요. www. 붙은 주소와 안 붙은 주소, http와 https는 서로 다른 파일로 봐요. 네이버 서치어드바이저 가이드도 같은 설명을 해요.

robots.txt로 막으면 검색에서 안 보이나요

안 보이게 되는 건 아니에요. Google robots.txt 소개는 robots.txt를 "페이지가 Google에 표시되는 것을 막는 수단이 아니"라고 적어요. 막힌 주소도 다른 곳에서 링크되면 설명 없이 검색 결과에 뜰 수 있거든요. 정말 숨길 페이지는 noindex나 로그인으로 막는 게 맞는 것 같아요.

응답 코드도 결과를 바꿔요.

robots.txt 주소의 응답	네이버	Google
200 정상	규칙대로 읽음	규칙대로 읽음
404 같은 4xx	모두 허용으로 봄	제한 없음으로 봄 (429 제외)
500 같은 5xx	모두 막음으로 봄 (이전 규칙이 있으면 잠시 사용)	처음 12시간은 크롤링 중단, 이후 마지막 정상 버전 사용
HTML 페이지로 응답	규칙이 있어도 "없음(모두 허용)"으로 볼 수 있음	읽을 수 있는 줄만 골라 씀

출처는 네이버 가이드와 Google 사양 문서예요. Google은 robots.txt를 보통 최대 24시간 저장해 두고 써서, 고친 내용이 바로 반영되지 않을 수 있어요.

AI 크롤러 줄은 어떻게 쓰나요

AI 회사들은 로봇을 용도별로 나눠 두었어요. 학습용을 막는 것과 검색용을 막는 것은 결과가 완전히 달라요.

로봇 이름	회사	하는 일	막으면	출처
GPTBot	OpenAI	모델 학습용 수집	학습에서 빠져요. ChatGPT 검색과는 별개예요	OpenAI 크롤러 문서
OAI-SearchBot	OpenAI	ChatGPT 검색	ChatGPT 검색 답변에 안 나와요 (이동용 링크로는 나올 수 있음). 반영까지 약 24시간	같은 문서
ChatGPT-User	OpenAI	사용자가 시킨 방문	사용자 요청이라 robots.txt가 적용되지 않을 수 있어요. 검색 노출 판단에는 안 써요	같은 문서
ClaudeBot	Anthropic	학습용 수집	앞으로의 학습에서 빠져요	Anthropic 도움말
Claude-SearchBot	Anthropic	검색 품질용 수집	검색 결과에서 덜 보일 수 있어요	같은 도움말
Claude-User	Anthropic	사용자가 시킨 방문	사용자 질문에 내 페이지를 못 가져가요	같은 도움말
PerplexityBot	Perplexity	검색 결과에 링크 노출	Perplexity 검색 결과에 안 나와요. 학습에는 안 써요	Perplexity 크롤러 문서
Perplexity-User	Perplexity	사용자가 시킨 방문	대체로 robots.txt를 따르지 않는다고 적혀 있어요	같은 문서
Google-Extended	Google	Gemini 학습과 답변 근거	Gemini 앱 학습·근거에서 빠져요. 구글 검색 노출과 순위에는 영향이 없다고 적혀 있어요	Google 크롤러 목록
Googlebot	Google	구글 검색	구글 검색의 모든 기능에서 빠져요	같은 목록
Yeti	네이버	네이버 검색 수집	네이버 검색 수집이 막혀요	네이버 가이드

네이버 AI 브리핑만 따로 쓰는 로봇 이름은 공식 문서에서 찾지 못했어요. 구글 AI 개요도 Google-Extended가 아니라 Googlebot 쪽 규칙을 따르는 것으로 읽히는데, "AI 개요"라는 이름으로 직접 적힌 문장은 확인하지 못했어요.

정리하면 AI 검색에 보이고 싶은 쇼핑몰이 막지 않을 줄은 OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot, Yeti예요. 학습용(GPTBot, ClaudeBot, Google-Extended)은 막아도 검색 노출과는 별개라서, 정책에 맞게 고르시면 될 것 같아요.

다른 쇼핑몰들은 robots.txt를 어떻게 쓰고 있나요

궁금해서 국내 쇼핑몰·브랜드 자사몰 55곳의 robots.txt를 2026년 11월 10일에 직접 받아 봤어요. 43곳은 정상적인 글자 파일이었고, 2곳은 규칙은 있는데 HTML로 응답했고, 3곳은 다른 페이지로 넘어갔고, 7곳은 연결이 안 됐어요. 아래는 정상으로 받은 43곳이에요. 플랫폼은 첫 화면 코드로 구분했어요.

플랫폼	곳 수	Sitemap 줄 있음	AI 학습 봇 막음 (GPTBot·ClaudeBot)	AI 검색 봇 막음 (OAI-SearchBot·PerplexityBot)	이름 없는 로봇 전부 막음 (* 에 Disallow: /)	네이버 Yeti 막음
카페24	27	6	1	1	1	0
고도몰	3	1	2	1	1	0
쇼피파이·워드프레스	3	3	0	0	0	0
자체 개발·확인 안 됨	10	9	0	0	3	0
합계	43	19 (44%)	3	2	5	0

재 보니 눈에 띄는 게 세 가지 있더라고요.

1. 카페24 27곳 중 21곳은 Sitemap 줄이 없었어요. 카페24는 사이트맵을 따로 만들어 주지만, robots.txt에 그 주소를 적는 건 운영자 몫인 것 같아요.
2. 고도몰 3곳 중 2곳에 # Default Bot Policy List provided by GODOMALL이라는 문구가 있었어요. 그 아래 묶음이 GPTBot과 ClaudeBot을 Disallow: /로 막고 있었어요. 운영자가 일부러 넣었는지, 기본값을 그대로 둔 건지는 확인하지 못했어요. 학습용 봇이라 ChatGPT 검색 노출과는 별개예요.
3. 이름 없는 로봇을 전부 막은 곳이 5곳이었어요. 이 경우 OAI-SearchBot이나 PerplexityBot처럼 이름을 따로 적지 않은 검색 봇도 같이 막혀요. 5곳 중 3곳은 AI 봇 이름을 하나하나 적어 열어 두었고, 2곳은 열어 두지 않았어요. NHN커머스 안내를 보면 고도몰 기본 설정 자체가 User-agent: * 아래 Disallow: /로 시작해요.

AI 봇 이름을 robots.txt에 적은 곳은 43곳 중 8곳이었고, 그중 6곳은 막으려고가 아니라 열어 두려고 적었어요. 표본은 검색 상위 브랜드 위주라 전체 쇼핑몰을 대표하지 않아요. 표의 브랜드는 모두 의뢰인이 아니에요.

내 쇼핑몰 robots.txt가 AI 검색 봇을 막고 있는지, 상세페이지가 AI에 읽히는 상태인지 궁금하면 주소만 주세요. 고칠 곳을 번호로 표시해 무료로 봐드려요. 무료 첨삭 신청

스마트스토어 robots.txt는 어떻게 되어 있나요

스마트스토어와 브랜드스토어는 같은 파일을 쓰고 있었어요. 2026년 11월 10일에 smartstore.naver.com/robots.txt를 받아 보니 이렇게 적혀 있었어요 (중간 일부 줄임).

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Claude-SearchBot
Disallow: /

User-agent: *
Disallow: /

User-agent: Googlebot
Allow: /

학습용뿐 아니라 ChatGPT 검색(OAI-SearchBot), Perplexity, Claude 검색 봇까지 막혀 있었어요. Googlebot은 열려 있어요. 판매자 화면에서 이 파일을 고치는 메뉴는 찾지 못했어요. 그래서 스마트스토어만 운영하신다면, ChatGPT나 Perplexity 검색에 보이는 길은 스마트스토어 밖(자사몰, 블로그)에 따로 두는 게 현실적인 것 같아요. 이 파일은 네이버가 언제든 바꿀 수 있어요.

쇼핑몰 플랫폼별로 robots.txt는 어디서 고치나요

플랫폼	고치는 곳	기본값	출처
카페24	쇼핑몰 설정 > 기본 설정 > 쇼핑몰 정보 > 검색 엔진 최적화(SEO) > 고급 설정 > 검색로봇 접근 제어	관리자·API만 막고 나머지 허용. 2026년 5월 6일 기본값 업데이트	카페24 고급 설정, 카페24 공지
고도몰	기본설정 > 기본정책 > 검색엔진 최적화(SEO) 설정 > 검색로봇 정보 수집 설정	User-agent: * 아래 Disallow: /로 시작	고도몰 도움말
아임웹	줄을 직접 고치는 칸은 공식 도움말에서 확인하지 못했어요. 환경설정 > SEO에서 검색엔진 노출 허용, AI 검색 허용 스위치로 조절	7줄 자동 (가입·로그인·장바구니 등 막음)	아임웹 FAQ, 아임웹 AI 검색 가이드
워드프레스	파일이 없으면 자동으로 만들어 줘요. 루트에 파일을 올리거나 SEO 플러그인 편집기, robots_txt 필터로 고쳐요	Disallow: /wp-admin/ 등	워드프레스 개발 문서
스마트스토어	판매자가 고치는 메뉴는 찾지 못했어요	위 실측 내용	불티 실측 2026-11-10

카페24에서 실제로 손대는 순서는 카페24 SEO 설정 글에, 아임웹은 아임웹 SEO 설정 글에 정리해 뒀어요. 고도몰을 쓰신다면 맨 위 Disallow: /가 아직 남아 있는지부터 보시면 좋을 것 같아요. 고도몰 도움말도 네이버 사이트 등록 단계에서 이 /를 지우라고 안내하거든요.

불티 사이트 robots.txt 예시

불티(bultibulti.com)의 robots.txt를 2026년 11월 10일에 받은 그대로 옮겨요. 결제와 내부 API만 막고, AI 로봇은 이름을 하나씩 적어 열어 두었어요.

User-Agent: *
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: GPTBot
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: OAI-SearchBot
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: ChatGPT-User
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: ClaudeBot
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: Claude-Web
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: anthropic-ai
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: PerplexityBot
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: Perplexity-User
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: Google-Extended
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: Applebot-Extended
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: CCBot
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: Bingbot
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: Amazonbot
Allow: /
Disallow: /api/
Disallow: /pay/

User-Agent: meta-externalagent
Allow: /
Disallow: /api/
Disallow: /pay/

Sitemap: https://bultibulti.com/sitemap.xml
Sitemap: https://bultibulti.com/rss.xml

로봇마다 Disallow 두 줄을 반복한 건 앞에서 말한 규칙 때문이에요. 이름을 따로 적은 로봇은 * 묶음을 안 따르거든요.

이 글을 쓰면서 저희 파일도 다시 확인해 보니 고칠 곳이 보이더라고요. Claude-Web, anthropic-ai는 지금 Anthropic 도움말에 없는 이름이고, 지금 이름인 Claude-SearchBot, Claude-User 줄은 없었어요. 이름이 없으면 * 묶음(허용)을 따르니 막힌 건 아니지만, 다음에 손볼 때 이름을 맞출 생각이에요. 네이버 Yeti도 따로 안 적었지만 * 묶음을 따라 열려 있어요.

AI에게 사이트 안내문을 따로 주는 llms.txt는 llms.txt 만드는 법에서 이어서 다뤄요.

고친 뒤에는 어떻게 확인하나요

1. 브라우저 주소창에 내도메인/robots.txt를 쳐서 글자 파일로 열리는지 봐요. HTML 페이지가 뜨면 네이버는 규칙을 못 읽을 수 있어요
2. 네이버 서치어드바이저의 robots.txt 도구에서 "수집 요청"을 누르고, 상품 주소 하나를 넣어 수집 가능 여부를 테스트해요 (네이버 가이드)
3. 구글 서치콘솔에서 상품 주소를 URL 검사에 넣어 "robots.txt에 의해 차단됨"이 없는지 봐요. 서치콘솔 쓰는 순서는 구글 서치콘솔 글에 있어요
4. AI 봇 줄을 바꿨다면 OpenAI는 반영에 약 24시간이 걸린다고 적었어요. 하루 뒤에 다시 보시면 될 것 같아요

FAQ

robots.txt가 없으면 어떻게 되나요

네이버는 robots.txt가 없으면 모든 페이지를 수집해도 된다고 봐요. Google도 404면 제한이 없다고 봐요. 없어도 검색에는 나오지만, 관리자·장바구니를 막고 사이트맵 주소를 알리려면 있는 편이 나은 것 같아요.

robots.txt에 Sitemap은 꼭 적어야 하나요

꼭은 아니에요. 서치어드바이저나 서치콘솔에 사이트맵을 직접 내도 돼요. 다만 Google 문서는 robots.txt의 Sitemap 줄을 Google, Bing 같은 주요 검색엔진이 지원한다고 적고 있어서, 한 줄로 여러 검색엔진에 알릴 수 있어요. 실측한 43곳 중 24곳은 이 줄이 없었어요.

GPTBot을 막으면 ChatGPT 검색에 안 나오나요

아니요. OpenAI 문서는 GPTBot(학습)과 OAI-SearchBot(검색)을 따로 관리한다고 적고 있어요. 학습만 거부하고 검색에는 나오고 싶다면 GPTBot만 막고 OAI-SearchBot은 열어 두면 돼요.

robots.txt에 Crawl-delay를 넣으면 효과가 있나요

Google은 crawl-delay를 지원하지 않는다고 적었어요. Anthropic은 지원한다고 적었어요. 고도몰 기본 문구에 Crawl-delay: 10이 들어간 곳이 있었는데, 구글 수집 속도에는 영향이 없는 줄이에요.

아임웹은 robots.txt를 직접 고칠 수 있나요

공식 도움말에서 직접 고치는 칸은 확인하지 못했어요. 아임웹 FAQ는 기본 7줄이 자동으로 들어가니 따로 입력할 필요가 없다고 안내하고, 검색 노출과 AI 검색 허용은 SEO 설정 스위치로 켜고 끄게 되어 있어요.

확인 범위

2026년 11월 10일에 국내 쇼핑몰·브랜드 자사몰 55곳의 https://www.도메인/robots.txt를 PC 브라우저 이름으로 받아, 정상 글자 파일 43곳을 셌어요. www가 없는 주소의 파일은 따로 보지 않았어요. 로봇별 차단 여부는 Google 사양의 그룹 규칙(이름이 있으면 그 묶음, 없으면 * 묶음)으로 판단했고, 사이트 전체(/) 차단만 셌어요. 일부 폴더만 막은 경우는 막지 않음으로 셌어요. 플랫폼은 첫 화면 코드의 흔적으로 구분해서 틀릴 수 있어요. 표본은 검색 상위 브랜드 위주이고, 브랜드 이름은 적지 않았어요. 해당 브랜드는 모두 의뢰인이 아니에요. 스마트스토어 파일은 같은 날 smartstore.naver.com과 brand.naver.com에서 받았고 두 파일은 같았어요. 같이 보면 좋은 글은 카페24 SEO 설정 방법과 아임웹 SEO 설정 방법이에요.