크롤러를 막으면 매출이 빠집니다, 아마존이 잃은 자리
AI 크롤러를 막을지 말지는 국내 기업에서도 자주 나오는 논의입니다. 콘텐츠가 학습에 쓰이는 것이 부담스럽다는 이유가 대부분입니다.
막았을 때 무엇을 잃는지 보여 주는 사례가 있습니다. 규모가 큰 곳이라 결과도 뚜렷하게 나왔습니다.
크롤러를 막으면 어떻게 되나요?
인용 자리를 경쟁사가 차지합니다.
Profound가 3월에 2,250만 건의 구매 링크를 분석한 결과 1순위 링크는 월마트 8.78%, 타겟 4.93%였습니다.
아마존은 존재감이 약했습니다. Profound는 아마존이 OpenAI 크롤러를 차단한 것을 원인으로 추정했습니다. 세계에서 가장 큰 상품 목록을 가진 곳이 목록에서 밀린 셈입니다.
AirOps 조사에서도 아마존의 인용률은 12.2%로 마켓플레이스 평균을 끌어내리는 수준이었습니다. 세계 최대 규모의 상품 데이터를 가진 곳이 AI 쇼핑 표면에서 자리를 잃은 셈입니다. 크롤러 설정 하나가 만든 결과로는 규모가 큽니다.
학습용과 검색용은 다른가요?
별개 크롤러입니다.
Peec AI가 ChatGPT Deep Research의 로그를 기록한 분석에서 OAI-SearchBot과 GPTBot이 별개 에이전트로 확인됐습니다.
학습용을 막으면서 검색용을 열어 두는 설정이 가능합니다. 반대로 하나만 풀어 놓고 다 열었다고 착각하기도 쉽습니다. 두 이름이 비슷해 실무에서 자주 헷갈리는 지점입니다.
콘텐츠가 학습에 쓰이는 것이 부담이라면 학습용만 막는 선택지가 있습니다. 전부 막으면 답변에 등장할 경로까지 사라집니다. robots.txt를 열어 두 크롤러가 각각 어떻게 설정돼 있는지 확인해 보시기 바랍니다. 개발 담당자와 함께 보는 편이 안전합니다.
우리 사이트가 지금 인용되는지 확인하고 싶다면 SOHA로 인용 현황을 먼저 확인해 보세요.
어떤 크롤러들이 있나요?
엔진마다 별도 이름을 씁니다.
| 크롤러 | 용도 |
|---|---|
| OAI-SearchBot | ChatGPT 검색 결과 수집 |
| GPTBot | OpenAI 학습 데이터 수집 |
| PerplexityBot | 퍼플렉시티 검색 |
| Google-Extended | 구글 AI 학습 관련 제어 |
| Yeti | 네이버 검색 수집 |
구글은 일반 검색 크롤러와 AI 학습 제어가 나뉘어 있습니다. Google-Extended를 막아도 일반 검색 노출에는 영향이 없다고 밝혀 두었습니다. 네이버 쪽은 별도 확인이 필요합니다. AI 브리핑과 AI 탭이 어떤 수집 경로를 쓰는지 공개된 문서가 부족합니다.
목록을 만들어 한 번씩 점검해 두시면 이후 판단이 쉬워집니다.
막지 않았는데도 안 읽히는 경우가 있나요?
있습니다. 페이지 구조가 원인인 경우입니다.
같은 Peec 분석에서 첫 열람 분량은 중앙값 5,700자였고, 페이지 내 링크가 60개를 넘으면 첫 읽기 중 실제 본문 비율이 약 33%로 떨어졌습니다. 20개 미만일 때는 약 78%였습니다.
크롤러를 열어 두어도 메뉴가 많으면 본문이 잘려 나갑니다. 이커머스 사이트는 카테고리 메뉴와 추천 상품 링크가 많아 이 구간에 들어가기 쉽습니다. 같은 분석에서 ChatGPT는 자바스크립트를 렌더링하지 않는 것으로 나왔습니다. 리뷰나 상세 정보를 나중에 불러오는 구조면 그 내용이 비어 보입니다.
차단 여부만 확인하고 넘어가면 이 부분을 놓칩니다.
크롤러를 열면 콘텐츠를 다 가져가나요?
우려는 이해되지만 얻는 쪽도 봐야 합니다.
콘텐츠가 인용되면 브랜드명이 답변에 실립니다. Profound가 200만 건 이상의 AI 대화와 이후 브라우징을 연결해 측정한 결과, AI가 브랜드를 언급하면 이후 7일간 사이트 방문이 예측 기준선의 1.5배에서 2.5배로 올라갔습니다.
막아 두면 이 경로 자체가 생기지 않습니다. 경쟁사가 그 자리를 채우고, 우리 제품 정보는 다른 곳에서 인용된 옛 자료로 대체됩니다. 가격이나 사양이 바뀌었는데 우리 사이트가 읽히지 않으면 유통 채널이나 커뮤니티에 남은 옛 정보가 계속 답변에 실립니다.
차단이 정보 통제로 이어지지 않는 이유입니다.
막는 편이 나은 경우도 있나요?
콘텐츠 자체가 상품인 경우입니다.
유료 구독 매체나 데이터 판매 사업은 본문이 그대로 인용되면 구매 이유가 줄어듭니다. 이런 곳은 요약과 목차만 열고 본문을 막는 구성을 검토할 수 있습니다. 다만 이 경우에도 전면 차단은 손해입니다. 회사 소개와 서비스 안내, 요금 정보까지 막으면 브랜드가 답변에 등장할 경로가 사라집니다.
경로를 나눠 설정하는 방법이 있습니다. 유료 구간만 막고 공개 구간은 열어 두는 방식입니다.
일반 브랜드에서는 전면 차단을 정당화할 사유를 찾기 어렵습니다. 제품 정보와 가격은 원래 공개하는 내용이고, 막아 두면 잘못된 옛 정보가 대신 인용됩니다.
무엇부터 점검하나요?
현재 설정을 확인하는 작업이 먼저입니다.
- robots.txt를 열어 크롤러별 설정을 확인합니다. 학습용과 검색용이 각각 어떻게 되어 있는지 봅니다.
- 방화벽이나 CDN 설정도 확인합니다. robots.txt는 열려 있는데 앞단에서 막히는 경우가 있습니다.
- 페이지 내 링크 수와 소스 순서를 봅니다. 열어 두어도 본문이 잘리면 소용이 없습니다.
- 리뷰와 상세 정보가 나중에 불러오는 구조인지 확인합니다. ChatGPT 쪽에서 비어 보일 수 있습니다.
- 조정 후 30일 이상 두고 인용률을 다시 잽니다.
기술 진단 범위를 확인하고 싶다면 리드젠랩 서비스 페이지에서 점검 항목을 확인해 보세요.
자주 묻는 질문
AI 크롤러를 막으면 무엇을 잃나요?
인용 자리를 경쟁사가 차지합니다. 구매 링크 분석에서 크롤러를 막은 아마존은 존재감이 약했고 1순위 링크는 월마트 8.78%, 타겟 4.93%였습니다.
학습에 쓰이는 게 부담스럽습니다.
학습용과 검색용 크롤러가 별개입니다. 학습용만 막고 검색용을 열어 두는 설정이 가능합니다.
robots.txt만 확인하면 되나요?
방화벽이나 CDN에서 앞단 차단이 걸려 있는 경우가 있습니다. 함께 확인하셔야 합니다.
열어 뒀는데 인용이 안 됩니다.
페이지 구조가 원인일 수 있습니다. 로그 분석 기준으로 링크가 60개를 넘으면 첫 읽기 중 본문 비율이 약 33%로 떨어졌습니다.
리뷰가 안 읽히는 것 같습니다.
ChatGPT는 자바스크립트를 렌더링하지 않는 것으로 나왔습니다. 나중에 불러오는 구조면 비어 보일 수 있습니다.
막는 편이 나은 경우도 있나요?
유료 구독 매체나 데이터 판매처럼 콘텐츠 자체가 상품인 경우입니다. 이때도 전면 차단보다 유료 구간만 막고 공개 구간을 열어 두는 구성이 낫습니다.
네이버 크롤러는 어떻게 하나요?
AI 브리핑과 AI 탭이 어떤 수집 경로를 쓰는지 공개된 문서가 부족합니다. 별도 확인이 필요합니다.
이미 막아 둔 상태인데 지금 열면 되나요?
열고 나서 크롤러가 다시 방문해 수집하기까지 시간이 걸립니다. 열기 전 인용률을 기록해 두시면 이후 변화를 확인할 수 있습니다.
설정을 바꾸면 얼마 만에 반영되나요?
크롤러가 다시 방문해 수집한 뒤에야 답변에 반영됩니다. 조사 기준으로 갱신 후 30일에서 89일 구간의 인용률이 가장 높게 나왔습니다.
경쟁사 설정도 확인할 수 있나요?
robots.txt는 공개돼 있어 확인 가능합니다. 경쟁사가 막아 둔 구간이 있다면 그 자리를 노릴 여지가 생깁니다.
함께 보면 좋은 글
설정부터 열어 보세요
크롤러 차단은 한 줄 설정인데 결과는 인용 자리 전체에 걸립니다. 지금 어떻게 되어 있는지 확인하는 작업이 먼저입니다.
리드젠랩은 국내 최초 GEO·AEO 전문기업으로, 워드프레스 구축과 스키마, 코어 웹 바이탈 개선을 코드 레벨에서 직접 수행합니다. 크롤러 설정과 소스 순서를 함께 점검하고 바로 손볼 수 있습니다.
자체 AI Citation 분석 플랫폼 SOHA를 직접 개발하고 운영합니다. 설정을 바꾸기 전과 후의 인용률을 같은 조건으로 비교할 수 있어 효과를 확인하며 조정할 수 있습니다.
ChatGPT와 퍼플렉시티, 구글 AI 개요에 더해 네이버 AI 탭과 네이버 AI 브리핑 인용까지 함께 추적합니다. 국내 사이트에서는 네이버 쪽 수집 상태가 함께 확인돼야 판단이 됩니다.
지금 문의하시면 크롤러 설정과 페이지 구조, 현재 인용 현황을 함께 점검한 진단 결과를 받아 보실 수 있습니다.
