번역은 되었지만 AI에는 보이지 않는가? 5단계 기술적 SEO 점검

사이트가 번역되었습니다. 구글에는 프랑스어 페이지가 표시되고, 트래픽도 정상적으로 보이며, 검색 콘솔에도 문제가 없습니다. 그런데 파리에 있는 누군가가 ChatGPT에 귀하의 카테고리에 대한 추천을 요청했을 때, 답변에 귀하의 사이트가 포함되지 않았습니다.

저는 다국어 사이트 감사를 전문으로 하고 있는데, 이 문제가 꽤 자주 발생해서 직접 측정해 보기로 했습니다. 2026년 9월, 저는 97개의 다국어 사이트와 174개의 언어 버전을 테스트하여, AI 어시스턴트의 크롤러가 번역된 페이지를 요청할 때 어떤 내용을 수신하는지 확인했습니다.

저는 5가지 다른 단계에서 문제를 발견했습니다. 제 연구에서 가장 심각한 오류 중 일부는 바로 첫 번째 단계를 통과했던 사이트에서 발생했습니다.

봇이 얻는 것

페이지를 열면 브라우저는 두 가지 작업을 수행합니다. 먼저 서버에서 보내는 페이지를 다운로드하고, 그다음 사용자가 보는 화면을 완성하는 스크립트를 실행합니다.

구글, 빙, 애플은 자사의 크롤러가 스크립트를 실행한다고 밝혔습니다. 반면 ChatGPT, Claude, Perplexity를 운영하는 봇을 포함한 나머지 업체들은 이에 대해 명확한 입장을 밝히지 않았으며, 공개된 주요 증거는 2024년 12월에 발표된, 단 3개의 웹사이트만을 대상으로 한 단 한 건의 연구 결과뿐입니다.

따라서 다른 AI 크롤러에 대해서는 공식적인 답변이 없습니다. 크롤러가 스크립트를 실행하는 빙(Bing)조차도 사이트 운영자들에게 “클라이언트 측 렌더링을 통해 핵심 콘텐츠를 숨기지 말 것”을 권고하고 있습니다. 다른 AI 기업들이 자사 크롤러의 작동 방식을 설명할 때까지는 이 조언을 따르는 것이 좋습니다.

1단계: 번역 내용이 페이지 자체에 포함되어 있나요?

웹사이트를 번역하는 방법에는 두 가지가 있습니다. 서버에서 이미 프랑스어로 된 페이지를 전송하거나, 영어 페이지를 전송한 뒤 페이지가 브라우저에 도달하면 스크립트가 단어를 교체하는 방식입니다.

방문자에게는 두 페이지 모두 똑같이 보입니다. 하지만 스크립트를 실행하지 않는 크롤러의 입장에서는 항상 첫 번째 페이지만 볼 수 있습니다.

이 테스트는 직접 하기 쉬우며, 별도의 도구가 필요 없고 10초면 끝납니다. 프랑스어 페이지를 열고 마우스 오른쪽 버튼을 클릭한 다음 ‘페이지 소스 보기’를 선택하세요. 만약 그곳에 프랑스어 텍스트가 없다면, 스크립트를 실행하지 않는 크롤러도 이를 인식하지 못할 것입니다.

이 데이터는 저를 놀라게 했습니다. 제가 측정한 페이지의 중앙값은 이미 스크립트 없이도 텍스트의 84.6%를 제공하고 있으므로, 다국어 사이트가 ‘빈 껍데기’에 불과하다는 주장은 성립하지 않습니다. 오히려 심각한 사례는 특정 분야에 집중되어 있습니다. 약 7개 페이지 중 1개는 텍스트의 30% 미만을 제공하고 있으며, 전자상거래 및 여행 사이트의 경우 소프트웨어, 미디어, 기관 사이트보다 훨씬 더 열악한 결과를 보였습니다.

Weglot의 서브도메인, 서브디렉터리 및 워드프레스 환경에서는 번역이 서버 측에서 이루어지므로, 방문자에게 콘텐츠가 전달되기 전에 페이지 소스에 번역된 내용이 반영됩니다. 워드프레스의 경우, /fr/about/와 같은 언어별 URL을 통해 백엔드에 별도의 페이지를 생성하지 않고도 번역된 콘텐츠를 반환합니다.

단, Weglot의 자바스크립트 통합 기능은 예외입니다. 이 기능은 사용자 지정 설정을 위해 제공되며, 문서화된 단점이 있습니다. 바로 해당 번역 내용이 페이지 소스 코드에 포함되지 않는다는 점입니다. AI가 번역 내용을 인식하는 것이 중요하다면, 서브도메인, 서브디렉토리 또는 CMS와의 통합을 사용하는 것이 가장 좋습니다.

참고로 weglot.com의 프랑스어 홈페이지를 확인해 보았습니다. 스크립트가 실행되기 전에도 텍스트의 97.6%와 17개의 hreflang 태그가 이미 존재했습니다.

2단계: 사이트 앞에 봇을 차단하는 요소가 있습니까?

사이트가 콘텐츠 전송 네트워크(CDN)나 Cloudflare와 같은 보안 서비스를 통해 운영되는 경우, 해당 서비스는 요청이 서버에 도달하기 전에 모든 요청을 검사하며, 봇을 포함해 위협으로 간주되는 방문자를 차단할 수 있습니다. 이 서비스는 공격을 흡수하고 사이트 속도를 높여주지만, 동시에 어떤 방문자를 차단할지 결정하기도 합니다.

본 연구에서 테스트한 사이트 중 11.6%는 구글 크롤러에게는 정상적인 페이지를 제공한 반면, AI 크롤러에게는 오류 메시지를 표시했는데, 두 경우의 차이점은 봇 이름뿐이었습니다. 이 11건 중 9건의 경우, 봇에게 어떤 내용을 읽을 수 있는지 알려주는 공개 파일인 해당 사이트의 robots.txt가, 보안 서비스가 차단하고 있던 바로 그 크롤러의 접근을 허용하고 있었습니다. 11곳 중 8곳은 공공 기관, 대학 또는 관광청 등, 일반적으로 자신의 콘텐츠가 읽히기를 원하는 조직들이었습니다.

사용자와 구글 모두에게 페이지가 정상적으로 로드되기 때문에, CMS, 검색 콘솔, 분석 도구에서는 이러한 문제를 감지하지 못할 것입니다.

3단계: 잘못된 로봇을 차단하고 있지는 않나요?

모든 AI 기업은 다양한 업무를 수행하기 위해 여러 개의 봇을 운영합니다. OpenAI는 훈련용인 GPTBot과 검색용인 OAI-SearchBot에 대해 문서화하고 있습니다.

GPTBot을 차단하면 향후 모델 훈련에 귀하의 콘텐츠가 포함되지 않게 되지만, ChatGPT의 검색 결과에서 귀하의 콘텐츠가 제외되지는 않습니다. OAI-SearchBot을 차단해야만 검색 결과에서 제외되므로, robots.txt 파일에 두 로봇 중 어느 쪽이 명시되어 있는지 확인해 보세요.

제가 조사한 샘플에서, 27.7%의 사이트가 robots.txt 파일에 최소 1개의 AI 봇을 명시했으며, 11.7%는 언어별 페이지에서 최소 1개를 차단한 반면, 구글이나 빙을 차단한 사이트는 없었습니다.

4단계: 봇이 사용자의 다른 언어 프로필을 찾을 수 있을까?

프랑스어 페이지가 아무리 완벽하더라도 접근할 수 없을 수 있습니다. 크롤러가 먼저 해당 페이지를 찾아야 하는데, 크롤러는 페이지 소스 내의 링크를 따라가며 페이지를 찾기 때문입니다.

제가 조사한 언어 버전 중 42.4%의 경우, 원본 페이지에서 번역된 페이지로 이동할 수 있는 유일한 경로는 hreflang 태그뿐이었는데, 이 태그는 검색 엔진에 어떤 페이지가 어떤 언어의 프랑스어 버전인지 알려주는 태그입니다. 언어 메뉴가 스크립트로 구현되어 있기 때문에 일반적인 링크는 전혀 없었습니다.

해당 사이트들이 오늘도 정상적으로 작동하는 이유는 페이지 소스 코드에 hreflang 태그가 포함되어 있기 때문입니다. 하지만 일부 번역 위젯이 언어 메뉴를 추가할 때처럼 이 태그들을 스크립트로 옮기면, 해당 페이지들은 크롤러가 그 페이지에 도달하기 위해 따라갈 수 있는 유일한 경로를 잃게 됩니다. 제가 조사한 사례에서는 번역된 페이지 10개 중 4개에서 이런 문제가 발생했습니다.

Weglot 코드를 직접 수정할 필요 없이 페이지에 이러한 태그를 자동으로 추가합니다. SEO 관련 문서에서는 각 설정 유형별로 이 기능이 어떻게 작동하는지 설명하고 있습니다.

5단계: 잘못된 언어가 제공되고 있는가?

일부 사이트는 브라우저가 전송하는 설정 정보에서 언어를 선택합니다. 사이트 측에서 “이 페이지는 방문자의 언어에 따라 달라집니다”라는 한 줄의 안내문을 추가해 둔다면, 이 방식도 문제없이 작동합니다.

이 기능이 없다면, 속도를 위해 저장된 사본이 방문자의 언어와 상관없이 다음 방문자에게 전달될 수 있습니다. 제가 조사한 사이트 중 10곳은 방문자의 언어에 따라 페이지를 변경했으나, 그중 단 1곳만이 이를 명시적으로 언급했습니다.

건강검진

다음 순서대로 진행하세요. 각 단계는 바로 앞 단계가 완료된 후에야 실행됩니다.

1. 번역된 페이지의 소스 코드를 확인하세요. 번역된 텍스트가 거기에 포함되어 있어야 합니다. 만약 없다면, 작업을 잠시 중단하고 먼저 이를 수정하세요.
2. 페이지 소스의 언어를 확인하세요. /fr/ 페이지는 소스에서 영어가 아닌 프랑스어를 지정해야 합니다.
3. 서로 다른 봇으로 동일한 페이지를 요청해 보세요. 크롤러 이름을 설정할 수 있는 도구라면 무엇이든 상관없습니다. 구글의 크롤러와 AI 크롤러 모두 대략 비슷한 크기의 동일한 페이지를 가져와야 합니다.
4. 언어별 경로별로 robots.txt 파일을 확인하세요. 허용한 봇이 의도한 봇인지 확인하고, 홈페이지뿐만 아니라 언어별 폴더도 점검하세요.
5. 쿠키가 저장되지 않는 시크릿 창에서 홈페이지를 열어보세요. 다른 언어 버전은 스크립트가 필요한 메뉴를 통해서만이 아니라 일반 링크로도 접근할 수 있어야 합니다.
6. 사이트맵을 실제 상황과 비교해 보세요. 사이트맵에 기재된 언어별 URL은 해당 페이지가 영어로 표시된다면 아무런 의미가 없습니다.
7. 서버의 방문 기록(로그)을 확인하여 AI 크롤러가 있는지 살펴보세요. 각 크롤러가 방문한 횟수보다는, 각 크롤러가 받은 응답을 중점적으로 살펴보세요.

Search Console의 URL 검사 기능은 Google이 렌더링한 화면을 보여주며, Google이 스크립트를 실행하기 때문에 스크립트를 통해 번역된 페이지는 해당 기능에서는 완벽하게 번역된 것처럼 보입니다. 이 기능은 해당 문제를 파악할 수 없기 때문에, ‘검증 1’이 존재하는 것입니다.

이것을 어떻게 측정했는지

소프트웨어, 여행, 전자상거래, 미디어, 교육, 기관 및 비영리 단체 사이트 등 총 97개의 다국어 사이트와 174개의 언어 버전을 조사했습니다.

각 사이트에 대해 모든 페이지를 두 번씩 요청했습니다. 한 번은 스크립트를 실행하는 브라우저로, 다른 한 번은 스크립트를 실행하지 않는 봇으로 요청했습니다. 그런 다음 6가지 다른 크롤러 이름으로 동일한 요청을 보내고, 각 사이트의 robots.txt 규칙에서 언어별 경로를 확인했습니다. 편향을 방지하기 위해, 이미 잘 알고 있는 사이트가 아닌 경우 테스트에 들어가기 전에 해당 사이트를 어떻게 분류할지 기록하고 타임스탬프를 남겼습니다.

이 연구에는 두 가지 한계가 있다. 내 요청은 AI 기업들의 자체 서버가 아닌 일반 인터넷 연결을 통해 이루어졌기 때문에, ‘GPTBot’이라고 자칭하는 봇이 수신하는 내용을 측정했을 뿐이며, 이는 실제 GPTBot이 수신하는 내용과 다를 수 있다. 또한 크롤러가 수신하는 내용을 측정했을 뿐, AI 비서가 이러한 사이트를 얼마나 자주 인용하는지는 측정하지 않았다. 후자의 경우 별도의 연구가 필요할 것이다.

어디서부터 시작해야 할까요?

이번 주에 딱 한 가지만 하실 거라면, 가장 중요한 번역 페이지의 소스 코드를 확인해 보세요. 만약 번역된 텍스트가 소스 코드에 없다면, 그게 바로 문제의 원인이며, 해결책은 브라우저가 아닌 서버에서 번역된 내용을 제공하도록 하는 것입니다.

만약 거기에 있다면 레이어 2로 넘어가세요. 표준 점검에서는 놓치는 오류들을 제가 바로 그곳에서 발견했기 때문입니다.

번역되었다는 것과 읽기 쉽다는 것은 같은 말이 아니지만, 그 둘 사이의 차이를 오후 한나절이면 가늠해 볼 수 있다.

AI 크롤러가 귀하가 게시하는 모든 언어를 읽을 수 있도록 하십시오. 제 연구에 따르면, 번역된 페이지 7개 중 약 1개는 스크립트를 실행하지 않는 크롤러에 텍스트의 30% 미만을 전달하는 것으로 나타났습니다. Weglot의 서브도메인, 서브디렉토리 및 워드프레스 설정을 사용하면 번역된 콘텐츠가 서버에서 제공되고 hreflang 태그가 자동으로 추가되므로, 첫 번째 요청부터 모든 언어 버전이 페이지 소스 코드에 포함됩니다. 14일 무료 체험을 시작한 후, 직접 번역한 페이지에 대해 1번 검사를 실행해 보세요.