AI가 읽는 사이트 만드는 방법 — robots·구조화 데이터·llms.txt

이 글이 필요한 경우와 아닌 경우

먼저 걸러 드리겠습니다. 홈페이지가 없으면 이 글은 필요 없습니다. robots.txt도 구조화 데이터도 웹사이트가 있어야 존재하는 것들입니다.

동네 손님만 받는 식당·카페 중에는 홈페이지 없이 지도와 인스타그램만으로 잘 운영하는 곳이 많고, 그것으로 충분합니다. 그런 경우 구글 비즈니스 프로필과 리뷰를 채우는 것이 이 글과 같은 목적을 달성하는 방법입니다.

반면 아래에 해당하면 읽을 값이 있습니다.

• 자체 도메인 홈페이지나 예약 페이지가 있다
• 케이터링·대관·출장처럼 설명이 필요한 서비스를 한다
• 여러 지점을 운영한다
• 온라인 판매를 병행한다
• AI에 우리 사업이 언급되기를 원하는데 지금 전혀 안 나온다

AI는 웹페이지를 어떻게 읽는가

대응을 정하려면 상대가 어떻게 동작하는지 알아야 합니다. 단계로 나누면 세 개입니다.

1. 접근 — 크롤러가 사이트에 들어옵니다. 여기서 막혀 있으면 나머지는 의미가 없습니다.
2. 읽기 — 문서에서 텍스트를 뽑아냅니다. 사람이 보는 화면이 아니라 문서 자체를 봅니다.
3. 인용 — 질문에 답할 때 그중 쓸 만한 문장을 골라 씁니다.

실무에서 문제가 생기는 지점도 딱 이 세 곳입니다. 접근이 막혔거나, 읽을 텍스트가 없거나, 텍스트는 있는데 인용할 만한 문장이 없거나. 이 순서대로 점검하시면 됩니다.

robots.txt — 가장 먼저 확인할 것

사이트 루트에 두는 텍스트 파일로, 크롤러에게 어디를 읽어도 되는지 알려주는 안내문입니다. 주소창에 내도메인/robots.txt를 넣으면 바로 볼 수 있습니다. 지금 한번 열어 보세요.

중요한 성질이 하나 있습니다. robots.txt는 잠금장치가 아닙니다. 규약을 지키는 크롤러가 참고하는 약속일 뿐이고, 무시하는 크롤러도 있습니다. 그러니 이 파일로 비밀을 보호할 수는 없습니다.

그럼에도 반드시 확인해야 하는 이유는 주요 AI 업체의 크롤러들은 이 약속을 지키기 때문입니다. 여기서 막아 두면 그들은 정말 안 읽습니다.

AI 크롤러 이름과 허용 설정

AI 업체들은 각자 이름이 있는 크롤러를 씁니다. 대표적인 것들입니다.

허용하려면 robots.txt에 이렇게 적으면 됩니다. 대부분의 사이트는 아무것도 안 적어도 기본이 허용이지만, 명시해 두면 나중에 누가 실수로 막는 것을 방지할 수 있습니다.

참고로 이 사이트의 robots.txt도 같은 방식으로 되어 있습니다. local.trina.app/robots.txt를 열어 보시면 그대로 보실 수 있습니다.

허용할까 막을까

선택의 문제입니다. 정답이 하나는 아닙니다.

식당·카페 같은 지역 매장이라면 막을 이유가 거의 없습니다. 우리가 파는 것은 콘텐츠가 아니라 음식이고, 우리 정보가 널리 퍼질수록 손님이 옵니다. 반면 유료 강의나 리서치 자료가 사업의 본체인 곳이라면 판단이 달라질 수 있습니다.

사람은 보는데 기계는 못 보는 사고

접근이 열려 있어도 읽을 것이 없으면 소용이 없습니다. 이 사고가 생각보다 흔합니다.

첫 세 줄이 지역 매장에서 압도적으로 많습니다. 디자이너가 예쁘게 만든 메뉴판 이미지가 사이트에 딱 한 장 올라가 있고, 텍스트로는 아무 데도 없는 경우입니다. 사람에게는 완벽한데 기계에게는 메뉴가 없는 가게입니다.

고치는 방법은 간단합니다. 이미지는 그대로 두고 그 아래에 텍스트로도 한 번 더 적으면 됩니다. 디자인을 해칠까 걱정되면 접이식으로 넣어도 되고, 사실 메뉴와 가격이 텍스트로 적혀 있는 것을 싫어하는 손님은 없습니다.

우리 페이지가 어떻게 읽히는지 확인하는 법

추측하지 말고 직접 보시면 됩니다. 방법이 몇 가지 있습니다.

• 서치콘솔의 URL 검사 — 결과 화면에서 “테스트한 페이지 보기”를 누르면 구글이 실제로 읽은 내용이 나옵니다. 가장 정확합니다. 사용법은 구글 서치콘솔 가이드에 있습니다.
• 브라우저에서 페이지 소스 보기 — 마우스 오른쪽 버튼으로 “페이지 소스 보기”를 누른 뒤, 메뉴 이름이나 가격을 검색해 보세요. 안 나오면 문서에 없는 것입니다.
• AI에게 직접 물어보기 — “이 페이지 내용을 요약해 줘”라고 주소를 주고 물어봅니다. 엉뚱한 요약이 나오거나 못 읽겠다고 하면 문제가 있는 것입니다.

두 번째가 가장 빠릅니다. 1분이면 됩니다. 소스 화면에서 우리 대표 메뉴 이름을 찾아보세요. 안 나오면 그게 지금 우리 사이트의 상태입니다.

사이트맵 — 목록을 알려주는 파일

사이트에 어떤 주소들이 있는지 정리한 파일입니다. 대부분의 홈페이지 도구가 자동으로 만들어 주며, 보통 /sitemap.xml에 있습니다.

기대치를 정확히 잡으셔야 합니다. 사이트맵은 발견을 돕는 것이지 색인을 보장하지 않습니다. “여기 페이지들이 있습니다”라고 알려줄 뿐입니다.

페이지가 열 개 남짓인 작은 사이트라면 사이트맵 없이도 대체로 잘 발견됩니다. 반면 페이지가 많거나, 서로 링크가 잘 안 걸려 있거나, 새 페이지를 자주 올린다면 있는 편이 낫습니다.

구조화 데이터 — 무엇을 넣을까

구조화 데이터는 기계가 오해 없이 읽을 수 있는 형식으로 정보를 덧붙이는 것입니다. 화면에는 “매일 11시부터 22시까지”라고 적혀 있는 것을, 뒤에서 기계용으로 한 번 더 명확하게 표시하는 셈입니다.

흔히 스키마 마크업이라고도 부르고, 요즘은 JSON-LD라는 형식으로 넣는 것이 일반적입니다. 페이지 안에 별도 블록으로 들어가며 사람이 보는 화면은 전혀 바뀌지 않습니다.

왜 유리한지는 단순합니다. 문장으로 적힌 영업시간은 해석이 필요하지만, 구조화 데이터로 표시된 영업시간은 해석의 여지가 없습니다. 기계는 확실한 것을 인용하기 쉽습니다.

지역 매장이 넣을 구조화 데이터

종류가 수백 가지지만 지역 매장이 신경 쓸 것은 몇 개 안 됩니다.

첫 줄만 제대로 넣어도 대부분의 효과를 봅니다. 상호·주소·전화·영업시간이 기계가 확실히 읽을 수 있게 되면, “지금 문 연 근처 식당” 같은 질문에서 후보에 들 확률이 올라갑니다.

직접 코드를 쓰기 부담스러우시면, 대부분의 홈페이지 빌더와 워드프레스 플러그인이 양식만 채우면 자동으로 넣어 주는 기능을 제공합니다. 직접 짜실 필요는 없습니다.

구조화 데이터에서 하면 안 되는 것

여기서 사고가 나면 이득보다 손해가 큽니다.

• 화면에 없는 내용을 넣지 마세요. 가장 중요한 규칙입니다. 사람이 보는 페이지에 없는 정보를 구조화 데이터에만 적는 것은 정책 위반입니다.
• 없는 별점을 만들지 마세요. 자기 사이트에서 스스로에게 5점을 매기는 리뷰 표시는 문제가 됩니다.
• 실제와 다른 영업시간을 넣지 마세요. 검색에는 열려 있다고 나오는데 문이 닫혀 있으면 헛걸음한 손님이 나쁜 리뷰를 남깁니다.
• 바뀌면 같이 고치세요. 영업시간을 바꿨는데 구조화 데이터를 안 고치면 두 정보가 어긋납니다.

마지막이 실무에서 가장 자주 놓칩니다. 구조화 데이터는 눈에 안 보이니 잊어버립니다. 정보를 바꿀 때 확인할 목록에 넣어 두세요.

llms.txt는 효과가 있는가

요즘 자주 언급되는 주제라 정직하게 짚겠습니다.

llms.txt는 사이트 루트에 두는 텍스트 파일로, 그 사이트의 핵심 내용을 AI가 읽기 좋게 요약해 두자는 제안입니다. robots.txt가 크롤러에게 규칙을 알려주듯, llms.txt는 언어 모델에게 요점을 알려주자는 발상입니다.

여기서 정확히 말씀드릴 부분이 있습니다. 주요 AI 업체가 이 파일을 반드시 읽고 반영한다고 공식적으로 보장한 바는 없습니다. 검색 관심은 꽤 되지만 그것은 관심의 크기이지 효과의 증거가 아닙니다.

그럼에도 만들어 둘 만한 이유는 있습니다.

• 비용이 거의 0입니다. 텍스트 파일 하나입니다.
• 만드는 과정 자체가 유용합니다. “우리가 무엇을 하는 회사인가”를 한 문단으로 정리하게 되고, 그 문장은 다른 페이지에도 그대로 씁니다.
• 표준이 자리 잡을 경우 미리 해 둔 것이 됩니다.

인용되는 문장 쓰는 법

기술적 준비가 끝나면 남는 것은 내용입니다. 그리고 여기가 실제로 가장 큰 차이를 만듭니다.

AI는 사실이 명확한 문장을 인용합니다. 수식어가 많은 문장은 인용할 것이 없어서 넘어갑니다.

오른쪽 문장들의 공통점은 숫자와 고유명사가 들어 있다는 것입니다. 이런 문장은 “주차 되는 곳”, “판교역 근처”, “파스타 가격” 같은 질문 각각에 그대로 쓰입니다. 왼쪽 문장들은 어떤 질문에도 안 쓰입니다.

홈페이지 문구를 손볼 시간이 많지 않다면 이 표 하나만 보고 고치셔도 충분합니다. 기술 설정보다 이쪽이 효과가 큽니다.

페이지가 느리면 어떻게 되나

속도 이야기를 빼면 안 됩니다. 다만 흔히 말하는 것과 실제 영향은 조금 다릅니다.

먼저 사람 쪽입니다. 모바일에서 페이지가 늦게 뜨면 상당수가 기다리지 않고 나갑니다. 이건 검색 순위 이전에 매출 문제입니다. 검색 결과에서 어렵게 클릭을 받아 놓고 로딩 중에 잃는 셈이니까요.

다음은 기계 쪽입니다. 크롤러는 사람보다 인내심이 있지만 무한하지는 않습니다. 응답이 지나치게 느리거나 자주 실패하면 방문 빈도가 줄어들 수 있습니다. 다만 조금 느린 정도로 인용에서 제외되지는 않습니다. 속도를 GEO의 핵심 변수로 파는 이야기는 과장에 가깝습니다.

지역 매장 기준으로 실제 효과가 있는 조치는 몇 개 안 됩니다.

• 사진 용량 줄이기 — 압도적으로 큽니다. 카메라 원본 그대로 올린 수 MB짜리 사진 열 장이 대개 범인입니다.
• 첫 화면에 무거운 동영상 배경 넣지 않기 — 예쁘지만 첫인상이 흰 화면이 됩니다.
• 안 쓰는 플러그인·위젯 정리 — 예전에 붙였다가 방치된 것들.

세 가지면 대부분 해결됩니다. 속도 점수를 100점으로 만드는 데 시간을 쏟는 것보다, 앞서 말한 문장 정리에 그 시간을 쓰는 편이 낫습니다.

우선순위 — 무엇부터 할까

다 하려면 부담스러우니 순서를 정해 드리겠습니다.

1. robots.txt 확인 — 5분. 막혀 있으면 이것부터. 막힌 채로는 나머지가 전부 무의미합니다.
2. 페이지 소스에서 메뉴·가격 검색 — 5분. 없으면 텍스트로 추가.
3. 수식어를 사실 문장으로 교체 — 한 시간. 표 5를 보고 홈페이지 문구를 고칩니다. 효과 대비 가장 큽니다.
4. LocalBusiness 구조화 데이터 — 빌더 기능이 있으면 30분, 없으면 개발자에게 요청.
5. 사이트맵 확인·제출 — 10분.
6. llms.txt — 30분. 여유 있을 때.

1번과 3번이 이 목록의 핵심입니다. 1번은 막힌 것을 뚫는 일이고, 3번은 인용될 재료를 만드는 일입니다. 나머지는 이 둘을 돕는 장치입니다. 순서를 뒤집어 구조화 데이터부터 공들이면, 정작 인용할 문장이 없어 효과가 안 납니다.

마지막으로 기대치를 정확히 말씀드리겠습니다. 이 글의 작업들은 그 자체로 노출을 만들어 내지 않습니다. 바닥을 까는 일에 가깝습니다. 크롤러를 막아 두지 않고, 읽을 텍스트가 있고, 그 텍스트에 인용할 만한 사실이 적혀 있는 상태 — 이건 잘해야 본전이고 안 하면 손해인 종류입니다.

실제로 노출을 만드는 것은 그 위에 쌓이는 것들입니다. 지역 매장이라면 지도 정보와 리뷰가 그것이고, 이쪽이 훨씬 큽니다. 그래서 홈페이지 기술 작업에 몇 달을 쓰기보다 여기서 반나절 만에 바닥을 깔고 나머지 시간을 지도와 리뷰에 쓰는 배분을 권합니다. 홈페이지가 아예 없다면 이 글은 건너뛰셔도 됩니다.

자주 묻는 질문