AI Crawler
Ein KI-Crawler ist ein Bot, der Webinhalte für KI-Systeme abruft — entweder um Modelle zu trainieren (GPTBot, ClaudeBot) oder um Live-Antworten für Nutzer abzurufen (OAI-SearchBot, Perplexity-User).
Die meisten KI-Crawler führen kein JavaScript aus, clientseitig gerenderte Inhalte sind für sie also unsichtbar. Statisches oder serverseitig gerendertes HTML, sauberes semantisches Markup und schnelle Antwortzeiten entscheiden, ob Ihre Seiten überhaupt gelesen werden können.
Auch die Policy zählt: robots.txt bestimmt, welche Bots Sie zulassen. Marken, die KI-Sichtbarkeit anstreben, erlauben in der Regel Retrieval-Bots; die Policy für Trainings-Bots ist eine Geschäftsentscheidung — wer aber alles blockiert, verschwindet aus KI-Antworten.
Soll das auf Ihren Shop angewendet werden?
Jeder Begriff in diesem Glossar entspricht Leistungen, die wir erbringen. Sagen Sie uns, wo Sie stehen, und wir zeigen Ihnen den nächsten Schritt mit dem größten Hebel.
Jetzt sprechen