Vor drei Wochen begann eine Client-Pipeline, die acht Monate lang pro Woche rund 400 B2B-Leads geliefert hatte, 403 Fehler zu verursachen. Kein Rinnsal. Einundneunzig Prozent der Anfragen, tot, zwischen Montagabend und Dienstagmorgen. Die Verzeichnisseite, die unser Agent abgekratzt hatte, hatte in derselben Woche eine robots.txt-Regel und eine Bot-Herausforderung hinzugefügt. Keine E-Mail, keine Warnung, nichts. Der Workflow hat gerade aufgehört.
In der gleichen Woche bestätigte Meta aktualisierte Bedingungen, die ihm breitere Rechte zum Crawlen und Trainieren von KI zu öffentlichen Inhalten geben, während eine andere Welle von Publishern den KI-Crawlern formell sagte, sie sollten draußen bleiben. Diese beiden Schlagzeilen klingen nicht verwandt. Sie sind es nicht. Zusammen schließen sie das Buch über Casual AI Agent Web Scraping als Lead-Gen-Strategie für kleine und mittlere Unternehmen, und ich möchte abbilden, was wir dagegen tun, bevor das offene Web für Agenten dunkel wird.
Wenn Sie mit der Behandlung begonnen haben Wie agentische Arbeitskräfte tatsächlich Tag für Tag laufen als Kerninfrastruktur und nicht als Demo-Trick ist dies für Sie. Faire Warnung: Es ist eigensinnig, teilweise weil Mein Hintergrund ist genau diese Art von Klempnerei und ich habe gesehen, wie es in jeder Hinsicht gebrochen wurde, die die Verkäuferdecks nicht erwähnen.
Was Meta tatsächlich geändert hat und warum Publisher das Ziel sind
Die aktualisierten begriffe von meta (in diesem frühjahr eingeführt, ab ende april) erweitern explizit, was das unternehmen für ki-trainings verwenden kann, und der rollout kam mit dem jetzt vertrauten frameing von ihren politischen leuten: das ist normal, jeder macht es, die erwartungen müssen nur aufholen. Vielleicht ja. Aber "normal" macht eine Menge schweres Heben in diesem Satz, weil das Material, das Meta will, nicht hauptsächlich die Urlaubsfotos Ihrer Tante sind. Es ist Publisher-Inhalte: Nachrichtenartikel, Rezensionen, Forum-Threads, die zitierten KI-Antworten werden aufgebaut.
Nieman Lab verfolgt dies seit einiger Zeit von der Publisher-Seite, und ihre Berichterstattung macht das Ziel ziemlich explizit. Nach ihrer Zählung und den von ihnen zitierten Analysen blockieren etwa zwei Drittel der Top-Nachrichtenseiten bereits mindestens einen großen KI-Crawler, und die Blockliste wächst weiter: GPTBot, CCBot, ClaudeBot, PerplexityBot, Bytespider, Google-Extended. Publisher beobachteten, wie der Empfehlungsverkehr verdampfte, während ihre Inhalte die Produkte trainierten, die sie ersetzten, und sie reagierten, indem sie Türen verriegelten.
Kleine und mittlere Unternehmen stehen mitten in diesem Kampf. Niemand verhandelt in unserem Namen.
Die Squeeze funktioniert also so. Große Plattformen wollen mehr Inhalte für das Training und Retrieval. Publisher sperren sich. Cloudflare hat die Blockierung von KI-Bots in der Nähe einer Ein-Klick-Entscheidung vorgenommen, so dass sogar kleine Websites teilnehmen können. Plattformen straffen gleichzeitig ihre eigenen APIs. Und die Lean Scraping Setups SMBs laufen zuerst zerquetscht, weil wir keinen Platz an einem dieser Tische haben.
Die robots.txt Wand: Logs von unseren eigenen Agenten
Wir führen ein Monitoring-Script über jeden Client-Agenten aus, der blockierte Anfragen protokolliert, und ich habe die letzten 60 Tage für diesen Beitrag exportiert. Es ist nicht schön.
2025-05-14 03:12 GET /companies/ 403 Forbidden (robots.txt disallow: GPTBot, CCBot)
2025-05-16 11:48 GET /jobs/ 200 then CAPTCHA challenge (bot detection)
2025-05-22 09:01 GET /directory/ 403 Forbidden (WAF rule: automated traffic)
2025-06-02 14:22 GET /news/ 403 Forbidden (robots.txt disallow: PerplexityBot, Bytespider)Vier der elf Quellen, auf die sich der Lead-Research-Agent eines Kunden verlassen hat, sind jetzt vollständig oder teilweise blockiert. Zwei weitere dienen CAPTCHAs, die laufen würden $3 bis $8 pro tausend löst, und ehrlich gesagt, einen Solver-Service zu bezahlen, um eine Herausforderung auf einer Website zu überwinden, die Ihnen gerade nein gesagt hat, ist eine legale Grauzone, die ich einem Kunden nicht erklären möchte. Dieser Teil schafft es nie in die agentischen Browser-Demos.
Agentic Browsing war immer eine Art spröde für SMB Lead Research
Die Zahlen aus unseren eigenen Läufen waren ernüchternd. Der Pitch hinter dem Web Scraping von KI-Agenten war "Lassen Sie den Agenten die Seite herausfinden", und diese Flexibilität kostet echtes Geld: Eine browserbasierte Extraktion (Firecrawl oder Playwright sowie ein visionsfähiges Modell zur Interpretation unordentlicher Seiten) lief uns an. $0,30 bis $1,20 pro erfolgreichem Lead, sobald Sie Proxy-Rotation, Wiederholungen und fehlgeschlagene Versuche enthalten. Die gleichen Daten über eine offizielle API kosten $0,02 bis $0,08. Stabilität war ein bisschen schlechter als Kosten, ehrlich gesagt. Unsere Scrape-basierten Workflows erreichten in einem guten Monat vielleicht 74% des End-to-End-Aufgabenerfolgs und fielen in die 40er Jahre, wenn eine Zielseite ein Redesign versendete oder einen Bot-Check hinzufügte. Einem KMU, das für Leads bezahlt, ist es egal, dass der Scraper eine harte Woche hatte.
Ich empfahl Anfang 2024 Agenten-basiertes Scraping für drei Kunden, weil die Demos fantastisch aussahen und APIs sich altmodisch anfühlten. Ich würde zwei dieser Empfehlungen zurücknehmen. Es stellte sich heraus, dass die API die langweilige, stabile Wahl und langweilige Gewinne über einen 24-Monats-Horizont war. Ich wurde von Flexibilität verführt, und Flexibilität, die Sie nicht planen können, ist nur Risiko mit besserem Marketing. Dieser Fehler ist auch der Grund, warum Der Zuverlässigkeits-Engineering-Ansatz, auf dem wir jetzt jede Pipeline aufbauen geht von einer Annahme aus: Quellen sterben ohne Ankündigung.
Rebuilding der Pipeline: Caches, RSS Bridges, API Contracts
Lokale Crawl Caches
Für einen Kunden haben wir im April über drei Wochen etwa 58.000 Seiten öffentlicher Unternehmen in einen Postgres-Cache gecrawlt, bevor die Blöcke landeten. Der Agent liest jetzt zuerst aus dem Cache, fügt einen Frische-Zeitstempel hinzu und berührt nur das Live-Web für die 20% der Datensätze, bei denen die Richtigkeit tatsächlich wichtig ist. Bleidaten werden langsam abgebaut. Ein Firmenprofil von vor sechs Wochen ist immer noch zu 95% korrekt, und ein "Cache am 2. Mai" -Label ist eine absolut ehrliche Sache, um einem Kunden zu zeigen. Wo dies zu kurz kommt, sind Triggerereignisse, und ich gebe zu, dass wir diese Lücke noch nicht vollständig gelöst haben. Wir haben es eingeengt.
RSS-Brücken
Für Nachrichtenauslöser (Finanzierungsrunden, Entlassungen, neue Führungskräfte) sind wir zu RSS gewechselt, das die Verlage immer noch anbieten, weil es von geringem Wert ist, es zu blockieren. Ein n8n-Workflow befragt etwa 140 Feeds stündlich, dedupiert und füttert das Scoring-Modell. RSS ist seit etwa 2013 für tot erklärt worden, und es funktioniert weiter. Manchmal ist das alte Protokoll das stabile.
Direkte API-Verträge
Der größere kulturelle Wandel zahlt für Daten. Google Places für Standortdaten, Meta Lead Ads Webhooks für Formularfüllungen, Partner-APIs für Stellenausschreibungen, ein vertraglich vereinbarter Firmographics-Anbieter für Unternehmensstatistiken. Das zeigt sich als monatlicher Posten, den Kratzer nie auf Papier gemacht haben. Aber ein Vertrag ist etwas, das Sie planen können, und ein Scraper ist ein Katz-und-Maus-Spiel, das Sie nicht können. Dies ist die unglamouröse Mitte des Das No-Hype SMB Automation PlaybookDie Strecke zwischen "AI liest Ihren Posteingang" und "AI schreibt Ihre Vorschläge", und dort leben oder sterben Pipelines.
Drei Quellen fallen vor Juli
Dies sind die drei, die ich zuerst in Rente gehen würde, basierend darauf, wo wir bereits Misserfolge sehen.
1. Verschrottete Daten von Facebook und Instagram
Was auch immer sie von den neuen begriffen von meta halten, ihre eigenen plattformen sind der einzige ort, an dem die durchsetzung garantiert ist, weil sie die erkennungsinfrastruktur besitzen. Organic Meta Scraping für Lead Research ist vorbei: Es verstößt gegen Bedingungen, die Sie akzeptiert haben, und die Haftung landet auf Ihrem Unternehmen, nicht auf dem Tool. Die Lead Ads API und Webhooks von Meta decken die formbasierte Erfassung ab, und alles, was darüber hinausgeht, erfordert einen lizenzierten Anbieter oder einen anderen Kanal.
2. Veröffentlichen von Websites für Nachrichtenauslöser
Wenn eine Top-News-Site Ihren Agenten noch nicht blockiert hat, sagt die Trendlinie, dass es soweit ist. RSS, Pressemitteilungen, E-Mail-Listen im Newsroom und lizenzierte Aggregatoren decken das meiste ab, wofür die Leute Nachrichtenseiten tatsächlich kratzen. Den verbleibenden Splitter brauchst du wahrscheinlich nicht so schlecht, wie du denkst.
3. Raw SERP Scraping
Die Bot-Erkennung von Google wird immer strenger, und eine Pipeline, die von Scraping-Suchergebnissen abhängt, hat ein Ablaufdatum. Offizielle Endpunkte oder lizenzierte SERP-APIs kosten echtes Geld, also Budget für sie. Ich mag falsch liegen, wie schnell Google speziell gegen Agenten eskaliert, aber ich möchte nicht die Pipeline eines Kunden auf meinen Optimismus setzen.
Ob das offene Web für Agenten völlig dunkel wird, weiß ich ehrlich gesagt nicht. Es gibt eine gute chance, dass plattformen und verlage lizenzverträge abschließen und sich eine bezahlte spur öffnet, in diesem fall altert die hälfte dieses posts schlecht und ich werde damit leben. Die Planung für die pessimistische Version kostet jedoch ein paar Wochen Arbeit, und überrascht zu werden kostet ein Viertel der Pipeline. Wenn Ihr Lead-Gen ruhig von einem Scraper abhängt, den niemand in Ihrem Team auswendig benennen kann, ist der Juli eine angemessene Frist, um den Fallback parallel laufen zu lassen, anstatt in einem Rückstand zu sitzen.
Wenn eines davon wie Ihr Stack klingt, greifen Sie aus. Wir führen diese Migrationen jetzt als Standard-Engagement durch, und ich bin wirklich neugierig, worauf Ihre Agenten stehen.
Fang dich das nächste Mal,
Damian
