Det begyndte med en analyse, som ikke rigtig kom i gang. Jeg havde sat Fupbutik.dk til at undersøge en webshop jeg fandt på Reels på Facebook, men fremdriften blev stående på 0 procent. Normalt begynder systemet med at hente oplysninger fra hjemmesiden, finde relevante undersider og samle det materiale, der senere skal indgå i en vurdering. Denne gang kom vi ikke så langt. Webshoppens robots.txt angav, at vores crawler ikke måtte besøge de sider, vi havde brug for. Analysen kunne derfor kun ende med en midlertidig konklusion, fordi en væsentlig del af dokumentationen manglede.

Jeg har efterhånden vænnet mig til, at udviklingen af Fupbutik giver anledning til spørgsmål, jeg ikke havde forudset, da jeg begyndte projektet. Alligevel var denne situation interessant på en lidt anden måde end de almindelige fejl, hvor en server ikke svarer, eller en ekstern tjeneste er midlertidigt utilgængelig. Systemet gjorde faktisk, hvad det skulle. Det respekterede en adgangsbegrænsning. Problemet var, at den korrekte tekniske adfærd efterlod brugeren med en undersøgelse, der ikke kunne gennemføres som planlagt.

Jeg begyndte derfor at tænke over, hvad vi egentlig kan tillade os at konkludere i sådan en situation. En webshop kan godt være synlig i annoncer og tiltrække kunder, samtidig med at den begrænser automatiserede undersøgelser af sit indhold. Det kan være en fuldt legitim beslutning, men konsekvensen for vores analyse er reel. Vi kan ikke kontrollere de oplysninger, vi normalt leder efter. Vi ved heller ikke, om begrænsningen skyldes en bevidst beslutning om netop vores crawler, en generel sikkerhedsopsætning eller noget helt tredje. Den forskel er afgørende, for jeg ønsker ikke at udvikle et system, som gør manglende adgang til en mistanke i sig selv.

Robots.txt set fra den anden side af bordet

Efter omkring 15 år som SEO specialist er robots.txt ikke ligefrem et fremmed begreb for mig. Filen ligger normalt i roden af et domæne og indeholder anvisninger til automatiserede programmer om, hvilke dele af en hjemmeside de må hente. I mit tidligere arbejde handlede det ofte om at sikre, at søgemaskinerne kunne besøge de sider, der skulle findes i søgeresultaterne, og samtidig holde dem væk fra tekniske områder, der ikke gav mening at indeksere. En forkert regel kunne få store konsekvenser for en hjemmesides organiske synlighed. Nu sad jeg med en crawler, som skulle undersøge andres hjemmesider, og pludselig var det mig, der stod på den anden side af reglerne.

Robots.txt er ikke en lås på samme måde som en adgangskode eller en serverregel, der teknisk afviser en forespørgsel. Den er et sæt anvisninger, som ansvarlige crawlere forventes at følge. En hjemmeside kan desuden bruge andre former for adgangskontrol, eksempelvis trafikbegrænsninger eller sikkerhedssystemer, der reagerer på automatiserede forespørgsler. Derfor er det vigtigt at skelne mellem en robotsregel og en egentlig serverafvisning. For brugeren kan resultatet ligne hinanden, men årsagen og den korrekte håndtering er ikke nødvendigvis den samme.

I artiklen om HTTP 429 beskrev jeg, hvordan Fupbutik måtte lære at identificere sig tydeligere, respektere adgangsregler og håndtere begrænsninger uden at mistolke dem. Den nye situation er på en måde en naturlig fortsættelse af netop det arbejde. Vi har valgt at respektere robots.txt, og så skal systemet også kunne håndtere konsekvensen ordentligt. Det ville være selvmodsigende at arbejde for en ansvarlig crawleridentitet og samtidig forsøge at omgå reglerne, når de bliver besværlige. Spørgsmålet blev derfor ikke, hvordan vi kunne komme ind alligevel, men hvordan vi kunne undersøge det, der fortsat var tilgængeligt på en legitim og dokumenterbar måde.

Når grundlaget for Gemini forsvinder

En normal analyse i Fupbutik bygger ikke på én enkelt oplysning. Systemet indsamler blandt andet materiale fra webshoppens egne sider, hvor der kan stå noget om virksomheden, kontaktmuligheder, handelsbetingelser, returnering og de produkter, der sælges. Oplysningerne kan derefter sammenholdes med andre kilder. Det er netop sammenhængen mellem flere observationer, der kan gøre en undersøgelse nyttig. Hvis en butik eksempelvis fortæller, at virksomheden har eksisteret i mange år, mens domænet er forholdsvis nyt, er det relevant at undersøge forskellen. Det er ikke et bevis på noget forkert, men det er en konkret uoverensstemmelse, som kræver forklaring, før den kan tillægges betydning.

Når crawleren ikke kan hente webshoppens sider, mister vi imidlertid adgangen til den ene side af sådanne sammenligninger. Vi kan måske undersøge domænet, men vi ved ikke, hvad virksomheden selv påstår om sin historie. Vi kan muligvis finde et virksomhedsregister, men vi kan ikke nødvendigvis se, hvilket firmanavn webshoppen oplyser til kunderne. Det bliver især vigtigt i den del af arbejdet, hvor Gemini hjælper med at behandle det indsamlede materiale. En sprogmodel kan analysere oplysninger, den får stillet til rådighed, men den må ikke udfylde manglende dokumentation med plausible antagelser.

Jeg ser en risiko i, at et system kommer til at lyde mere sikkert, end dets datagrundlag giver anledning til. En velformuleret rapport kan virke overbevisende, selv når centrale oplysninger mangler. Derfor skal Fupbutik være lige så god til at forklare, hvad vi ikke har kunnet undersøge, som til at beskrive det, vi faktisk har fundet. I tilfældet med varenrow.com var den korrekte foreløbige konklusion, at undersøgelsen var begrænset. Men jeg begyndte at spørge mig selv, om det virkelig var nødvendigt at stoppe hele arbejdet, blot fordi én bestemt kilde ikke var tilgængelig.

Kan vi undersøge en webshop uden at besøge den?

En webshop eksisterer ikke isoleret på sin egen server. Den har et domæne, en teknisk opsætning og ofte en række spor i offentlige registre og eksterne tjenester. Selvom vi ikke kan hente hjemmesidens egne undersider, kan der derfor stadig være oplysninger, som kan undersøges uafhængigt. Domænets registreringsdato og DNS opsætning kan give et billede af dets tekniske baggrund. Certifikatoplysninger og historiske registreringer kan nogle gange fortælle, hvordan infrastrukturen har ændret sig. Søgemaskiners indeksering og historiske webarkiver kan i visse tilfælde vise, hvilke sider der tidligere har været offentligt tilgængelige. Ingen af disse kilder giver i sig selv en sikker vurdering af en webshop, men de kan bidrage med konkrete observationer.

Der findes også andre mulige kilder. Offentlige annoncebiblioteker hos Google og Meta kan under visse betingelser vise oplysninger om annoncering. Virksomhedsregistre kan bruges til at kontrollere en kendt virksomhedsidentitet, og adresseoplysninger kan sammenholdes med korttjenester og andre offentlige registre. Eksterne anmeldelser og omtaler kan indgå, hvis vi samtidig er opmærksomme på, at anmeldelser kan være ufuldstændige, manipulerede eller knyttet til den forkerte virksomhed. Det samme gælder tekniske forbindelser mellem hjemmesider. At to butikker anvender samme hostingudbyder eller platform, betyder ikke, at de har samme ejer.

Her begyndte idéen om en alternativ analysemetode at tage form. I stedet for at betragte den blokerede hjemmeside som et endeligt stop kunne Fupbutik i fremtiden undersøge, hvilke uafhængige kilder der faktisk kan give et brugbart grundlag. Det kræver mere end blot at lave flere opslag. Hver oplysning skal have en tydelig kilde, og vi skal kunne forklare, hvad den dokumenterer, og hvad den ikke dokumenterer. En domæneregistrering fortæller eksempelvis noget om domænet, ikke nødvendigvis om virksomhedens alder. En annonce fortæller, at der har været markedsføring, ikke at varen bliver leveret. Den skelnen skal være indbygget i metoden fra begyndelsen.

Synlighed er ikke det samme som gennemsigtighed

Noget af det mest interessante ved denne situation er forholdet mellem synlighed og gennemsigtighed. Jeg har gennem mange år arbejdet med at hjælpe hjemmesider med at blive fundet, både gennem søgemaskineoptimering og digital markedsføring. Derfor ved jeg også, at organisk synlighed og betalt annoncering er to forskellige mekanismer. En webshop kan købe sig til eksponering gennem annoncer, uden at alle automatiserede analyseværktøjer dermed får adgang til dens indhold. Robots.txt kan ovenikøbet indeholde forskellige regler for forskellige crawlere, så en begrænsning af Fupbutik ikke nødvendigvis fortæller noget om, hvordan andre tjenester behandles.

Set fra forbrugerens perspektiv giver det alligevel anledning til et relevant spørgsmål. Hvis en butik aktivt opsøger kunder gennem annoncer, hvordan kan kunden så få en uafhængig vurdering, hvis de oplysninger, der normalt skal kontrolleres, ikke kan indsamles? Jeg mener ikke, at enhver webshop skal give ethvert automatiseret program fri adgang. Der er gode grunde til at beskytte serverkapacitet, begrænse uønsket trafik og undgå automatisk kopiering af indhold. Det ville derfor være forkert at udlægge en robotsregel som dokumentation for, at virksomheden forsøger at skjule noget.

Men jeg mener samtidig, at vi skal kunne fortælle brugeren, hvad begrænsningen betyder for vores undersøgelse. Der er forskel på at sige, at en butik er mistænkelig, og at sige, at vi ikke har kunnet verificere dens oplysninger. Det første er en vurdering af butikken. Det andet er en beskrivelse af vores dokumentationsgrundlag. Jeg ønsker, at Fupbutik skal være meget præcis på det punkt. Hvis vi senere finder konkrete risikoforhold gennem uafhængige kilder, skal de kunne beskrives og vurderes på deres egne præmisser. Men fraværet af adgang må aldrig i sig selv fungere som et skjult risikopoint.

En ny kategori uden for trusselsniveauerne

Overvejelserne førte videre til forslaget om en ny kategori, som jeg foreløbig kalder Begrænset gennemsigtighed. Fupbutik har allerede kategorien Utilgængeligt til situationer, hvor en analyse ikke kan gennemføres på et tilstrækkeligt grundlag. Den nye kategori skal efter planen ligge på samme niveau og uden for systemets fire egentlige trusselsniveauer. Det er vigtigt, fordi kategorien ikke skal være en mildere eller mere indirekte anklage om svindel. Den skal beskrive en bestemt begrænsning i undersøgelsen, nemlig at adgangen til webshoppens egne oplysninger er begrænset, selvom der muligvis kan gennemføres en alternativ undersøgelse.

Jeg forestiller mig, at en fremtidig rapport skal kunne vise både de oplysninger, vi har verificeret gennem eksterne kilder, og de forhold, vi fortsat mangler at undersøge. Gemini skal i den sammenhæng arbejde med et tydeligt afgrænset materiale, hvor kilder og usikkerheder følger med. Modellen skal ikke opfinde indhold fra sider, den aldrig har set, og den skal heller ikke gøre et teknisk adgangsproblem til en karakteristik af virksomhedens hensigter. Hvis vi finder konkrete og dokumenterbare risikoforhold, må de vurderes selvstændigt. Hvis vi ikke finder tilstrækkelige oplysninger, må resultatet fortsat være, at vi ikke ved nok.

Det er vigtigt at understrege, at denne alternative analysemetode og kategorien Begrænset gennemsigtighed endnu ikke er implementeret. På nuværende tidspunkt er der tale om et løsningsdesign, som udspringer af den konkrete oplevelse med en analyse, der ikke kunne komme i gang. Der skal stadig tages stilling til datakildernes kvalitet, tekniske begrænsninger, håndtering af fejl og måden, resultaterne skal præsenteres på. Det er ikke nok, at en idé virker logisk på papiret. Den skal kunne afprøves i praksis, og vi skal kunne dokumentere, at den giver brugeren et mere retvisende billede end den nuværende midlertidige konklusion.

Den lukkede dør blev begyndelsen på noget nyt

Det er netop den slags forløb, der gør arbejdet med Fupbutik interessant for mig. Jeg udvikler ikke et system, hvor alle situationer er kendt på forhånd. Jeg møder nye problemstillinger gennem konkrete analyser og må løbende tage stilling til, om den eksisterende metode stadig er den rigtige. Nogle gange handler det om en fejl, der skal rettes. Andre gange handler det om en begrænsning, der viser, at systemet kan tænkes anderledes. I dette tilfælde var det ikke crawlerens respekt for robots.txt, der var problemet. Det var vores afhængighed af, at hjemmesidens egne sider altid kunne indgå i analysen.

Jeg synes også, at oplevelsen fortæller noget om forskellen mellem at udvikle en funktion og at udvikle en troværdig tjeneste. Det ville være relativt enkelt at vise en dramatisk advarsel, når en webshop ikke lader sig undersøge. Men det ville ikke være en ansvarlig konklusion. Den sværere opgave er at forklare præcist, hvorfor vi ikke kan gennemføre den normale undersøgelse, og samtidig finde ud af, om der findes andre oplysninger, som faktisk kan hjælpe forbrugeren. Det kræver teknisk nysgerrighed, kildekritik og vilje til at lade dokumentationen sætte grænsen for, hvad systemet siger. Den alternative metode er endnu en idé, som skal omsættes til udvikling og efterfølgende tests. Jeg ved derfor ikke, hvor meget den i praksis vil kunne fortælle om webshops, der begrænser vores crawler. Men den første analyse har allerede gjort noget nyttigt. Den har tvunget mig til at stille et bedre spørgsmål. For mig handler Fupbutik ikke om at finde flest mulige mistænkelige webshops. Det handler om at finde frem til det, vi faktisk kan dokumentere, og være åbne om det, vi ikke kan. En lukket dør er ikke et bevis på, at der foregår noget forkert bag den. Men den behøver heller ikke være afslutningen på vores undersøgelse.

Andre relevante indlæg:

Vejen fra stresskollaps til karriereskifte og nye grænser i arbejdslivet. Fra stresskollaps til karriereskifte, da kroppen satte grænsen
Mit karriereskifte begyndte ikke med en ny ambition, men med en krop, der ikke længere
Fra værnepligt til partner og Head of SEO
En karriere behøver ikke følge en lige linje for at give mening. Gennem værnepligt, produktion,
429 og serverkoder, da Fupbutik mødte en digital stopklods
Under udviklingen af Fupbutik.dk opdagede jeg, at en webshop godt kunne fungere for almindelige besøgende
Glæden ved en graf, når Fupbutik begynder at blive fundet
Der er en særlig glæde ved at se grafer bevæge sig opad, når man har