Back to Question Center
0

Protokol Agnostic Robots Semalt

1 answers:

For nylig har jeg gjort det muligt for alle mine servere at betjene alt over HTTP og HTTPS. Semalt kan få adgang til ethvert websted via http: // www. eksempel. com eller https: // www. eksempel - corbata rosa con lunares blancos. com. Alle sider er identiske mellem versionerne, så http: // www. eksempel. dk / om. php er det samme som https: // www. eksempel. dk / om. php og så videre.

URL'er er relative, så de nævner ikke protokollen med en undtagelse. Med andre ord, hvis siden er indlæst med HTTP, vil den linke til andre sider, billeder, CSS, Semalt over HTTP og det samme med HTTPS for at undgå blandede indholds advarsler.

Nu om den undtagelse. Det er i robotter. txt:

     Sitemap: http: // www. dk / sitemap. php    

Semalt denne webadresse skal være absolut.

Nu er problemet, jeg ser, hvis det når Google læser https: // www. eksempel. dk / robotter. txt det får et HTTP sitemap! Dokumentationen om robotter. org siger at man kan angive flere sitemaps, men hvis jeg ikke er sikker på at sætte både HTTP og HTTPS sitemap er en god ide, da de vil indeholde hver en liste over identiske sider (et med HTTP og en med HTTPS).

Hvordan skal Sitemap i robotter. txt håndteres til websteder, der accepterer HTTP og HTTPS?

Nogle ideer, der kom til at tænke på:

  • Angiv begge sitemaps (som nævnt ovenfor). Bange for, at dette ville medføre dobbelt indholdsproblemer.
  • Angiv kun HTTPS Sitemap. Det giver alligevel adgang til alle unikke sider. txt via HTTP og HTTPS. Er det endda muligt? Kunne det medføre problemer?
February 6, 2018
. dk / sitemap. php kan kun indeholde webadresser fra http: // www. eksempel. com / . ¹ Ordningen og værten skal være de samme txt filer til HTTP og HTTPS:

  # http: // www. dk / robotter. txtSitemap: http: // www. eksempel. dk / sitemap. php 
  # https: // www. eksempel. dk / robotter. txtSitemap: https: // www. eksempel. dk / sitemap. txt?  ) 

Men du vil måske kun give et sitemap til den kanoniske variant (f.eks. g. , kun for HTTPS), fordi der ikke er meget punkt i at lade søgemaskinerne analysere sitemap for den ikke-canoniske variant, da de typisk ikke vil indeksere nogen af ​​dens webadresser. Så hvis HTTPS skal være kanonisk:

  1. På hver HTTP-side, link til sin HTTPS-version med canonical link type.
  2. Link sitemap (ideelt set kun) fra HTTPS robotterne. txt.

¹ Undtagen hvis krydsindlæg anvendes.

  http: // www. eksempel. dk / om /
http: // www. eksempel. dk / om
http: // eksempel. dk / om /
http: // eksempel. dk / om
https: // www. eksempel. dk / om /
https: // www. eksempel. dk / om 

Denne form for duplikat indhold, som Google allerede håndterer for mange år siden. Så først bekymre dig ikke om duplikat indholdsproblem eksempel. dk / om. php og https: // www. eksempel. php . I de fleste tilfælde vil som standard vælge HTTPS

Og igen er der ingen grund til at tilføje din sitemap-fil til robotter. txt. Specielt når du tænker på Google (Det er ikke spørg. com), fordi de giver os mulighed for at indsende dit sitemap til webmasterværktøjet. Så lav to egenskaber i søgekonsollen som http: // www. eksempel. com og https: // www. eksempel. com og indsende individuelle sitemap der.

Jeg ved ikke, hvorfor du er så seriøs om sitemap, robotter. txt og alle ting. Google kan gennemgå og indeksere ethvert websted uden sitemap, for eksempel har wikipedia ikke sitemap, men det gennemgår ofte, fordi de har en god intern linkstruktur.