🏷️

Meta Robots Tag

Kontroller indexering og crawling på side-niveau

Hvad er Meta Robots?

Meta robots tag er en HTML meta tag der fortæller søgemaskiner hvordan de skal håndtere en specifik side. Den giver granular kontrol over indexering og crawling på side-niveau.

Placering: I HTML <head> sektionen

<meta name="robots" content="noindex, nofollow">

Meta Robots vs robots.txt

Aspekt	Meta Robots	robots.txt
Niveau	Per side	Site-wide
Crawling	Tillader crawling	Blokerer crawling
Indexering	Kan forhindre	Kan ikke forhindre
Use case	Kontroller indexering	Kontroller crawling

Common Directives

🚫 noindex

Fortæller søgemaskiner IKKE at indexere denne side. Siden vil ikke vises i søgeresultater.

<meta name="robots" content="noindex">

🔗 nofollow

Fortæller søgemaskiner IKKE at følge links på denne side. Link juice overføres ikke.

<meta name="robots" content="nofollow">

✅ index, follow (default)

Default adfærd. Indexer siden og følg links. Ikke nødvendigt at specificere.

<meta name="robots" content="index, follow">

📦 noarchive

Forhindrer søgemaskiner i at vise "Cached" version af siden.

<meta name="robots" content="noarchive">

✂️ nosnippet

Forhindrer visning af text snippet eller video preview i søgeresultater.

<meta name="robots" content="nosnippet">

🖼️ noimageindex

Forhindrer indexering af billeder på siden.

<meta name="robots" content="noimageindex">

🔄 max-snippet, max-image-preview, max-video-preview

Kontroller længde/størrelse af snippets og previews.

<meta name="robots" content="max-snippet:50, max-image-preview:standard">

⏰ unavailable_after

Specificer dato hvor siden ikke længere skal indexeres.

<meta name="robots" content="unavailable_after: 2024-12-31">

Combining Directives

Du kan kombinere flere directives med komma:

Bloker indexering men følg links:

<meta name="robots" content="noindex, follow">

Ingen archive eller snippet:

<meta name="robots" content="noarchive, nosnippet">

Kontroller snippet længde:

<meta name="robots" content="max-snippet:100, max-image-preview:large">

Bot-Specific Tags

Target specifikke bots med separate meta tags:

<!-- Alle bots -->
<meta name="robots" content="index, follow">

<!-- Kun Googlebot -->
<meta name="googlebot" content="noindex, nofollow">

<!-- Kun Bingbot -->
<meta name="bingbot" content="noarchive">

<!-- Google News -->
<meta name="googlebot-news" content="nosnippet">

X-Robots-Tag HTTP Header

For non-HTML filer (PDF, billeder) brug X-Robots-Tag HTTP header:

Apache (.htaccess)

# Noindex for PDFs
<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

# Noindex for hele directory
<Directory /private>
  Header set X-Robots-Tag "noindex"
</Directory>

Nginx

location ~* \.pdf$ {
    add_header X-Robots-Tag "noindex, nofollow";
}

location /private/ {
    add_header X-Robots-Tag "noindex";
}

Next.js Middleware

// middleware.ts
import { NextResponse } from 'next/server'

export function middleware(request: Request) {
  const response = NextResponse.next()

  if (request.url.includes('/private')) {
    response.headers.set('X-Robots-Tag', 'noindex, nofollow')
  }

  return response
}

Next.js Implementation

// app/page.tsx
export const metadata = {
  robots: {
    index: false,
    follow: false,
    nocache: true,
    googleBot: {
      index: false,
      follow: false,
      'max-video-preview': -1,
      'max-image-preview': 'large',
      'max-snippet': -1,
    },
  },
}

// Eller simplere:
export const metadata = {
  robots: 'noindex, nofollow',
}

Common Use Cases

Thank You Pages

Bloker indexering af confirmation pages

noindex, follow

Staging Sites

Forhindre indexering af development sites

noindex, nofollow

Duplicate Content

Bloker duplicate eller thin content pages

noindex, follow

Login/Register Pages

Ikke nødvendig at indexere auth pages

noindex, nofollow

Search Result Pages

Bloker internal search results

noindex, follow

Paginated Pages

Overvej noindex på side 2+

noindex, follow

⚠️ Vigtigt at vide

• Noindex forhindrer ikke crawling - siden skal crawles for at læse meta tag
• Bloker IKKE siden i robots.txt hvis du bruger noindex meta tag
• Det kan tage tid før siden forsvinder fra index (dage til uger)
• Eksisterende indexed sider kræver re-crawl for at respektere noindex

Best Practices

✓ Gør dette

• Brug noindex for duplicate content
• Brug noindex, follow for internal pages
• Test changes i staging først
• Monitor indexering i Search Console
• Dokumenter hvorfor sider er noindexed
• Brug X-Robots-Tag for non-HTML

✗ Undgå dette

• Bloker ikke noindex sider i robots.txt
• Noindex ikke vigtige landing pages
• Glem ikke at fjerne noindex efter launch
• Brug ikke både noindex og canonical
• Ignorer ikke Search Console warnings
• Noindex ikke ved uheld hele site