Euskera 
Español 
Desde el punto de vista del posicionamiento web, el uso de etiquetas meta es fundamental. Proporcionan a los buscadores información relevante sobre la página en cuestión, y son un elemento indispensable si queremos conseguir un buen posicionamiento.
Así, por ejemplo, en la mayoría de sitios web suele existir la típica página de contacto, la de política de cookies, etc. Son páginas que se repiten con contenido similar en todos los sitios web, y que no interesa que sean indexadas por los buscadores. Para conseguir este objetivo, se implementa una etiqueta meta como la siguiente en la cabecera de la página en cuestión:
<meta name="robots" content="noindex" />
Este aspecto nos da mucha flexibilidad para que los buscadores no indexen páginas. Normalmente los CMS tipo Wordpress suelen utilizar algún plugin para gestionarlas, de forma que su uso incluso a nivel de usuario resulta cómodo y sencillo, suponiendo que tenemos acceso al panel de administración del sitio web.
Sin embargo, ¿qué ocurre si tenemos acceso vía FTP pero no directamente a la administración de nuestro sistema? ¿o si queremos que 150 páginas no sean indexadas por los buscadores? ¿entraremos individualmente en todas ellas para marcar la etiqueta "noindex"?
Para este tipo de situaciones, las X-Robots-Tag vienen en nuestro rescate. Su funcionalidad es prácticamente similar a la de las etiquetas meta, pero su implementación no se realiza directamente sobre cada página, sino que tendremos que utilizarlas directamente sobre el fichero .htaccess del sitio web, o bien a nivel global sobre el propio servidor en el fichero de configuración de apache (apache2.conf en versiones modernas, httpd.conf en las más antiguas).
Por ejemplo, si queremos que los buscadores no indexen ningún documento PDF, podemos crear las líneas siguientes en el fichero apache2.conf:
<Files ~ "\.pdf$"> Header set X-Robots-Tag "noindex, nofollow" </Files>
Esta misma funcionalidad sería muy complicada de implementar directamente a través de etiqueta meta.
O podríamos impedir que se indexen las imágenes con una configuración como la siguiente:
<Files ~ "\.(png|jpe?g|gif)$"> Header set X-Robots-Tag "noindex" </Files>
Estos son ejemplos sencillos, pero las expresiones regulares nos permiten afinar y aplicar patrones realmente potentes.
Para los SEO se trata de una herramienta muy potente y apreciada, y debe ser muy tenida en cuenta a la hora de hacer auditorías de sitios web. En no pocas ocasiones, podemos encontrarnos con una página que se niega sistemáticamente a ser indexada. Buscamos a lo largo del código fuente la etiqueta noindex y no aparece, con lo que nos volvemos locos tratando de descubrir que está pasando. Y la explicación es, ni más ni menos, que se está aplicando una X-Tag genérica que afecta a esa página.