{"id":625,"date":"2018-01-19T13:23:06","date_gmt":"2018-01-19T17:23:06","guid":{"rendered":"https:\/\/tecnojupiter.net\/?p=625"},"modified":"2023-04-11T16:53:00","modified_gmt":"2023-04-11T20:53:00","slug":"crear-archivo-robots-txt-wordpress","status":"publish","type":"post","link":"https:\/\/tecnojupiter.test\/crear-archivo-robots-txt-wordpress\/","title":{"rendered":"C\u00f3mo crear el archivo robots.txt para tu web en WordPress"},"content":{"rendered":"<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-medium\"><img fetchpriority=\"low\" decoding=\"async\" loading=\"lazy\" width=\"800\" height=\"450\" src=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2018\/01\/crear-archivo-robots-txt-wordpress-800x450.png\" alt=\"archivo robots.txt\" class=\"wp-image-641\" srcset=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2018\/01\/crear-archivo-robots-txt-wordpress-800x450.png 800w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2018\/01\/crear-archivo-robots-txt-wordpress-384x216.png 384w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2018\/01\/crear-archivo-robots-txt-wordpress.png 1280w\" sizes=\"(max-width: 800px) 100vw, 800px\" \/><\/figure><\/div>\n\n\n<p>Todos los buscadores por mencionar los m\u00e1s conocidos c\u00f3mo <strong>Google<\/strong>, <strong>Bing<\/strong>, <strong>Yahoo<\/strong>, utilizan un programa que a diario va indexando millones de sitios web buscando todo tipo de contenido de acuerdo al tipo de bot la mayor\u00eda se encarga de indexar por ejemplo; contenido nuevo escrito en tu web, im\u00e1genes y enlaces.<\/p>\n\n\n\n<p>A este software se le denomina de diferentes formas como bot, robots, ara\u00f1a, crawler, etc. En el caso de Google, su robot principal se le conoce como Googlebot.<\/p>\n\n\n\n<div id=\"toc_container\" class=\"no_bullets\"><p class=\"toc_title\">&Iacute;ndice de contenido<\/p><ul class=\"toc_list\"><li><a href=\"#por_que_es_tan_necesario_crear_un_archivo_robotstxt_en_wordpress\">\u00bfPor qu\u00e9 es tan necesario crear un archivo robots.txt en WordPress?<\/a><\/li><li><a href=\"#como_crear_el_archivo_robotstxt_en_wordpress\">C\u00f3mo crear el archivo robots.txt en WordPress<\/a><ul><li><a href=\"#1_8211_utilizando_el_editor_de_texto_del_hosting\">#1 &#8211; Utilizando el editor de texto del hosting:<\/a><\/li><li><a href=\"#2_8211_con_tu_editor_de_texto_preferido_bien_sea_el_bloc_de_notas_de_windows_notepad_etc\">#2 &#8211; Con tu editor de texto preferido bien sea el bloc de notas de Windows, Notepad++, etc.<\/a><\/li><li><a href=\"#3_8211_utilizando_el_plugins_para_seo_yoast\">#3 &#8211; Utilizando el Plugins para SEO Yoast<\/a><\/li><\/ul><\/li><li><a href=\"#conclusion\">Conclusi\u00f3n<\/a><\/li><\/ul><\/div>\n<h2 class=\"wp-block-heading\"><span id=\"por_que_es_tan_necesario_crear_un_archivo_robotstxt_en_wordpress\">\u00bfPor qu\u00e9 es tan necesario crear un archivo robots.txt en WordPress?<\/span><\/h2>\n\n\n\n<p>Un archivo de esta naturaleza en tan necesario porque uno de tus objetivos es mejorar tu posici\u00f3n <a href=\"https:\/\/tecnojupiter.test\/usa-los-motores-busqueda-generar-trafico\/\" target=\"_blank\" rel=\"noopener noreferrer\">SEO en los motores de b\u00fasqueda<\/a>,&nbsp;dependiendo de la tem\u00e1tica de tu sitio web, este facilita la indexaci\u00f3n indic\u00e1ndole a los bots que es lo que no deben rastrear.<\/p>\n\n\n\n<p>Hay que mencionar, adem\u00e1s que si enviaste la url del<strong> Sitemap.xml<\/strong> de tu sitio a Google y Bing o a cualquier otro motor de b\u00fasqueda para que empiecen a indexar tu contenido, no es necesario que indiques la url en el fichero robots.<\/p>\n\n\n\n<p>Si la indicas cualquier bot&nbsp;puede tener acceso a el y ver lo que quieres indexar, puede que te interese que otros buscadores no tan famosos como (Google o Yahoo) accedan a el, si quieres que eso pase puedes indicarle la URL del sitemap en este archivo para facilitarles la tarea, ya depende de tus objetivos.<\/p>\n\n\n\n<p>Adem\u00e1s el fichero robots.txt te permite denegar o permitir el acceso a determinados bots o impedir que alg\u00fan contenido de ciertas carpetas sea indexado.<\/p>\n\n\n\n<p>Cuando un bot llegue a tu web este comprobara si existe el archivo robots.txt, y si ese es el caso, seguir\u00e1 las instrucciones que ah\u00ed se le indiquen para analizar la informaci\u00f3n, si bien ese el funcionamiento general de la mayor\u00eda de los bot, hay que tener en cuenta que no todos respetaran esas reglas.<\/p>\n\n\n\n<p>Como todos sabemos hay personas que se dedican a fines pocos \u00e9ticos como el SPAM, etc., muchos de ellos utilizan sus propios bots para captar cualquier tipo de informaci\u00f3n de una web y darle un mal uso, salt\u00e1ndose cualquier regla escrita en el fichero <a href=\"http:\/\/www.robotstxt.org\/robotstxt.html\" target=\"_blank\" rel=\"nofollow noopener noreferrer\">robots.txt<\/a>.<\/p>\n\n\n\n<p>Por eso es importante no colocar informaci\u00f3n comprometedora en el archivo robots y proteger la informaci\u00f3n privada con contrase\u00f1as que sean lo suficientemente seguras.<\/p>\n\n\n\n<p>Tengo que mencionarte adem\u00e1s para que tengas una idea que no solo hay 5 bots, existen m\u00e1s de un Mill\u00f3n de bot (ara\u00f1as) que cada d\u00eda est\u00e1n indexando todo tipo de informaci\u00f3n y el n\u00famero quiz\u00e1s seguir\u00e1 aumentando, es casi imposible bloquearlos a todos y no todos pasaran por tu web.<\/p>\n\n\n\n<p>Pero creando un archivo robots.txt podr\u00e1s establecer reglas que permitan l\u00edmites para esos bots para que no afecten el SEO de la web y a su vez <strong>evitar que los recursos del servidor no se vean comprometidos por \u201cexceso de visitas\u201d, ya que algunos bots consumen muchos recursos<\/strong>.<\/p>\n\n\n\n<div class=\"wp-block-easyblock-note-warning\">Este art\u00edculo supone que ya est\u00e1 familiarizado con la funcionalidad b\u00e1sica de WordPress y con la edici\u00f3n de ficheros en su hosting<\/div>\n\n\n\n<h2 class=\"wp-block-heading\"><span id=\"como_crear_el_archivo_robotstxt_en_wordpress\">C\u00f3mo crear el archivo robots.txt en WordPress<\/span><\/h2>\n\n\n\n<p>Crear el archivo robots.txt es sumamente f\u00e1cil y son 3 las maneras en la que lo puedes crear:<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span id=\"1_8211_utilizando_el_editor_de_texto_del_hosting\"><strong>#1 &#8211; Utilizando el editor de texto del hosting:<\/strong><\/span><\/h3>\n\n\n\n<p>Accediendo al&nbsp;<strong>cPanel<\/strong>&nbsp;ubicando la categor\u00eda&nbsp;<strong>ARCHIVOS,<\/strong>&nbsp;luego hacemos clic en la opci\u00f3n&nbsp;<strong>Administrador de archivos.<\/strong><\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full is-resized\"><img fetchpriority=\"low\" decoding=\"async\" loading=\"lazy\" src=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/cPanel-administrador-archivos_xdjl8v.png\" alt=\"Categoria archivos cPanel hosting\" class=\"wp-image-598\" width=\"766\" height=\"172\" srcset=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/cPanel-administrador-archivos_xdjl8v.png 1021w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/cPanel-administrador-archivos_xdjl8v-600x135.png 600w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/cPanel-administrador-archivos_xdjl8v-300x67.png 300w\" sizes=\"(max-width: 766px) 100vw, 766px\" \/><\/figure><\/div>\n\n\n<p>Nos ubicamos en la carpeta ra\u00edz o directorio ra\u00edz de nuestro sitio web y hacemos clic en la opci\u00f3n <strong>+Archivo<\/strong> para crear un archivo nuevo, se abre la ventana y escribimos el nombre <strong>robots<\/strong> y la extensi\u00f3n de formato final que es <strong>.txt&nbsp;&nbsp;<\/strong>luego clic en el bot\u00f3n \u00ab<strong>Create New File<\/strong>\u00ab.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter is-resized\"><img fetchpriority=\"low\" decoding=\"async\" loading=\"lazy\" src=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/creando-robots-desde-editor-hosting-cPanel_hlyr8g.png\" alt=\"creando robots txt editor con el editor del hosting\" class=\"wp-image-629\" width=\"739\" height=\"380\" srcset=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/creando-robots-desde-editor-hosting-cPanel_hlyr8g.png 985w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/creando-robots-desde-editor-hosting-cPanel_hlyr8g-600x309.png 600w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/creando-robots-desde-editor-hosting-cPanel_hlyr8g-300x154.png 300w\" sizes=\"(max-width: 739px) 100vw, 739px\" \/><\/figure><\/div>\n\n\n<p><br>Ya creado el robots.txt este aparecer\u00e1 en la carpeta ra\u00edz hacemos clic derecho en el y luego clic en la opci\u00f3n \u00ab<strong>Edit<\/strong>\u00bb para agregar los comandos y par\u00e1metros.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter size-full is-resized\"><img fetchpriority=\"low\" decoding=\"async\" loading=\"lazy\" src=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/editar-archivo-robots-txt_f2o0ze.png\" alt=\"robots txt edit\" class=\"wp-image-630\" width=\"739\" height=\"413\" srcset=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/editar-archivo-robots-txt_f2o0ze.png 985w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/editar-archivo-robots-txt_f2o0ze-600x335.png 600w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/editar-archivo-robots-txt_f2o0ze-300x168.png 300w\" sizes=\"(max-width: 739px) 100vw, 739px\" \/><\/figure><\/div>\n\n\n<p>Escribimos:<\/p>\n\n\n\n<p>User-agent: *<br>Disallow: \/wp-admin\/<br>Allow: \/wp-admin\/admin-ajax.php<\/p>\n\n\n\n<p>Que es el fichero m\u00e1s simple de robots para WordPress y guardamos los cambios.<\/p>\n\n\n<div class=\"wp-block-image\">\n<figure class=\"aligncenter\"><img fetchpriority=\"low\" decoding=\"async\" loading=\"lazy\" width=\"1439\" height=\"181\" src=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/archivo-robots-txt-por-defecto_ogvfud.png\" alt=\"robots.txt simple de wordpress\" class=\"wp-image-631\" srcset=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/archivo-robots-txt-por-defecto_ogvfud.png 1439w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/archivo-robots-txt-por-defecto_ogvfud-600x75.png 600w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/archivo-robots-txt-por-defecto_ogvfud-300x38.png 300w\" sizes=\"(max-width: 1439px) 100vw, 1439px\" \/><\/figure><\/div>\n\n\n<p>Donde;<\/p>\n\n\n\n<p><strong>User-agent: *<\/strong> (<em>Indicamos que estas reglas son aplicables a todos los buscadores<\/em>).<br><strong>Disallow:<\/strong> (Indicamos que no indexe o denegamos el acceso a la carpeta o directorio que indiquemos).<br><strong>Allow:<\/strong> (Se utiliza para permitir el acceso a un directorio especifico que se haya bloqueado con Disallow).<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span id=\"2_8211_con_tu_editor_de_texto_preferido_bien_sea_el_bloc_de_notas_de_windows_notepad_etc\">#2 &#8211; Con tu editor de texto preferido bien sea el bloc de notas de Windows, <a href=\"https:\/\/tecnojupiter.test\/notepad-editor-gratuito-codigo-fuente\/\" target=\"_blank\" rel=\"noopener noreferrer\">Notepad++<\/a>, etc.<\/span><\/h3>\n\n\n\n<p>Abriendo un nuevo archivo en el editor de texto y gu\u00e1rdandolo con el nombre robots.txt. Solo tendr\u00e1s que subirlo al directorio ra\u00edz de tu web a trav\u00e9s del cPanel o cualquier medio que uses.<\/p>\n\n\n\n<h3 class=\"wp-block-heading\"><span id=\"3_8211_utilizando_el_plugins_para_seo_yoast\">#3 &#8211; Utilizando el Plugins para SEO Yoast<\/span><\/h3>\n\n\n\n<p>Si tienes instalado y activo el plugin Yoast SEO, tambi\u00e9n puedes crear el archivo robots solo debes ir a la secci\u00f3n de \u201c<strong>Herramientas<\/strong>\u201d &gt; \u201c<strong>Editor de archivos<\/strong>\u201d y crear tu archivo robots.txt.<\/p>\n\n\n\n<p>En la imagen anterior es referencia de ejemplo ya que <strong>no existe un robots.txt perfecto porque todo depende de las necesidades de tu web<\/strong>.<\/p>\n\n\n\n<p>Y no quiero indicarte que coloques las t\u00edpicas lineas que encuentras en otros sitios web como por ejemplo:<\/p>\n\n\n\n<p>User-agent: *<br>Allow: \/wp-admin\/admin-ajax.php<br>Disallow: \/wp-admin\/<br>Disallow: \/wp-login<br>Allow: \/wp-content\/uploads\/*<br>Allow: \/wp-content\/*.js<br>Allow: \/wp-content\/*.css<br>Allow: \/wp-includes\/*.js<br>Allow: \/wp-includes\/*.css<br>Disallow: \/tag\/*\/page\/<br>Disallow: \/tag\/*\/feed\/<br>Disallow: \/page\/<br>Disallow: \/comments\/<br>Disallow: \/xmlrpc.php<br>Disallow: \/cgi-bin<br>Disallow: \/author<br>Disallow: \/*replytocom=<br>Disallow: \/wp-content\/plugins\/<br>Disallow: \/wp-content\/themes\/<br>Disallow: \/wp-includes\/<\/p>\n\n\n\n<p><strong>Que puedan da\u00f1ar tu estrategia de SEO<\/strong>.<\/p>\n\n\n\n<p>Mencione anteriormente que las lineas m\u00e1s comunes del fichero robots que te encontrabas en un sitio web WordPress eran:<\/p>\n\n\n\n<p>User-agent: *<br>Disallow: \/wp-admin\/<br>Allow: \/wp-admin\/admin-ajax.php<\/p>\n\n\n\n<p>Sin embargo ya esas lineas no son necesarias, porque WordPress ya les esta aplicando <strong>Noindex<\/strong> mediante encabezado HTTP de <strong>X-Robots-Tag<\/strong> al directorio \/wp-admin\/admin-ajax.php.<\/p>\n\n\n\n<p>Puedes mirarlo por ti mismo haciendo uso de la <strong>consola de herramientas de Google Chrome en el panel de administraci\u00f3n de WordPress<\/strong>. Haciendo clic derecho con el mouse en&nbsp;<strong>Inspeccionar<\/strong> y luego clic en la pesta\u00f1a <strong>Network<\/strong>.<\/p>\n\n\n<div class=\"wp-block-image \"wp-caption-text\" wp-image-883 size-full\">\n<figure class=\"aligncenter &quot;wp-caption-text&quot;\"><img fetchpriority=\"low\" decoding=\"async\" loading=\"lazy\" width=\"503\" height=\"418\" src=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/headerrobotstag_or8agq.png\" alt=\"x robots tag wordpress\" class=\"wp-image-883\" srcset=\"https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/headerrobotstag_or8agq.png 503w, https:\/\/tecnojupiter.test\/wp-content\/uploads\/2020\/04\/headerrobotstag_or8agq-300x249.png 300w\" sizes=\"(max-width: 503px) 100vw, 503px\" \/><figcaption class=\"wp-element-caption\">Encabezado X-Robots-Tag: noindex<\/figcaption><\/figure><\/div>\n\n\n<p>Como puedes observar esta indic\u00e1ndole a los motores de b\u00fasqueda que no rastreen o indexen la p\u00e1gina, archivo o directorio particular.<\/p>\n\n\n\n<p>A\u00fan as\u00ed si deseas seguir usando la directivas puedes hacerlo, pero no tiene sentido que sigas us\u00e1ndola.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span id=\"conclusion\">Conclusi\u00f3n<\/span><\/h2>\n\n\n\n<p>Para saber si tienes el archivo robots creado solo tendr\u00e1s que escribir <strong>\/robots.txt<\/strong> al final de tu dominio.&nbsp;Por ejemplo: www.tudominio.net\/robots.txt<\/p>\n\n\n\n<p>Se recomienda <strong>no incluir en un fichero robots.txt m\u00e1s de 100 l\u00edneas de Disallow<\/strong>.<\/p>\n\n\n\n<p>La regla Disallow se utiliza cuando se quiera bloquear carpetas completas.<\/p>\n\n\n\n<p>Si es s\u00f3lo una p\u00e1gina suelta, las etiquetas meta \u00abnoindex\u00bb son m\u00e1s eficaces.<\/p>\n\n\n\n<p>Con el\u00a0<a rel=\"nofollow noopener noreferrer\" href=\"https:\/\/es.wordpress.org\/plugins\/wordpress-seo\/\" target=\"_blank\">plugin Yoast SEO<\/a>\u00a0puedes a\u00f1adir \u201cnoindex\u201d a las p\u00e1ginas que necesites, simplemente yendo a la zona de edici\u00f3n de la p\u00e1gina en cuesti\u00f3n y en la caja de Yoast SEO haces clic en el icono, engrane y seleccionas \u201cnoindex\u201d en el apartado \u00abMeta robots index\u00bb del plugin Yoast SEO.<\/p>\n\n\n\n<p>Para tener una idea de lo que ha indexado Google de nuestra web haga una b\u00fasqueda para su sitio as\u00ed.&nbsp;Escribiendo en la b\u00fasqueda \u201csite:www.tudominio.net\u201c.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Como todos sabemos hay personas que se dedican a fines pocos \u00e9ticos como el SPAM, muchos de ellos utilizan sus propios bots para captar cualquier tipo de informaci\u00f3n de una web y darle un mal uso, en este post te hablo porque es tan importante crear un archivo robots.txt y c\u00f3mo crear uno&#8230;<\/p>\n","protected":false},"author":1,"featured_media":641,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_seopress_robots_primary_cat":"","_editorskit_title_hidden":false,"_editorskit_reading_time":0,"_editorskit_is_block_options_detached":false,"_editorskit_block_options_position":"{}","_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"footnotes":""},"categories":[4],"tags":[18],"_links":{"self":[{"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/posts\/625"}],"collection":[{"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/comments?post=625"}],"version-history":[{"count":2,"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/posts\/625\/revisions"}],"predecessor-version":[{"id":2844,"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/posts\/625\/revisions\/2844"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/media\/641"}],"wp:attachment":[{"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/media?parent=625"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/categories?post=625"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/tecnojupiter.test\/wp-json\/wp\/v2\/tags?post=625"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}