Поисковые системы используют для индексации сайтов специальные программы, которые называются роботами. Другое название этих программ – пауки. Такой паук путешествует по сайтам и собирает с них всю имеющуюся на них информацию в отдельную базу данных. Затем собранная информация анализируется (в частности, на уникальность), и по степени ее значимости появляется в результатах выдачи поисковых систем. Помимо контента программа-робот анализирует и ссылки, размещенные на странице. С их помощью он переходит по другим страницам как внутри сайта, так и за его пределами. Читать полностью »