Пошукова система Яндекс. В даний час займає лідируюче положення в пошуковому трафіку Рунета, будучи фаворитом майже всіх користувачів, які потребують пошуку інформації в країнах СНД. Щоденна відвідуваність цієї пошукової системи - більше 12 мільйонів чоловік на добу. У пошуковій системі представлено більше 5,4 мільйона сайтів з кількістю сторінок понад 2,5 мільярда, що складає більше 62 терабайта інформації. А починалося все з 1997 року, коли цей пошуковик вперше був представлений на суд публіки. "Яндекс" постійно удосконалює свої пошукові алгоритми, що дозволяє йому відповідати сучасним критеріям пошуку і ставати на рівень Google хоча б в Росії.

 А поки так і є, якщо судити за рівнем освоєння обох пошукових систем аудиторією СНД. "Яндекс", як і Google, працює на кластерної системі організації комп'ютерних обчислювальних мереж. Кожен кластер відповідає за певний сегмент збереженої інформації. Скануючі роботи пошукової системи бувають 2 видів:
1) основний скануючий робот
2) швидкий робот, який регулярно сканує сайти, на яких інформація оновлюється дуже часто, і вносить інформацію з цих сайтів в пошукову систему, що забезпечує швидке оновлення індексу пошукової системи.

 З червня 2010 року швидкий робот був замінений на нову технологію пошуку документів в режимі реального часу під назвою Orange. Продукт, розроблений спільно каліфорнійським і московським підрозділами "Яндекса", працює в режимі тестування, проте вже зараз показує свою ефективність. Пошукова система "Яндекс" робить курс на актуальність пошукової бази для подій, які відбуваються "тут і зараз" і значимість яких важлива в даний момент. Планується, що цей інструмент буде використовувати безліч сторонніх джерел для визначення значущості того чи іншого контенту, а також швидко обробляти великі масиви даних на сторінках, ранжувати і розміщувати їх в індексі. Ця особливість "Яндекса" буде корисна новинним сайтам і інформаційним агентствам.

Оновлення (апдейти) пошукової системи бувають 2 видів:

1) Оновлення пошукової бази. Відбуваються кілька разів на місяць. У пошуку починають видаватися оновлені сторінки сайтів, зібрані основним скануючим
роботом. Веб-майстри визначають ці оновлення самостійно, вивчаючи позиції сайтів у видачі. Як тільки з'являються руху у видачі того чи іншого сайту по певному запиту, веб-майстер розуміє, що оновлюється пошукова база. Визначити її оновлення можна через спеціальні сервіси і інформери, а також на спеціальних форумах сеошників.

2) Оновлення програмної частини (движка) пошукової системи. Суттю даних
оновлень є зміна алгоритмів ранжування документів в пошуковій
системі. Зазвичай вони анонсуються і їм даються певні
назви ("Снежинськ", "Полтава", "Магадан").

Давайте тепер подивимося на принципи роботи цього пошукового гіганта Рунета.

Що особливого?

"Яндекс" враховує морфологію російської мови (потужна система визначення словоформ), має можливість звузити запит до максимально точного за допомогою спеціальних пошукових формул і геотаргетинга, має якісно розроблений алгоритм оцінки релевантності документів (точність відносини тексту документа до пошукового запиту), володіє високою швидкістю реакції на запити і практичною відсутністю перевантажень серверів.

Зовсім недавно (з 2009 року) з введенням нового алгоритму "Снежинськ" Пошукова система "Яндекс" навчилася визначати регіональну приналежність сайтів і формувати результати пошуку по географічному розташуванню користувача (на основі IP-адреси або ж з урахуванням користувальницьких переваг). Сьогодні це найбільш точний географічний пошуковик Рунета. Пошукова система вміє розрізняти геозалежних і геонезалежні запити і формувати видачу таким чином, щоб вона максимально відповідала вимогам людини, яка шукає потрібну для нього інформацію.

В "Яндекс" можна подати заявку на індексацію сайту і написати лист розробникам про проблеми з індексацією, також є форум пошукової системи http://forum.yandex.ru і блог http://webmaster.ya.ru, що вже відповідає мінімальним правилам юзабіліті.

До того ж функціонує панель управління власним сайтом в пошуковій системі "Яндекс" - http://webmaster.yandex.ru, на якій можна налаштовувати особливості індексації власного сайту, відстежувати небажані зміни коду, виявляти і виправляти можливі помилки індексації сайту, у тому числі і орфографічні.

Індексація нових сайтів йде довше, якщо це відбувається природним шляхом без впливу зовнішніх пошукових факторів (розстановка посилань, які посилаються на ваш сайт). Зазвичай не раніше місяця. З досвіду скажу, що домени в зоні. Ru індексуються швидше, ніж аналогічні домени в інших зонах (. Info,. Net,. Com, QArea) і безкоштовних pp.ru net.ru і т. д.

Для цієї пошукової системи є критичними такі параметри, як динамічні посилання. Через них сайт може бути погано проіндексований. Намагайтеся виключати велику кількість параметрів в рядку адреси сайту.
"Яндекс" вміє індексувати текст всередині документів Shockwave Flash (тільки якщо текст не намальований на самому зображенні), якщо ці елементи передаються окремою сторінкою, що має MIME-тип application / x-shockwave-flash, і файли з розширенням. Swf. Крім цього, індексуються документи PDF, RTF, DOC, XLS (документи Excel), PPT (презентації PowerPoint) і документи Open Office.
Пошукова система враховує дані файлу robots.txt (до того ж підтримує атрибут Allow) і деякі метатеги. Роботом "Яндекса" ігнорується метатег Revisit-After.

Опис документа у видачі (сніппет) формується на основі цитат знайденого документа, тому тег Description не дуже ефективний для цієї пошукової системи (хоча іноді може використовуватися). З недавнього часу (з 2009 року) Пошукова система підтримує технологію Sitemaps.

Не критичний для цієї пошукової системи метатег кодування. Розробники стверджують, що пошукова система вміє визначати кодування документів автоматично.

Важливо відзначити, що "Яндекс" не індексує документи величиною більше, ніж 10 мегабайт, так що оптимізуйте ваші файли.

Для "Яндекса" важливий HTTP-показник Last-Modified при відповіді сервера. Якщо сервер не видає таку інформацію, то інформація на цьому сайті може індексуватися рідше. Також важливо, щоб сервер був правильно сконфіругірован і видавав у разі помилок віддавав серверний редирект 302 (тимчасовий редирект), а не 301 (постійний редирект), т. к. в останньому випадку сторінка буде виключена з індексу. Аналогічне відбудеться при помилку сервера 404 (документ не знайдено).

До сих пір є проблеми з документами на фреймової основі (<frame>, <frameset>, <iframe>), тому доводиться використовувати спеціальні скрипти, які переводять користувача, що прийшов з пошукової системи, на потрібну сторінку.

Наявність дзеркал одного сайту мати не рекомендується. Доведеться вживати заходів для того, щоб виключити індексацію дзеркал або ж провести їх склейку, якщо індексація обох сталася, наприклад, через файл robots.txt.

Чи не формуйте посилання за допомогою скриптів javascript - "Яндекс" не індексує подібні посилання!

Оскільки "Яндекс" орієнтується на гео-таргетинг, і якщо ваш сайт належить до якогось регіону, то було б необхідно вказати на сторінках або телефонний код міста, поштовий індекс або ж адресу, щоб пошукова система могла більш точно ідентифікувати регіон вашого сайту.

Яндекс.Каталог - основний помічник цієї пошукової системи. Якщо сайт знаходиться в ньому, то цей знак показує, що сайт заслуговує особливої уваги. До того ж стає простіше визначити тематичну спрямованість сайту і отримати значущу зовнішнє посилання на свій ресурс.

Якщо ваш сайт є віртуальним представництвом якої-небудь компанії, що надає ті чи інші послуги як в Інтернеті, так і поза Інтернету, то рекомендуємо зареєструвати організацію в каталозі організацій "Яндекса" через зручний для веб-майстрів інтерфейс управління сайтів "Я.Вебмастер" ( про який йшлося трохи вище) і вказати там такі дані, як: адреса, контактні дані, режим роботи та інші специфічні параметри (ціни на квитки, число залів). Це посприяє швидкому знаходженню вашої організації на картах "Яндекса". Крім цього інформація про вашу організацію може бути представлена в сніппет (номер телефону, адресу з посиланням на "Яндекс.Карти", час роботи та інше). З 10 жовтня 2010 для сайтів готелів, готелів, ресторанів, різних типів кафе, кінотеатрів, музеїв, аеропортів, фітнес-центрів, автошкіл, салонів краси, туристичних фірм, автосалонів та клінік формуються свої, особливі сніппети. У них може відображатися додаткова інформація на кшталт суми рахунків або зірковості готелю та інше.

Якщо на сайті надається інформація про вакансії, то ви можете стати партнером сервісу "Яндекс. Робота" і передавати свої дані в їх базу даних (сервіс представлений "Яндексом" 25 жовтня 2010).

Якщо ви надаєте вклади і кредити, то таку інформацію теж можна передати "Яндексу". Наявність на сайті товарів і цін теж дозволяє сформувати спеціальний сніппет, якщо ви підключите свій сайт до цієї опції.

Інформація у вигляді рефератів теж може бути корисна "Яндексу". Якщо ви підключите відповідну опцію, то зможете формувати сніппет інформацією про рефератах (рубрика, тип роботи, дата додавання, кількість завантажень, зміст). Реалізується за допомогою XML-фіда спеціального формату.

З особливих функцій, який дозволяють максимально контролювати сніппет вашої сторінки, слід виділити можливість надати інформацію пошуковій системі про словники (якщо у сайту тИЦ більше 100, і він містить словарно-енциклопедичний контент, оформлений спеціальної семантичної розміткою) і кулінарних рецентов (якщо на сайті застосована семантична розмітка формату hRecipe і формується спеціальний XML-фід).

Всі ці опції можна зручно підключити через сервіс "Я.Вебмастер". Як ми бачимо, компанія "Яндекс" активно працює над тим, щоб максимально спростити процес індексації документів в мережі Інтернет і дозволити веб-майстрам керувати поданням своїх сайтів в результатах видачі пошукової системи "Яндекс".

Як тебе ідентифікувати, або назви пошукових роботів "Яндекса":

В логах деяких сайтів можна знайти різні текстові мітки пошуковиків, які відвідували сайт. IP-адреси роботів "Яндекс" не розголошує.
У цьому списку представляються вашій увазі найцікавіші з них, яких можна ідентифікувати по User-Agent.

Mozilla/5.0 (compatible; YandexBot/3.0) - основний індексуючі робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) - робот, який визначає дзеркала сайтів.
Mozilla/5.0 (compatible; YandexImages/3.0) - індексатор "Яндекс.Картінок".
Mozilla/5.0 (compatible; YandexVideo/3.0) - індексатор "Яндекс.Відео".
Mozilla/5.0 (compatible; YandexMedia/3.0) - робот, індексуються мультимедійні дані.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) - робот пошуку по блогам, індексуються коментарі постів.
Mozilla/5.0 (compatible; YandexAddurl/2.0) - робот, який звертається до сторінки при додаванні її через форму "Додати URL".
Mozilla/5.0 (compatible; YandexFavicons/1.0) - робот, індексуються іконки сайтів (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) - робот, індексують сторінки сайтів, що беруть участь в Рекламної мережі Яндекса (РМЯ).
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) - "простуківалка" "Яндекс.Директа".
Mozilla/5.0 (compatible; YandexMetrika/2.0) - робот "Яндекс.Метрики".
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) - "простуківалка" Яндекс.Каталогу.
Mozilla/5.0 (compatible; YandexNews/3.0) - індексатор "Яндекс.Новин".
Mozilla/5.0 (compatible; YandexAntivirus/2.0) - антивірусний робот "Яндекса".

Найважливішим з них є основною індексуючі робот. Саме від його індексації в більшості випадків визначається Пошукова значимість сайту.

Роботи працюють окремо один від одного, тому поява одного з них не гарантує, що з'явиться і інший (наприклад, Mozilla/5.0 (compatible; YandexFavicons/1.0) відвідав ваш сайт, але це не означає, що прийде саме Mozilla/5.0 (compatible; YandexNews/3.0) після нього).

Є також ще і роботи-помічники, які періодично обходять сайти і перевіряють їх на предмет доступності. В основному, це роботи "Яндекс.Каталогу" і рекламної мережі "Яндекса".

Діапазон IP-адрес ботів "Яндекса":

    213.180.192.0/19
    87.250.224.0/19
    77.88.0.0/18

Основні показники зовнішньої оптимізації для пошукової системи "Яндекс":

1) тИЦ - тематичний індекс цитування сайту, загальнодоступний, показує деяке усереднене значення посилаються тематичних посилань на сайт, використовується в Яндекс для визначення позиції сайту в тематичної категорії каталогу, а також багатьма веб-майстрами і оптимізаторами для оцінки
зразкового рівня розкрутки сайту.
2) віц - зважений індекс цитування. Прихований параметр, відомий
тільки "Яндексу". Алгоритм визначення кількості зовнішніх посилань,
а також їх впливу на видачу в пошуковій системі. Застосовується серед численних факторів, що впливають на
ранжування в пошуку.
3) Наявність в "Яндекс"
4) Кількість проіндексованих сторінок
5) Частота індексації документів
6) Облік і неврахування посилань з сайту, наявність сайту під пошуковими фільтрами (непот-фільтр)
Як керувати індексацією?

1) Через файл robots.txt в корені сайту:
Створюємо спеціальний текстовий файл, в якому забороняємо індексацію деяких розділів сайту.
2) Через метатеги:
Безпосередньо в самому документі вказуємо про можливість або неможливість індексації сторінки або переході за посиланнями. Для цього використовується метатег Robots.
3) Через тег <noindex> </ noindex>
Все, що знаходиться усередині цих тегов, буде проігноровано цієї пошуковою системою.
Мінус: тег не сертифікований W3C, можливі проблеми з відображенням інформації.
4) Через атрибут rel = "nofollow" в теге <a>
Пошукова система ввела його підтримку в квітні 2010 року. Тепер всі непотрібні для індексації посилання можна просто закрити. Зауважимо, що цей атрибут підтримується і пошуковою системою Google.

Використання цих методів допоможе зрозуміти пошуковій системі ваші переваги при індексації ваших сайтів.

Ось приблизно те, що можна сказати про цю пошуковій системі коротенько. Залишається нагадати лише те, що "Яндекс" крім самої пошукової системи розробляє різні продукти і сервіси, що кілька зміщує фокус надання послуги пошуку, проте саме з метою пошуку поки більшість людей йдуть на сайт "Яндекса".