Что такое лог-файлы сайта и зачем их нужно анализировать?

Из разговора двух веб-мастеров:

– Вчера был на твоем сайте…

– Так это был ты!..

(Компьютерные байки)

Кроме общей статистики сайта (количество уникальных посетителей, количество открытых ими веб-страниц и т.д.), большое значение для веб-мастеров имеет и другая информация, например: какие страницы сайта посещаются наиболее часто, какие поисковые запросы приводят посетителей на сайт, какими браузерами и операционными системами пользуются посетители, какое разрешение экрана на компьютерах посетителей и т.д. и т.п.

Как правило, на каждом сайте устанавливается внешний бесплатный (реже – платный) счетчик. Ресурс, предоставивший счетчик, ведет расширенную статистику посещения ресурса (включая всю вышеуказанную информацию), с которой можно ознакомиться в любое время. Особенно с такими счетчиками удобно работать тем, кто размещает свои сайты на бесплатном хостинге.

Большинство хостинг-провайдеров (хостеров) платного хостинга предоставляют своим клиентам возможность использовать уже установленные средства анализа. Например, для серверов Apache часто используется программа Webalizer, которая устанавливается в качестве дополнительного модуля веб-сервера.

Те, кто хостится на платном хостинге, могут также обрабатывать всю информацию по посещению сайта самостоятельно: ведь веб-мастер имеет полный доступ к лог-файлам своего сайта.

Что такое лог-файл веб-сайта

Лог-файл веб-сайта (log file, log-файл, лог-файл, лог) – это текстовый файл, в котором регистрируются все запросы к сайту, а также все ошибки, связанные с этими запросами.

Как происходит запись событий в лог-файл сайта

Интернет-пользователь набирает в своем веб-браузере адрес какого-либо сайта (веб-страницы) и нажимает Enter;

– браузер пользователя передает на сервер (на котором находится сайт) запрос на выдачу веб-страницы (в лог-файле это оформляется записью "GET <адрес_ресурса>");

– на сервер передается следующая информация:

   · IP-адрес посетителя;

   · дата и время запроса;

   · используемый пользователем браузер;

   · используемая пользователем операционная система;

   · запрашиваемый URL;

   · адрес страницы, с которой зашел посетитель;

   · …;

– сервер выдает посетителю запрашиваемый документ/страницу/картинку/файл (если он существует);

– сервер записывает информацию о произошедшей транзакции в журнал событий (лог-файл).

Как прочесть запись лог-файла сайта

Например, запись в лог-файле

78.123.67.3 - - [21/Jul/2009:01:01:34 +0400] "GET http://<адрес_ресурса>/news.xml" 304 0 "http://<адрес_ресурса>" "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; InfoPath.2; .NET CLR 3.5.30729; OfficeLiveConnector.1.4; OfficeLivePatch.1.3; .NET CLR 3.0.30729)" 127.0.0.1

означает, что 21 июля 2009 г. в 01:01:34 (по местному времени хостинг-провайдера) с ip-адреса 78.123.67.3 к RSS-ленте news.xml сайта http://<адрес_ресурса> обращался встроенный RSS-ридер браузера Internet Explorer 8 (при этом, операционная система – Windows Vista). Код 304 означает, что записей о новых веб-страницах сайта http://<адрес_ресурса> в RSS-ленте не появилось, поэтому браузер не загружал файл news.xml (о чем красноречиво свидетельствует 0).

Анализ лог-файлов сайта

Всесторонний анализ логов сайта помогает понять, как используется сайт и каково направление его дальнейшего развития.

Что можно выяснить, анализируя логи веб-сайта

• Посещаемость. Конечно, этот показатель отражает и простой счетчик, устанавливаемый на каждой странице, но лог-файлы позволяют анализировать посещаемость более детально, например, по месяцам (Monthly Statistics), по дням (Daily Statistics), по часам (Hourly Statistics). Этот показатель позволяет выявлять часы всплеска посещаемости (пики посещаемости) и часы затишья, что очень важно знать при обслуживании сайта.

• Трафик – суммарный и отдельно по страницам.

• Уровень конверсии. Показывает, как посетители перемещаются по сайту, то есть смотрят ли они одну страницу или несколько. Уровень конверсии позволяет косвенно оценивать качество сайта.

• Точки входа (Entry, Entry Pages) – это веб-страницы, с которых пользователи начинают работу с сайтом. Это очень ценная информация! Например, если 80% посетителей не «видят» главную страницу вашего сайта, есть ли смысл тратить время и средства для ее украшения и улучшения? Кроме того, точки входа показывают наиболее значимые страницы вашего сайта. Точки входа, как правило, соответствуют наиболее популярным страницам сайта.

• Точки выхода (Exit, Exit Pages) – это веб-страницы, с которых пользователи покидают ваш сайт. Позволяют анализировать ситуацию: хорошо, если пользователь нашел то, что искал и потому уходит (довольный!), а если нет? Есть повод задуматься!

• «Заброшенные» страницы – это веб-страницы, посещаемые очень-очень редко. Требуется тщательный анализ ситуации: может быть, страницы неинтересны или их трудно отыскать на вашем сайте (например, они не указаны на карте сайта или не связаны ссылками с другими страницами сайта).

• Популярные страницы (URLs) – это веб-страницы, посещаемые наиболее часто. Можно использовать их как образец при создании других страниц сайта. Можно также направлять пользователей с этих страниц к другим, менее популярным или «заброшенным» страницам.

• Поисковики (Searches). Показывает, с каких поисковиков пришло больше всего посетителей.

• Поисковые запросы, приводящие на сайт (Search String). Этот показатель демонстрирует эффективность используемых вами названий веб-страниц, метатегов, ключевых слов…

• Рефереры (Referrers) – ссылающиеся на сайт ресурсы.

• География посетителей. Показывает из каких стран приходят посетители на сайт.

• Информация о посетителях: IP-адрес посетителя, используемые браузер и операционная система и т.д.

• …

Программы для анализа лог-файлов сайта

Лог сайта – это текстовый файл, поэтому можно работать с ним, открыв вручную в текстовом редакторе. Однако просматривать логи вручную – весьма утомительно, так как лог-файлы очень объемные: например, если сайт посещают около 6 тыс. посетителей ежедневно, которые просматривают около 10 тыс. страниц, то объем лог-файла за день составляет св. 9МБ!

Для работы с лог-файлами предназначены специальные программы – анализаторы лог-файлов. Например, Analog, AWStats, loganalyzer, NetPromoter, Webalizer, WebAnalizer, WebHound, Webtrends и др.

***

В заключение хочу напомнить одно из золотых правил сайтостроения: количество посещений не всегда отражает ценность веб-страницы для пользователей.

Поэтому одной из основных целей создания сайта должен быть не просто рост количества посещений, а рост релевантных посещений, – то есть не надо обманывать посетителей ложными названиями, обещаниями, ключевыми словами и т.д., – посетитель должен находить то, что ищет, он имеет на это право!..

Примечания

1. По подсчетам исследовательской компании Netcraft, в июне 2009 г. в Интернете насчитывалось 238 027 855 сайтов. При этом доля веб-серверов Apache составила около 47%, Microsoft IIS – 24,80%, qq,com – 12,79%, Google – 4,98%, nginx – 3,69%, Sun – 0,30%.

2. Лог-файлы серверов Apache имеют формат Common Log Format (CLF). При этом каждая строка является записью отдельного запроса, состоящего из нескольких полей, разделенных пробелами.

Валерий Сидоров