Контроль и сокращение интернет-трафика

denix

Дата: Пятница, 2006-06-09, 11:26 PM | Сообщение # 1

Admin

Группа: Администраторы

Сообщений: 531

Репутация: 0

Статус: Offline

Многие пользователи только при оплате услуг провайдера с ужасом вспоминают, что каждый мегабайт трафика в локальной сети или при GPRS-соединении — это деньги, и зарекаются впредь играть в онлайновые флеш-игры и читать бестолковые анекдоты. Между тем совсем несложные методы настройки системы позволяют на 10—50% сократить расходы на интернет, не меняя при этом своих привычек.

Борьба с рекламой
Существенное сокращение трафика даёт, в первую очередь, грамотное блокирование рекламы на веб-страницах. При этом пользователь не только заметно экономит на оплате интернет-соединения и сокращает время загрузки страниц, зачастую откровенно пресыщенных рекламой, но и ничуть не теряет в функциональности веб-сайтов, ведь рекламные баннеры, счётчики и всплывающие окна не несут никакой полезной информационной нагрузки и, по сути, лишь раздражают веб-серфера, являясь не более чем мусором.

Файерволл
При наличии установленного файерволла Norton Internet Security (www.symantec.com) или Agnitum Outpost (www.agnitum.com/ru/) удобнее всего воспользоваться уже встроенными в них средствами блокирования рекламы. В Norton Internet Security 2004 Pro, например, для включения этого режима необходимо открыть окно Ad Blocking и установить флажок “Turn on Ad Blocking” для запрета загрузки баннеров, а также флажок “Turn on Popup Window Blocking” для блокировки всплывающих окон.

К сожалению, эта программа, хоть и способна выявлять рекламу несколькими способами (по размеру и по ключевым словам), в этой своей части несколько уступает специализированным «баннерорезкам», а потому для получения от NIS максимальной эффективности сразу придется пополнить её список ключевых слов, воспользовавшись уже готовой базой данных AGNIS (https://netfiles.uiuc.edu/ehowes/www/resource.htm). Эта известная и регулярно обновляемая база содержит в себе несколько тысяч баннерных служб и слов-индикаторов, по которым NIS или Outpost смогут выявить и вырезать до 90% мусорной графики. Для интеграции AGNIS с последними версиями NIS используйте программу ProWAGoN (https://netfiles.uiuc.edu/ehowes/www/prowagon/pw-readme.htm).

Если же какой-то баннер всё же проскочит, то, дабы не платить за его загрузку в следующий раз, в NIS следует вызвать специальное окно Ad Trashcan и перетащить в него эту картинку. Впрочем, лучше всего щёлкнуть на таком баннере правой кнопкой мыши и, узнав из его свойств полный URL файла баннера, внести этот адрес (или новое ключевое слово) в список Ad Blocking — Advanced — Defaults. В этом случае баннер будет вырезаться на всех сайтах, а не только на том, где вы его заметили в первый раз.

Аналогично придётся бороться и с прорвавшимися сквозь нашу защиту всплывающими окнами: NIS умеет работать лишь с самыми распространёнными способами их вызова. «Поп-апы» также уничтожайте непосредственным вводом URL-адреса скрипта, вызывающего окно, — адрес этот можно увидеть либо в коде породившей pop-up страницы, либо в протоколе файерволла с помощью Log Viewer. Вообще говоря, протокол файерволла просматривать на начальных этапах настройки NIS крайне полезно. Так, в разделе Web History вы наверняка увидите, что помимо адресов посещённых сайтов присутствуют ещё и какие-то посторонние URL, о которых вы никакого представления не имеете. Эти записи в большинстве случаев оказываются порождены рекламой и всевозможными счётчиками на веб-страницах. Каждый такой счётчик — это лишние центы, утекающие из вашего кармана. Поэтому рекомендуется хотя бы для часто посещаемых сайтов проверить наличие таких скрытых соединений и внести обнаруженные URL в стоп-лист файерволла. Это могут быть и целые домены типа www.clickxchange.com, www.hotlog.ru, и просто ключевые слова-маски, которыми обычно называются файлы счётчиков, баннеров или папки, в которых они лежат на сервере, например banner, counter или /reklama/ — ссылки с ними будут вырезаны из HTML-кода файерволлом.

И, наконец, чтобы ещё больше минимизировать расход трафика (и повысить безопасность системы), отключите с помощью файерволла флеш-анимацию, gif-анимацию (NIS будет пропускать только первый кадр анимации, остальное отсечёт), а также элементы управления ActiveX, и JAVA-апплеты. Если возникнут затруднения в блокировке флеш-беннеров (которые в общем случае являются ActiveX и блокируются вместе с последней), то попробуйте также в стоп-лист внести расширение файлов флеш-баннеров «.SWF». И, наконец, заблокируйте целиком URL тех баннерных сетей, которые занимаются флеш-рекламой.

Если баннер не блокируется
В файерволле Norton Internet Security откройте окно Log Viewer, и в нём — страницу Web History, то есть протокол посещённых веб-сайтов. Очистите этот протокол и, установив Интернет-соединение, зайдите на сайт с назойливым баннером. Теперь снова загляните в протокол Web History — поскольку с момента его очистки вы открывали всего одну веб-страницу, то в идеале можно было бы ожидать, что в протоколе окажется только один URL-адрес. Однако из-за того, что на этой странице размещены счетчики и баннеры, отображающиеся обычно с совершенно других доменов, в протоколе окажутся помимо адреса посещённой веб-страницы ещё и адреса баннерных сетей и счетчиков — строки вида:

http://ad12.lbn.ru/bb.cgi?cmd=ad.....

Необходимо добиться того идеального случая, когда при посещении какого-нибудь веб-сайта таких паразитных строк в логах файерволла не было бы, то есть, заблокировать наиболее распространённые баннерные сети. К сожалению, простое внесение в список AdBlocking программы Norton Internet Security (да и в других файерволлах) некоторых URL-адресов успеха не приносит. Но по полученному файерволлом URL-адресу можно узнать IP-адреса серверов, с которых приходит реклама. Для этого зайдите, например, на сайт www.all-nettools.com и выберите форму для заполнения NSLookup, в которую нужно внести URL нашего «подсудимого»: ad12.lbn.ru. После отработки скрипта на сервере получите такие результаты:

Name: ad4.lbn.ru
Address: 62.118.249.27

Таким образом, определён IP-адрес баннерно-рекламного сервера. Учтите только, что для некоторых URL может быть сразу несколько IP-адресов — все, что будут выявлены, необходимо полностью заблокировать. Снова запустите Norton Internet Security и войдите в меню Personal Firewall — Configure — Networking. В этом меню на вкладке Restricted введите найденные IP — более ничего не просочится ни с этих адресов, ни на них. Далее зайдите на сайт со злополучными баннерами и по логам файерволла определите следующую жертву — и так до тех пор, пока при заходе на этот сайт не получите идеальный вариант без паразитных веб-соединений.

Средства Windows
Если же у вас не установлен файерволл, или его настройка кажется слишком сложной, то можно попробовать добиться примерно таких же результатов с помощью средств самой системы. В Internet Explorer уже заложена минимальная возможность блокирования заранее заданных сайтов — их список можно ввести в меню Security — Restricted Sites — Sites.

Вручную составить этот список нереально, а потому, если вы не используете для блокирования баннеров файерволл, то лучше воспользоваться уже готовым — IE SpyAd (https://netfiles.uiuc.edu/ehowes/www/resource.htm). Этот список блокирует не только рекламу, но и нежелательные ActiveX, Java, cookies и скрипты. К сожалению, при этом не получится блокировать рекламу по маске — только целиком сайты баннерных служб.

Ещё один вариант борьбы с рекламой средствами самой системы — использование файла HOSTS (без расширения, в Windows XP он находится в папке WINDOWS\SYSTEM32\DRIVERS\ETC). Необходимо по очень простому правилу внести в файл HOSTS список баннерных сетей, виновных в появлении баннеров. Должно получиться что-то примерно такого вида:

127.0.0.1 banner.kiev.ua
127.0.0.1 banner.list.ru

То есть каждой баннерной сети принудительно назначается адрес 127.0.0.1, принадлежащий вашему собственному компьютеру. При этом, встретив на веб-страничке ссылку, например, на banner.list.ru, ваш браузер попытается загрузить её с вашего же ПК — соответственно, запросов в Сеть уходить не будет, и баннер будет отсечён. Готовый же файл HOSTS с огромным количеством баннерных сетей и подробными советами по его применению вы найдёте по адресу www.mvps.org/winhelp2002/hosts.htm или на сайтах:

www.smartin-designs.com,
caspam.org/hosts.html,
www.accs-net.com/hosts.

Учтите только, что в некоторых системах такой метод приводит к ухудшению быстродействия Windows.

Баннерорезки
Наиболее эффективно борются с рекламой, конечно же, специализированные утилиты, которые практически не требуют настройки и способны вырезать рекламу даже из популярных интренет-пейджеров и p2p-клиентов. Единственный недостаток их применения заключается, пожалуй, в возможных конфликтах с файерволлом, поэтому если вы установили файерволл, обладающий функцией борьбы с рекламой, и качественно его настроили, то применять подобные программы следует с осторожностью. Стабильность системы всё же важнее. Из подобных программ-ассенизаторов можно выделить две самые лучшие — AdSubtract Pro (www.adsubtract.com) и WebWasher (www.webwasher.com).

denix

Дата: Пятница, 2006-06-09, 11:26 PM | Сообщение # 2

Admin

Группа: Администраторы

Сообщений: 531

Репутация: 0

Статус: Offline

AdSubtract
Программа AdSubtract, например, помимо «джентльменского набора» функций умеет блокировать контекстную текстовую рекламу, рекламу в виде сообщений службы Windows Messenger, анимированную графику, внешние скрипты, фоновые звуки, флеш, защищает от нежелательных редиректов (автоматических перенаправлений с одной страницы на другую). Примечательной «фишкой» AdSubtract является возможность блокировать проплаченные спонсорские ссылки в результатах поиска на популярных сайтах Google, Yahoo, MSN, AOL, AltaVista, LookSmart и AllTheWeb.

Webwasher
Webwasher больше подходит тем, кто любит настраивать всё сам. В этой программе имеется мощная функция блокирования баннеров по их размерам, причём кроме уже имеющихся в базе десятков стандартных размеров можно задавать самостоятельно и новые. Ещё одна отличительная особенность Webwasher — блокировка так называемых WebBugs — маленьких и зачастую невидимых элементов веб-страниц, которые позволяют владельцам сайта отслеживать ваши перемещения по веб-сайтам. Учтите только, что в ряде случаев подобные программы могут блокировать и вполне законные pop-up, в этом случае придётся временно отключить эту функцию или саму программу.

Это, пожалуй, самые серьёзные программы подобного рода. Если же эти утилиты вас по каким-то причинам не устраивают (ценой, например), то обратите внимание на следующие программы:

* Ad Muncher (www.admuncher.com),
* Proxomitron (www.proxomitron.org),
* AdCruncher Proxy (home.sprintmail.com/~dtrout/AdCruncher/ReadMe.html),
* AdShield (www.ad-shield.com),
* NoAds (www.southbaypc.com/NoAds),
* PopUpCop (www.popupcop.com).

Отключение графики и звуков
Internet Explorer по своей функциональности далеко не такой продвинутый браузер, как некоторые его конкуренты. Встроенный режим блокирования pop-up окон нам обещают только в Windows XP SP2. И даже такую простую операцию, как временное отключение отображения всей графики на веб-страницах в нём проделать не столь легко, как хотелось бы. А между тем именно полное отключение графики способно принести самую ощутимую экономию и особенно востребовано при таких видах мобильного интернет-доступа, как CSD (GSM) и GPRS. Ведь помимо навязчивой рекламы на многих сайтах даже графическое оформление не несёт практически никакой информационной нагрузки. Обычный способ отключения графики в IE таков: в меню «Свойства обозревателя» надо открыть вкладку «Дополнительно» и снять флажок «Отображать рисунки».

Если после этого понадобится просмотреть какую-то картинку на веб-странице, то достаточно щёлкнуть на ней правой кнопкой мыши и выбрать в меню команду «Показать рисунок».

Чтобы сделать всю эту процедуру гораздо удобнее, установите не потерявший актуальности пакет утилит IE5 Web Accessories (www.microsoft.com/windows/ie/previous/webaccess/default.mspx). Этот набор скриптов, в частности, добавит в папку Documents and Settings\ ИМЯ_ПОЛЬЗОВАТЕЛЯ\ Favorites\ Links небольшую программу Toggle Images.exe, доступ к которой появится и в окне Internet Explorer, если вы выведете папку «Ссылки» на панель инструментов. Теперь оперативное включение-выключение картинок на любом сайте можно осуществлять всего одним щелчком мыши. Обратите только внимание, что в русской версии Windows XP файл Toggle Images.exe необходимо перенести в папку Documents and Settings\ ИМЯ_ПОЛЬЗОВАТЕЛЯ\ Избранное\ Ссылки.

Кроме того, весьма полезно будет отключить в настройках Internet Explorer загрузку фоновых звуков — многие любительские сайты злоупотребляют музыкальным оформлением, зачастую от широты душевной используя немаленькие wav-файлы, загружаемые IE пользователей в фоновом режиме. Избавиться от принудительного озвучивания веб-сайтов поможет всё та же вкладка «Свойства обозревателя» — «Дополнительно». Кстати говоря, если ваш файерволл не способен блокировать ActiveX и Java, то здесь же на вкладке «Безопасность» избавьтесь от загрузки и этих элементов.

Настройка TCP/IP
Небольшое уменьшение трафика и ускорение работы интернет-соединения, как известно, способна дать оптимизация некоторых параметров TCP/IP, главным образом — MTU (Maximum Transmission Unit) и RWIN (Receive Window). Это связано с тем, что данные в интернете передаются не сплошным потоком, а пакетами строго определённого размера. Грубо говоря, если размер формируемого вашим ПК пакета данных и соответствующий параметр вашего интернет-провайдера не совпадают, то ваш пакет либо дополнительно фрагментируется (если он больше), в результате чего в потоке данных возникает «воздух» и лишние заголовки, либо полоса пропускания провайдера используется не на полную мощность ввиду увеличения сверх необходимого числа пакетов и служебных заголовков (каждый заголовок TCP/IP — 40 или более байт) вместе с ними. Подробнее с этой проблемой можно познакомиться в статье «Оптимизация модемного соединения с Интернетом в Windows 9x» (stn-vidnoye.narod.ru/html/articles/inet_optimization.htm).

В Windows XP оптимизация MTU потеряла актуальность, так как по умолчанию в этой системе включён режим автоматического определения MTU. Пользователю желательно только проверить этот факт. Для этого откройте раздел реестра HKEY_LOCAL_MACHINE\ SYSTEM\ ControlSet\ Services\ Tcpip\ Parameters и убедитесь в отсутствии в нём параметра "EnablePMTUDiscovery"=dword:00000000.

При установке нулевого значения этого параметра, MTU для всех нелокальных соединений становится равным 576, что в большинстве случаев неоптимально — российские провайдеры чаще всего используют 1500. Раздельно же для каждого сетевого интерфейса можно установить MTU следующим образом.

Щёлкните в области уведомлений панели задач по значку своего соединения и посмотрите используемый в настоящее время IP-адрес. В подразделах реестра HKEY_LOCAL_MACHINE\ SYSTEM\ ControlSet\ Services\ Tcpip\ Parameters\ Interfaces\ ИДЕНТИФИКАТОР_АДАПТЕРА найдите тот, для которого прописан текущий IP выбранного соединения (параметр IPAddress или DhcpIPAddress) — именно здесь и следует указывать необходимый MTU: "MTU"=dword:000005dc (1500).

Поскольку Windows XP автоматически выбирает наилучшее MTU, в нашем случае необходимо просто удостовериться, что для этого соединения не установлено какое-то, отличное от оптимального, фиксированное значение. Кстати, это самое оптимальное значение выяснить довольно легко, проведя несложный эксперимент. Откройте консоль cmd.exe и введите в ней команду:

PING -f -l 1472 xxx.xxx.xxx.xxx

где xxx.xxx.xxx.xxx — IP-адрес сервера вашего провайдера. Если вы получите в ответ что-то типа “Reply from xxx.xxx.xxx.xxx: bytes=1472 time=144ms TTL=10”, то это будет означать что MTU=1500 (28 байт заголовка не учитываются). Если же ответ будет “Packet needs to be fragmented but DF set”, то уменьшайте значение 1472 до тех пор, пока не получите прохождение пакета — это значение плюс 28 байт заголовка и будет равным искомому MTU.

Гораздо важнее, впрочем, в Windows XP установить оптимальное значение буфера RWIN (Receive Window). Для качественных линий связи и GPRS-соединений рекомендуется выбирать довольно большое значение RWIN — в этом случае мы опять-таки экономим трафик благодаря уменьшению числа данных, подтверждающих приём пакета. К сожалению, изменение этого параметра влияет на все соединения в системе, поэтому при использовании кроме LAN ещё и обычного модема лучше не зарываться и выбрать значение RWIN порядка 14 600 байт (то есть MTU минус 40, умноженное на 10). В реестре это будет соответствовать параметру типа DWORD:

HKEY_LOCAL_MACHINE\ SYSTEM\ ControlSet\ Services\ Tcpip\ Parameters
TcpWindowSize="14600"

Впрочем, при желании можно поэкспериментировать и с большими значениями. А для того, чтобы не редактировать все эти параметры вручную, желательно воспользоваться небольшой бесплатной утилитой Dr.TCP (www.dslreports.com/front/drtcp.html), специально предназначенной для настройки Windows XP.

Контроль за трафиком
Некоторые средства контроля и подсчёта трафика обычно дают пользователю файерволлы. Например, в окне статистики Norton Internet Security можно проследить даже какой процесс сколько байт отправил и сколько принял — это очень помогает в выявлении программ-пожирателей трафика (не обращайте только внимания на соединения, в которых в качестве и удалённого хоста и локального фигурирует ваш собственный ПК).

Аналогичные средства почти всех продвинутых интернет-звонилок, как правило, предоставляют подробную статистику в более удобном для восприятия виде. Так, Dial-UP Monitor (www.dialmonitor.ro) подсчитывает принятые и переданные данные вплоть до каждой сессии и ведёт точный учёт расходов согласно гибко настраиваемой тарификации.

Впрочем, есть и программы, предназначенные только для подсчёта трафика и контроля расходов на интернет — для работы в локальной сети они подходят лучше. Одни из самых простых — бесплатные vAv Traffic Watcher и vAv iNet StatistiX (av4sx.nm.ru). Первая не только скрупулезно учтёт каждый байт, но и своевременно предупредит о превышении дневного или месячного лимита или даже принудительно разорвёт соединение, дабы не допустить перерасхода средств.

Вторая подсчитает ваши финансовые затраты в любой валюте, выведет недельный график утечки денег и текущее состояние счёта.

Более мощная программа TMeter (www.tmeter.ru), позволяет даже вести статистику трафика раздельно для локальной сети и интернета, имеет серьёзную систему фильтров, благодаря которой можно считать только полезный трафик, поддерживает плагины (есть плагин биллинга!). Кроме того, TMeter работает с любым прокси, может формировать статистику для любого хоста в сети, умеет блокировать трафик при достижении заданного лимита и осуществлять одновременный сбор трафика с нескольких сетевых адаптеров.

А NetLimiter (www.netlimiter.com) способен даже урезать трафик для отдельно выбранных программ. Аналогичными программами являются Down2Home (jitserv.coolfreepage.com), Bandwidth Monitor Pro (www.bandwidthmonitorpro.com) — взгляните и на их возможности, быть может, они окажутся чем-то удобнее.

Так же стоить упамянуть программу StatistXP, которую можно найти на сайте winzone.ru

Однако будьте готовы к тому, что данные вашего провайдера и программы подсчёта трафика не совпадут. Дело в том, что реальные методы подсчёта у провайдера обычно ставят во главу угла его личную любовь к дензнакам и подчас не сильно афишируются. Например, если вы, установив GPRS соединение с BeeLine, за целый день скачаете всего несколько килобайт, то, скорее всего, потеряете совсем не такую сумму денег, какую ожидали, поскольку провайдер считает, что в течение определённого промежутка времени вы обязаны загрузить какой-то объём данных, и с чистой совестью выставляет за него счёт. Получается гибрид «повременки» с тарификацией по трафику, о чём многие пользователи даже не подозревают (forum.siemens-club.ru/viewtopic.php?TopicID=27281). Аналогично в локальных сетях программы учёта трафика помогут контролировать свои затраты или вовремя предотвратить серьёзное воровство трафика, но помощи в оспаривании несправедливо выставленного счёта от них не ждите.

Последние советы
Разумеется, это не всё, что можно предпринять для сокращения трафика, так как возможностей его бесконтрольной и бесполезной утечки хоть отбавляй. Даже сама Windows будет регулярно, незаметно для пользователя, проверять наличие своих обновлений. Поэтому заранее отключите этот режим в свойствах системы. Аналогичным образом отключите автообновления и прикладных программ. Не забудьте просканировать систему программами типа Ad-aware (www.lavasoft.de) — тем самым вы выявите и удалите возможных шпионско-рекламных «казачков» ad-ware и spy-ware. Используйте интернет-пейджеры и p2p-клиенты без встроенных модулей для закачки рекламы или блокируйте их с помощью файерволла (например, для работы ICQLite достаточно открыть ей только порт 5190). В настройках обозревателя отключите проверку обновлений веб-страниц: Internet Options — General — Temporary Internet Files — Settings — Check for newer versions of stored

Источник: http://stn-vidnoye.narod.ru