ExBB Community » Веб-разработка » Интернет » Как правильно качать сайты с форумами на основе exBB с помощью Offline Explorer или Teleport?

Страниц (1): [1]
 

1. 1Bot - 15 июля 2009 — 14:38 - перейти к сообщению
Как правильно качать сайты с форумами на основе exBB с помощью Offline Explorer или Teleport?
Настройки, особенности, подводные камни? Что качать/что нет, чтобы потом правильно отображалось?

Так как в шапке написано
Цитата:
Ваши предложения по функциональности и развитию ExBB
то хотелось бы видеть возле каждой темы кнопочку Скачать тему с помощью Offline Explorer - очень удобно, потому что полезные темы всегда будут доступны и в оффлайне!
2. 1Bot - 15 июля 2009 — 20:46 - перейти к сообщению
vipraskrutka пишет:
сразу скажи лучше что хочешь тырить чужие сайты


Я и не скрываю, но не тырить, а сохранять информацию для локального просмотра Растерялся полезной информации - ведь для этого сайты и создают, чтобы черпать информацию Закатив глазки
3. 1Bot - 16 июля 2009 — 07:13 - перейти к сообщению
vipraskrutka
А удобства просмотра? или каждую страничку отдельноо открывать?
4. 1Bot - 17 июля 2009 — 09:24 - перейти к сообщению
vipraskrutka пишет:
я вообще стараюсь на сайтах банить разными способами такие качалки

Тут вопрос риторический, а ведь это для удобства офф-лайн пользователей с толстыми каналами на работе Растерялся
5. yura3d - 17 июля 2009 — 10:22 - перейти к сообщению
1Bot
Проблема в том, что подобные сайтокачалки стремятся выкачивать сайты за небольшой промежуток времени, а это значит, что программа должна перебирать сотни страниц в минуту и при работе таких программ будет создаваться пиковая повышенная нагрузка на сервер, чего, разумеется, не хочет ни один администратор
6. 1Bot - 17 июля 2009 — 10:29 - перейти к сообщению
yura3d
Но, например, рассылка нового сообщения из темы на e-mail для всех подписавшихся на тему тоже генерирует большой трафик (хотя тут администратор может отключить рассылку)
(Добавление)
vipraskrutka
vipraskrutka пишет:
такой пользователь мне не нужен

почему?
7. yura3d - 17 июля 2009 — 10:37 - перейти к сообщению
1Bot пишет:
Но, например, рассылка нового сообщения из темы на e-mail для всех подписавшихся на тему тоже генерирует большой трафик (хотя тут администратор может отключить рассылку)

Почтовый траффик это совсем другое, более того, в следующих версиях алгоритм рассылки писем будет переписан таким образом, что нагрузка на сервер при отправке будет снижена до минимума

Вообще я не против, если человек за один раз скачивает 1-2-3 темы, ну в крайнем случае десяток. Но когда предпринимается попытка скачать за раз весь форум, то тут уже будет не до смеха, и в первую очередь хостеру
8. 1Bot - 17 июля 2009 — 11:05 - перейти к сообщению
yura3d пишет:
я не против, если человек за один раз скачивает 1-2-3 темы, ну в крайнем случае десяток. Но когда предпринимается попытка скачать за раз весь форум, то тут уже будет не до смеха


Вот и рекомендации, теперь бы помощь как это сделать для упомянутых качалок, чтобы качать только заданную тему, а то по адресу форума качают все подряд - этого-то и хочется избежать.
(Добавление)
vipraskrutka
В чем же Вы не видите свою пользу? Если на форуме есть реклама - она просматривается, если формум динамический - докачивается только новое? В чем вред, если дать разумно качать отдельные темы в один проект?
9. 1Bot - 4 ноября 2009 — 18:32 - перейти к сообщению
1Bot пишет:
Как правильно качать сайты с форумами на основе ExBB с помощью Offline Explorer или Teleport?
Настройки, особенности, подводные камни? Что качать/что нет, чтобы потом правильно отображалось?


Наконец возникла ясность в этом вопросе после детального ознакомления с программой Offline Explorer, рассмотрю на примере этого форума

Алгоритм скачивания без создания больших нагрузок на сервер

1. Логинимся на форуме
- Зайдите на сайт http://exbb.info/community/index.php во встроенном браузере, залогиньтесь там. После этого скачивайте сайт. Для этого введя пароль кликнуть на кнопке отправки пароля с нажатыми Ctrl+Alt - создастся новый проект с запомненными данными для автоматического логина.

2. Включаем ограничение скачиваемого содержимого
- Свойства проекта :: Фильтры URL :: Маски включения имен файлов
Добавляем маски файлов index.php, topic.php и forums.php
Так как основное содержимое форума выводится с помощью php-скриптов forums.php - для страниц со ссылками на темы и topic.php - для страниц с сообщениями из тем, то ставим фильтр для перехода только по ссылкам, которые начинаются с http://exbb.info/community/topic.php и http://exbb.info/community/forums.php

3. Не создаем большой нагрузки на сервер
- Интернет :: Количество соединений: 3 :: Задержка между загрузками: 5-20 сек

4. Обновление информации для локальной копии форума
Как часто обновлять - дело каждого и зависит от активности на форуме (для этого форума можно обновлять раз в неделю), причем закачивать только новые и изменившиеся файлы

З.Ы. Поправьте, если что не так Подмигивание
10. 1Bot - 5 ноября 2009 — 14:29 - перейти к сообщению
vipraskrutka пишет:
Единственно правильный вариант - договориться в админом форума, чтоб за деньги он вам разрешил выкачивать сайт

Для Дата-центра Воля, на котором расположен Ваш выделенный сервер с этим форумом украинский трафик не ограничен, за что Вы собираетесь брать деньги? Хм
11. 1Bot - 11 ноября 2009 — 11:26 - перейти к сообщению
Изменения в приведенном выше алгоритме

Цитата:
2. Включаем ограничение скачиваемого содержимого
- Свойства проекта :: Фильтры URL :: Маски включения имен файлов
Добавляем маски файлов index.php, topic.php и forums.php
Так как основное содержимое форума выводится с помощью php-скриптов forums.php - для страниц со ссылками на темы и topic.php - для страниц с сообщениями из тем, то ставим фильтр для перехода только по ссылкам, которые начинаются с http://exbb.info/community/topic.php и http://exbb.info/community/forums.php


Добавка ко второму пункту алгоритма
- Свойства проекта :: Фильтры URL :: Маски исключения имен файлов
Добавляем ключевое слово action чтобы исключить подписку\отписку на сообщения из тем

Яндекс.Метрика   

Powered by ExBB
[Script Execution time: 0.019]     [ ]