Русский > Скрипты, Плагины, Шаблоны и Шкурки
Кино-Театр.РУ (фильмы)
Reset:
Скрипт загрузки информации о фильмах с сайта Кино-Театр.РУ.
Актуальная версия - 0.0.1.0.
Основные функции:
+ Загрузка стандартных полей: название, оригинальное название, другие названия, год, жанры, режиссер, продюсер, сценарий, композитор, актёры, страна, студия, URL, дата выпуска, описание, мини-постер.
+ Загрузка пользовательских полей: премьеры в разных странах, сайты, операторы, художники.
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.
На сайте введена система противодействия роботам. При частом обращении пользователю предлагается сложить числа. Я реализовал обход этой защиты. Но, видимо, что-то не учитываю: текущая страница загружается, а на следующей опять срабатывает защита. В связи с этим введена динамическая задержка между загрузкой фильмов (см. опцию Delay). Она обеспечивает интервал в 10 с между обращениями к сайту. При использовании скрипта и, тем более, изменении этой опции, прошу обратить внимание, что Ваш IP-адрес может быть заблокирован на сайте. Между срабатыванием системы защиты от роботов и блокировкой может пройти достаточно много запросов, поэтому при выдаче сообщения о срабатывании системы защиты просто прекратите загрузку с сайта.
Я буду очень благодарен за информацию о том, что я упустил в системе противодействия защите, почему при ответе на запрос защиты в браузере всё нормально, а при ответе скриптом следующий запрос опять не проходит.
История версий:
- 0.0.0.1 - основные данные
- 0.0.1.0 - мелкие исправления
Последнюю версию скрипта берем на странице Загрузить или во вложении.
[вложение удалено Администратором]
Reset:
Начата разработка скрипта для сайта Кино-Театр.РУ.
Просьба высказывать предложения и пожелания.
djek-ural:
Можно список основных полей которые будет заполнять скрипт , мне так интересно , сколько на сайте информации.
Reset:
--- Цитата: djek-ural от 13 Апреля 2009, 04:48:59 ---Можно список основных полей которые будет заполнять скрипт , мне так интересно , сколько на сайте информации.
--- Конец цитаты ---
Планируемые к заполнению поля: название, оригинальное название, другие названия, год, жанры, режиссёр, продюсер, сценарий, композитор, операторы, художники, актёры, роли озвучивали, страна, студия, премьера, описание, отзывы зрителей, кинокритика, рейтинги симпатий и антипатий, награды, сайты, постеры, скриншоты.
UPD
Работать скрипт будет, вероятно, только в версиях 0.9.9.x, поскольку на сайте используются POST-запросы.
Reset:
Первая пробная версия скрипта для загрузки информации о фильмах с сайта Кино-Театр.РУ.
Реализовано:
+ Загрузка стандартных полей: название, оригинальное название, другие названия, год, жанры, режиссер, продюсер, сценарий, композитор, актёры, страна, студия, URL, дата выпуска, описание, мини-постер.
+ Загрузка пользовательских полей: премьеры в разных странах, сайты, операторы, художники.
Планы на будущее:
- Добавить загрузку наград (видимо, в обычном текстовом виде).
- Добавить рейтинги симпатий и антипатий.
- Добавить расширенную информацию об актёрах.
- Добавить обсуждение посетителей.
- Добавить статьи.
На сайте введена система противодействия роботам. При частом обращении пользователю предлагается сложить числа. Я реализовал обход этой защиты. Но, видимо, что-то не учитываю: текущая страница загружается, а на следующей опять срабатывает защита. В связи с этим введена динамическая задержка между загрузкой фильмов (см. опцию Delay). Она обеспечивает интервал в 10 с между обращениями к сайту. При использовании скрипта и, тем более, изменении этой опции, прошу обратить внимание, что Ваш IP-адрес может быть заблокирован на сайте. Между срабатыванием системы защиты от роботов и блокировкой может пройти достаточно много запросов, поэтому при выдаче сообщения о срабатывании системы защиты просто прекратите загрузку с сайта.
Я буду очень благодарен за информацию о том, что я упустил в системе противодействия защите, почему при ответе на запрос защиты в браузере всё нормально, а при ответе скриптом следующий запрос опять не проходит.
Последнюю версию скрипта берем на iFolder.ru или во вложении.
[вложение удалено Администратором]
Навигация
Перейти к полной версии