КиноПоиск.ru (персоны)

[NikLeon]

По поводу массового обновления есть такое решение (проверял 3 дня) сначала обновляю один фильм (с авторизацией), а потом уже обновляю массово персоны, поэтому естть предложение - можно ли ввести в скрипт авторизацию на сервере kinopoisk?

Можно. Но зачем?
Авторизация при импорте фильмов даёт возможность закачать прогнозируемую оценку. По персонам такого нет.
Зато КиноПоиск, насколько я знаю, может забанить аккаунт. А это намного хуже, чем бан по IP.
Или авторизация нужна для чего-то другого?

Фишка (на собственном опыте) заключается в том, что похоже после авторизации нет тщательного контроля за объемом скачиваемым - лично скачал за 4 дня почти 25000 персон в тихом режиме не прерывая связь, возможно конечно просто везение, но на определенные мысли навело

[Reset]

По поводу массового обновления есть такое решение (проверял 3 дня) сначала обновляю один фильм (с авторизацией), а потом уже обновляю массово персоны, поэтому естть предложение - можно ли ввести в скрипт авторизацию на сервере kinopoisk?

Можно. Но зачем?
Авторизация при импорте фильмов даёт возможность закачать прогнозируемую оценку. По персонам такого нет.
Зато КиноПоиск, насколько я знаю, может забанить аккаунт. А это намного хуже, чем бан по IP.
Или авторизация нужна для чего-то другого?

Фишка (на собственном опыте) заключается в том, что похоже после авторизации нет тщательного контроля за объемом скачиваемым - лично скачал за 4 дня почти 25000 персон в тихом режиме не прерывая связь, возможно конечно просто везение, но на определенные мысли навело

Думаю, дело в чём-то другом. Поскольку в скрипте импорта персон нет авторизации, а авторизация пропадает даже при повторном запуске того же скрипта, не говоря уже о другом скрипте (т.е. авторизация от скрипта импорта информации о фильмах не может действовать при импорте информации о персонах), то, видимо, дело не в ней. Прикинул скорость загрузки по твоим числам - получилось около 3 с между загрузкой страниц. Немного, конечно, но, возможно, достаточно для нормальной закачки.
Кстати, а фильмы ты в тихом режиме не обновлял?

[NikLeon]

По поводу массового обновления есть такое решение (проверял 3 дня) сначала обновляю один фильм (с авторизацией), а потом уже обновляю массово персоны, поэтому естть предложение - можно ли ввести в скрипт авторизацию на сервере kinopoisk?

Можно. Но зачем?
Авторизация при импорте фильмов даёт возможность закачать прогнозируемую оценку. По персонам такого нет.
Зато КиноПоиск, насколько я знаю, может забанить аккаунт. А это намного хуже, чем бан по IP.
Или авторизация нужна для чего-то другого?

Фишка (на собственном опыте) заключается в том, что похоже после авторизации нет тщательного контроля за объемом скачиваемым - лично скачал за 4 дня почти 25000 персон в тихом режиме не прерывая связь, возможно конечно просто везение, но на определенные мысли навело

Думаю, дело в чём-то другом. Поскольку в скрипте импорта персон нет авторизации, а авторизация пропадает даже при повторном запуске того же скрипта, не говоря уже о другом скрипте (т.е. авторизация от скрипта импорта информации о фильмах не может действовать при импорте информации о персонах), то, видимо, дело не в ней. Прикинул скорость загрузки по твоим числам - получилось около 3 с между загрузкой страниц. Немного, конечно, но, возможно, достаточно для нормальной закачки.
Кстати, а фильмы ты в тихом режиме не обновлял?

Обновил всю старые записи, в которых URL был не с kinopoiska.ru базу примерно 1000 фильмов, обновлял на линии с ограничением 512 кБит, без проблем обновилось за 1 раз (31/12/2009 делал обновление)

[NikLeon]

Похоже идиотские ограничения сняли, во всяком случае за 2 дня скачал данные на 20000 персон в 2 захода.

[NewSky]

В воскресенье в 00.00 по Москве запустил скрипт с 5500 персонами. Минут за 30-40 стянул к 1000, пошел спать, утром обнаружил, все данные по всем персонам были загружены. Без банов и прочего.

[Vik]

Похоже идиотские ограничения сняли, во всяком случае за 2 дня скачал данные на 20000 персон в 2 захода.

Ни чего не сняли, стало еще хуже уже штук 50 прокси серверов забанили , одну две персоны обновил и бан.
Единственное с утра на 20-50 обновлений хватает а потом бан.

[Reset]

Люди, прекращаем оффтоп. Последние 1,5 десятка сообщений никакого отношения к теме не имеют. Проблемы КиноПоиска обсуждаются в теме Проблемы импорта с Кинопоиска.

[ViNNNtalik]

Ресет, посмотри пожалуйста актера - Кристоф Вальц (http://www.kinopoisk.ru/level/4/people/245737/).
При скачивании инфо о фильме "Бесславные ублюдки" с его участием выставляет ему Оскара и Золотой глобус за роль второго плана (награды эти есть на сайте кинопоиска как в карточке фильма ,так и в карточке актера)

При скачивании информации об актере (скрипт 0.1.0.12) Оскар и Золотой глобус исчезает, хотя, повторюсь, на сайте в карточке актера эти награды есть

Посмотри, пожалуйста

П.С. Похожая ситуация с Квентином Тарантино (http://www.kinopoisk.ru/level/4/people/7640/): исчезает номинация Оскар за 2010 год "лучший режиссер"  и не видит т Оскар-2010 номинация "Лучший сценарий" и Оскар-1995 победитель "лучший сценарий"

[Reset]

Ресет, посмотри пожалуйста актера - Кристоф Вальц (http://www.kinopoisk.ru/level/4/people/245737/).
При скачивании инфо о фильме "Бесславные ублюдки" с его участием выставляет ему Оскара и Золотой глобус за роль второго плана (награды эти есть на сайте кинопоиска как в карточке фильма ,так и в карточке актера)

При скачивании информации об актере (скрипт 0.1.0.12) Оскар и Золотой глобус исчезает, хотя, повторюсь, на сайте в карточке актера эти награды есть

Посмотри, пожалуйста

П.С. Похожая ситуация с Квентином Тарантино (http://www.kinopoisk.ru/level/4/people/7640/): исчезает номинация Оскар за 2010 год "лучший режиссер"  и не видит т Оскар-2010 номинация "Лучший сценарий" и Оскар-1995 победитель "лучший сценарий"

Отписался в теме Недоработки в версии 0.9.9.18.

UPD
Ошибка устранена в версии 0.9.9.19 программы.

[unreal666]

Чего-то в персонах перестал добавляться список фильмов.

[EGO]

Чего-то в персонах перестал добавляться список фильмов.

подтверждаю - та же проблема с фильмографией по персонам. Остаются только те фильмы, что есть в базе.

[Natik]

Чего-то в персонах перестал добавляться список фильмов.

подтверждаю - та же проблема с фильмографией по персонам. Остаются только те фильмы, что есть в базе.

ждем изменений 

[EGO]

ждем изменений 

Очень ждем.....И пока тихо так...

[BiZet]

Мне помогла замена в строке 652 скрипта

Код: [Выделить]

curPos := PosFrom ('<td width=36% class="', HTML, curPos);на

Код: [Выделить]

curPos := PosFrom ('<td width=40% class="', HTML, curPos);и в строке 655

Код: [Выделить]

endPos := PosFrom ('</table><br>', HTML, curPos);на

Код: [Выделить]

endPos := PosFrom ('</table><br />', HTML, curPos);

[Predator]

Был еще мелкий косяк (с определением сайтов актеров). Во вложении подправленный скрипт.

P.S. спасибо автору предыдущего сообщения  

[вложение удалено администратором]