Отладка нового парсера

[ElDrako]

С сегодняшнего дня включён в работу новый парсер самиздата, позволяющий определять все изменения практически моментально.
Опрос страничек авторов им уже не производится, а потому проблем с задержками оповещения о новых текстах или ложных изменениях размеров уже не будет.
Оповещения в ленту выводятся каждые 5 минут.

Если кто хочет помочь с отловом багов и покидаться тапками, прошу отписываться тут.

Также обратите внимание, что на тестовую версию уже перенесены все пользователи, зарегистрировавшиеся до 20:00 23.03.16 года, и больше базы синхронизироваться не будут. Это означает, что новым пользователям необходимо самим переносить свои списки наблюдения между сайтами.
Тест продлится до конца марта, после чего будет переключён на основной домен. В дальнейшем база пользователей старой версии SIwatcher будет перенесена в бекап, и вам придётся обращаться ко мне за получением своих списков наблюдения от туда.

P.S. Так как это тестовый домен, я не стал заводить на него SSL-сертификат, и браузеры будут ругаться, что он недействительный. Не обращайте на это внимания или просто добавьте в исключения.

P.S.2. Баг с оповещениями о изменении аннотаций я уже заметил, это идёт обновление данных от старого бота.

[Yagg]

Если кто хочет помочь с отловом багов и покидаться тапками, прошу отписываться тут.

Парсер где-то криво сработал. Имя автора не показывается сейчас в ленте:



Это единственный случай, остальные выглядят нормально. По ссылке вроде автор есть в тексте.

[ElDrako]

Да, я тоже уже увидел, спасибо.
Первые двое суток будет идти замещение данных, а вот если повторится, то буду исправлять.

[ElDrako]

Исправлены баги:
1. При появлении нового текста, оповещение о нём не привязывалось к пользователям.
2. Вместо имени автора нового текста в БД записывалось название текста.
3. Удалены из БД 7240 дубликатов привязки текстов к пользователям от старого бота и самих дубликатов текстов.
4. По событию EDT убрано оповещение в случае, если контролируемые парсером поля не менялись.

[ElDrako]

Победил баг с выводом одного названия текста в ленте.
Убрана группировка по ссылке текста в ленте обновлений пользователей.

Если что будет новое - жду.

[al103]

Опрос страничек авторов им уже не производится, а потому проблем с задержками оповещения о новых текстах или ложных изменениях размеров уже не будет.

https://siwatcher.ru/authors/gertow_i_a

Последнее обновление записано 23.03.2016г. 18:03:13 http://samlib.ru/g/gertow_i_a/okraina052.shtml

По Самиздату

24 http://samlib.ru/g/gertow_i_a/okraina053.shtml
25 http://samlib.ru/g/gertow_i_a/okraina054.shtml
28 и 29 http://samlib.ru/g/gertow_i_a/okraina055.shtml
30 http://samlib.ru/g/gertow_i_a/okraina056.shtml
и еще раз 30 http://samlib.ru/g/gertow_i_a/okraina057.shtml

Если это не проблема с оповещением (неделя!!!), то я не знаю что тогда проблема.

[ElDrako]

al103, а вы хотели, чтобы совсем без глюков было?
произошла рассинхронизация данных автора и записей текстов в БД. ещё при старом боте. а новую структуру БД я ещё только разрабатываю.

я сейчас обновил список текстов в записи автора по списку текстов в БД.
при следующем добавлении текста автором должно всё обновиться, и добавить отсутствующие в базе тексты.

[ElDrako]

al103, 30 марта у него было только
/g/gertow_i_a/okraina057|RPL|2016-03-30 22:11:03|Продолжение к Окраине (5 часть)|Гертов Игорь Александрович|Глава|Фантастика||30/03/2016||1459365063|15k
/g/gertow_i_a/okraina057|EDT|2016-03-30 22:11:38|Продолжение к Окраине (5 часть)|Гертов Игорь Александрович|Глава|Фантастика|30.03|30/03/2016||1459365060|15k
/g/gertow_i_a/okraina056|RPL|2016-03-30 04:02:46|Продолжение к Окраине (5 часть)|Гертов Игорь Александрович|Глава|Фантастика||30/03/2016||1459299766|15k
/g/gertow_i_a/okraina056|EDT|2016-03-30 04:03:21|Продолжение к Окраине (5 часть)|Гертов Игорь Александрович|Глава|Фантастика|30.03|30/03/2016||1459299720|15k

как только он добавит новый текст - всё обновится.

[ElDrako]

выплыл неожиданный баг при недоступности одного из сайтов самиздата.
починить - починил, но у некоторых авторов успело стать по 0 текстов.
и когда только при следующем обновлении ими своей странички у них появится новый текст - изменения начнут отслеживаться, если я их вручную не обновлю.

[ElDrako]

из-за ошибки, про которую написано выше, пострадавшие авторы ещё некоторое время будут присутствовать в ленте с кучей новых текстов - это заново загружается информация о них.