Проблемы при сканировании локальной копии либрусека

1 week 6 days ago #2158 by Fenixoid
Fenixoid created the topic: Проблемы при сканировании локальной копии либрусека
Здравствуйте, пытаюсь просканировать локальную копию либрусека (228гб). При сканировании inpx файла, всё проходит без проблем, но хотелось бы иметь и аннотации к книгам. При сканировании архивов (без inpx) сканирование доходит до определенного момента, а потом вываливается
Traceback (most recent call last):
  File "manage.py", line 10, in <module>
    execute_from_command_line(sys.argv)
  File "/usr/local/lib/python3.6/dist-packages/django/core/management/__init__.py", line 367, in execute_from_command_line
    utility.execute()
  File "/usr/local/lib/python3.6/dist-packages/django/core/management/__init__.py", line 359, in execute
    self.fetch_command(subcommand).run_from_argv(self.argv)
  File "/usr/local/lib/python3.6/dist-packages/django/core/management/base.py", line 305, in run_from_argv
    self.execute(*args, **cmd_options)
  File "/usr/local/lib/python3.6/dist-packages/django/core/management/base.py", line 356, in execute
    output = self.handle(*args, **options)
  File "/home/fenixoid/sopds/opds_catalog/management/commands/sopds_scanner.py", line 57, in handle
    self.scan()   
  File "/home/fenixoid/sopds/opds_catalog/management/commands/sopds_scanner.py", line 80, in scan
    scanner.scan_all()
  File "/home/fenixoid/sopds/opds_catalog/sopdscan.py", line 104, in scan_all
    self.processzip(name,full_path,file)
  File "/home/fenixoid/sopds/opds_catalog/sopdscan.py", line 189, in processzip
    self.processfile(n,file,bookfile,cat,opdsdb.CAT_ZIP,file_size)
  File "/home/fenixoid/sopds/opds_catalog/sopdscan.py", line 246, in processfile
    ser = opdsdb.addseries(book_data.series_info['title'])
  File "/home/fenixoid/sopds/opds_catalog/opdsdb.py", line 235, in addseries
    series, created = Series.objects.get_or_create(ser=ser[:SIZE_SERIES], defaults={'search_ser':ser.upper()[:SIZE_SERIES], 'lang_code':getlangcode(ser)})
  File "/usr/local/lib/python3.6/dist-packages/django/db/models/manager.py", line 85, in manager_method
    return getattr(self.get_queryset(), name)(*args, **kwargs)
  File "/usr/local/lib/python3.6/dist-packages/django/db/models/query.py", line 471, in get_or_create
    return self.get(**lookup), False
  File "/usr/local/lib/python3.6/dist-packages/django/db/models/query.py", line 389, in get
    (self.model._meta.object_name, num)
opds_catalog.models.MultipleObjectsReturned: get() returned more than one Series -- it returned 2!
Сканирование с ключом -verbose не задавал, ввиду большого объема библиотеки, ошибка возникает уже после середины сканирования. Подскажите, какие варианты есть другого добавления аннотаций или же как можно бороться с данной проблемой. Спасибо.

Please Войти or Create an account to join the conversation.

  • Fenixoid
  • Fenixoid's Avatar Topic Author
  • Offline
  • Новый участник
  • Новый участник
More
1 week 5 days ago #2159 by mitshel
mitshel replied the topic: Проблемы при сканировании локальной копии либрусека
Попробуйте сначала очистить БД командой:
python3 manage.py sopds_util clear

Затем вновь отсканируйте библиотеку (без INPX). О результате напишите пожалуйста.

Please Войти or Create an account to join the conversation.

  • mitshel
  • mitshel's Avatar
  • Offline
  • Администратор
  • Администратор
More
1 week 5 days ago #2160 by Fenixoid
Fenixoid replied the topic: Проблемы при сканировании локальной копии либрусека
Очищал перед каждой попыткой бд. Не помогало. Помогло сканирование по частям, то есть перекинул все файлы в другое место. затем обратно копировал по 10-15 тысяч книг и запускал сканирование. Всё прошло успешно.

Please Войти or Create an account to join the conversation.

  • Fenixoid
  • Fenixoid's Avatar Topic Author
  • Offline
  • Новый участник
  • Новый участник
More
1 week 4 days ago #2163 by mitshel
mitshel replied the topic: Проблемы при сканировании локальной копии либрусека
Очень странная ситуация, а могло такое быть что вы настроили периодическое сканирование например каждые 4 часа, и второе сканирование запустилось когда еще не завершилось первое?

Please Войти or Create an account to join the conversation.

  • mitshel
  • mitshel's Avatar
  • Offline
  • Администратор
  • Администратор
More
1 week 4 days ago #2165 by Fenixoid
Fenixoid replied the topic: Проблемы при сканировании локальной копии либрусека
Настройки периодического сканирования не изменял, но это и не мешало. Первый раз запускал сканирование в 23, а ошибка выскочила около пол3. Потом еще раз сканирование началось в 15, прервалось около 18.30.

Please Войти or Create an account to join the conversation.

  • Fenixoid
  • Fenixoid's Avatar Topic Author
  • Offline
  • Новый участник
  • Новый участник
More
Time to create page: 0.178 seconds