Несколько вопросов.

7 years 2 months ago #1056 by i_stas

i_stas replied the topic: Несколько вопросов.

Оно как то странно с русским языком обращается.

Авторы / Найти / БЕРГ

Берг Dок Николай Всего: 1 книг.
Берг Александр Всего: 11 книг.
Берг Алиса Всего: 8 книг.
Бергамин Хосе Всего: 1 книг.
Берг Анита Всего: 2 книг.
Берг Бенгт Всего: 2 книг.
Берг Бьёрг Всего: 1 книг.
Берг Вольфгарт Всего: 1 книг.
Берггольц Ольга Всего: 20 книг.
Берг Дан Всего: 3 книг.
Берг Даниил Всего: 2 книг.
Бергельсон Давид Всего: 2 книг.
Бергер Анатолий Всего: 5 книг.
Бергер Герхард Всего: 1 книг.
Бергер Ева/ Всего: 4 книг.

Такое впечатление, что при сортировке результата выдачи пробел вообще игнорируется (отсутствует). Я иначе не могу объяснить этого.

Please Войти or Create an account to join the conversation.

i_stas
Topic Author
Offline
Новый участник

7 years 2 months ago - 7 years 2 months ago #1060 by mitshel

mitshel replied the topic: Несколько вопросов.

Конечно посмотрю что можно сделать. Однако при сортировках и поиске использую стандартные функции баз данных и Pythona поэтому трудно сказать что из всего этого получится. Кроме того у меня в таких ситуациях все в порядке. Возможно стоит посмотреть настройки по умолчанию у вашей БД.

По поводу имен большими/маленькими буквами - уточните в ваших примерах вы загружали библиотеку с использованием INPX Ил без ? Если использовался INPX то код для сравнения нужно смотреть в INPX файле, т.к. содержимое файлов книг в этом случае программой не анализируется.
По поводу количества загруженных файлов тоже трудно что-то сказать, возможно они не добавлены в INPX, возможно добавлены но в INPX файле стоит метка о том, что этот файл отсутствует. Откройте INPX любым архиватором (фактически это архив) посмотрите что там, может быть поймете в чем дело.

В любом случае уточните какую базу данных используете и ее версию. Думаю все-таки дело в настройках вашей БД. Попробуйте погуглить настройки связанные с сортировкой и case-independed для вашей БД.

Last Edit: 7 years 2 months ago by mitshel.

Please Войти or Create an account to join the conversation.

mitshel
Offline
Администратор

7 years 2 months ago #1068 by i_stas

i_stas replied the topic: Несколько вопросов.

На отдельном компьютере, на чистый жесткий диск установлены
CentOS Linux 7.2.1511 minimal (selinux disabled)
Python-3.5.2
PostgreSQL version 9.2.18
sopds v.0.38 zip с сайта. файлы в архиве датированы 22 дек 2016 19:51

Все настройки либо по умолчанию, либо сделаны строго по руководству по установке sopds.
Никаких дополнительных настроек не производилось.

Библиотека sopds - единственная функция этого компьютера.

"Локальная коллекция библиотеки Флибуста (только FB2)" с раздачи ннм-клуб.

Сейчас очищу БД, и запущу сканирование без INPX.
А завтра очищу БД и отсканирую с INPX. посмотрим логи.
......

python3 manage.py sopds_util clear

СТАТИСТИКА
Этот каталог содержит: 0 книг, 0 авторов, 228 жанров и 0 серий.

В данный момент в библиотеке лежит

Версия Flibusta.net: 01.01.2017
Всего книг: 383713

без INPX.

python3 manage.py sopds_scanner scan --verbose

Посмотрим на результат.

Please Войти or Create an account to join the conversation.

i_stas
Topic Author
Offline
Новый участник

7 years 2 months ago - 7 years 2 months ago #1070 by mitshel

mitshel replied the topic: Несколько вопросов.

Посмотрел в Postgre. Действительно с сортировкой есть траблы. В Mysql и SQLite Таких проблем нет точно. С ходу нашел подобные жалобы: postgresql.ru.net/node/215495
Проблема все таки думаю не в SOPDS. Нужно искать правильные настройки сортировки для русского языка в PostreSQL. Возможно нужно при инициализации БД Postre Сделать что-то вроде:

postgresql initdb --locale=ru_RU.UTF-8 --lc-collate=ru_RU.UTF-8 --lc-ctype=ru_RU.UTF-8 --encoding=UTF8 -D /db/postgresql

Еще вот так советуют создавать БД:

CREATE DATABASE "имя_базы"
  WITH OWNER "postgres"
  ENCODING 'UTF8'
  LC_COLLATE = 'ru_RU.UTF-8'
  LC_CTYPE = 'ru_RU.UTF-8';

Но я пока не пробовал. Отпишитесь пожалуйста если найдете решение проблемы.
P.S>: Вот еще статья для исследования: www.vertabelo.com/blog/technical-article...ations-in-postgresql

Last Edit: 7 years 2 months ago by mitshel.

Please Войти or Create an account to join the conversation.

mitshel
Offline
Администратор

7 years 2 months ago #1071 by i_stas

i_stas replied the topic: Несколько вопросов.

Закончилось сканирование, библиотеки без inpx

2017-01-27 21:53:32,128 INFO     Books added      : 383689
2017-01-27 21:53:32,170 INFO     Books skipped    : 0
2017-01-27 21:53:32,170 INFO     Bad books        : 28
2017-01-27 21:53:32,171 INFO     Books DB entries deleted : (0, {})
2017-01-27 21:53:32,171 INFO     Books in archives: 383689
2017-01-27 21:53:32,171 INFO     Archives scanned : 102
2017-01-27 21:53:32,172 INFO     Archives skipped : 0
2017-01-27 21:53:32,172 INFO     Bad archives     : 0
2017-01-27 21:53:32,172 INFO     Time estimated:3 hours, 4 minutes, 57 seconds.

383689 + 28 = 383717

А ожидалось 383713. нормальный результат.

Посмотрел в Postgre. Действительно с сортировкой есть траблы. В Mysql и SQLite Таких проблем нет точно. С ходу нашел подобные жалобы: postgresql.ru.net/node/215495
Проблема все таки думаю не в SOPDS.

мда.
уж.

PostgreSQL Наиболее продвинутая открытая СУБД в мире.

нужно пожаловаться Витусу vitus-wagner.dreamwidth.org/

Please Войти or Create an account to join the conversation.

i_stas
Topic Author
Offline
Новый участник

7 years 2 months ago #1072 by i_stas

i_stas replied the topic: Несколько вопросов.

    Авторы /     Найти  /     КАРР

Карр А Всего: 2 книг.
Карр Алекс Всего: 15 книг.
Карр Алекс Всего: 2 книг.
Карр Аллен Всего: 16 книг.

Сейчас попробую MySQL .

Please Войти or Create an account to join the conversation.

i_stas
Topic Author
Offline
Новый участник

Time to create page: 0.266 seconds