Есть ли смысл использовать серилизацию объектов для сохранения в БД? | Forum

31 Aug. 2015, 11:30

Posts: 483

31 Aug. 2015, 11:30

Posts: 483

Просто не знаю как на практике... Как обычно делают: серилизовывают объект и сохраняют в charfield или в textfield, или сохраняют его значениями в ячейках?

Как пример, вот колода карт. Вроде, не очень удобно делать 40 полей под каждую карту.

Или тот случай, когда это словарь и ключи словаря заранее неизвестны.

Как определить когда надо использовать серилизацию, а когда лучше сделать стандартно?

Answer | 0

31 Aug. 2015, 12:26 RaD Posts: 2822 Location: Снегири, МО	31 Aug. 2015, 12:26 RaD Posts: 2822 Location: Снегири, МО Делайте как проще. Если ничего не помогает, прочтите документацию, наконец!
	Answer \| 0

31 Aug. 2015, 14:17

alerion

Posts: 5750
Location: Львов

31 Aug. 2015, 14:17

alerion

Posts: 5750
Location: Львов

Смотря что с данными делать. Если просто хранить, то можно в одном поле. Если же нужен поиск, индексы разные по полю, тогда в отдельное. В PostgreSQL есть JSON поле, и хеш поле.

Фиксю баги по трейсбеку.

Answer | 0

31 Aug. 2015, 14:36

Michael

Posts: 483

31 Aug. 2015, 14:36

Michael

Posts: 483

Смотря что с данными делать. Если просто хранить, то можно в одном поле. Если же нужен поиск, индексы разные по полю, тогда в отдельное.

Вот точно, дело ведь в необходимости выборки из БД, по каким-то критериям. В голову не пришло почему-то. Спасибо :)

Answer | 0

31 Aug. 2015, 14:42 Michael Posts: 483	31 Aug. 2015, 14:42 Michael Posts: 483 А у джанговских моделей есть инструменты для серилизации? По идее-то это должно быть востребовано. Или надо самому классы дополнять?
	Answer \| 0

31 Aug. 2015, 14:50

alerion

Posts: 5750
Location: Львов

31 Aug. 2015, 14:50

alerion

Posts: 5750
Location: Львов

А у джанговских моделей есть инструменты для серилизации? По идее-то это должно быть востребовано. Или надо самому классы дополнять?

Для постгреса есть хеш-поле, а так есть сторонние приложения.

Фиксю баги по трейсбеку.

Answer | 0

31 Aug. 2015, 14:57 Michael Posts: 483	31 Aug. 2015, 14:57 Michael Posts: 483 Что за хеш-поле? Можно ссылку? Через поиск не находит.
	Answer \| 0

31 Aug. 2015, 15:43 devel787@gmail.com Posts: 233	31 Aug. 2015, 15:43 devel787@gmail.com Posts: 233 А у джанговских моделей есть инструменты для серилизации? По идее-то это должно быть востребовано. Или надо самому классы дополнять? http://djbook.ru/rel1.8/topics/serialization.html
	Answer \| 0

31 Aug. 2015, 16:16 alerion Posts: 5750 Location: Львов	31 Aug. 2015, 16:16 alerion Posts: 5750 Location: Львов Что за хеш-поле? Можно ссылку? Через поиск не находит. https://docs.djangoproject.com/en/1.8/ref/contrib/postgres/fields/#hstorefield Фиксю баги по трейсбеку.
	Answer \| 0

31 Aug. 2015, 17:05

Michael

Posts: 483

31 Aug. 2015, 17:05

Michael

Posts: 483

https://docs.djangoproject.com/en/1.8/ref/contrib/postgres/fields/#hstorefield

Ясно, но она сохраняет только словари, как я понял. Тут пожалуй нужен более универсальный инструмент.

Пытаюсь переопределить методы. С сохранением всё просто, но вот как воспроизвести объект при загрузке из базы, я не могу сообразить. Через __init__? Но ведь при создании объекта это не нужно, только при выборке из БД. Как это реализовать правильно?

class Deck(models.Model):
    # тут тоже какие-то поля
    deck = models.TextField()  # поле которое должно хранить колоду

    # переопределяем метод сохранения в базе
    def save(self, force_insert=False, force_update=False,
             using=None, update_fields=None):

        self.deck = pickle.dumps(self.deck)  # Переводим в бинарный код
        models.Model.save(self)  # Сохраняем

Answer | 0

31 Aug. 2015, 17:48 alerion Posts: 5750 Location: Львов	31 Aug. 2015, 17:48 alerion Posts: 5750 Location: Львов В документации есть раздел о создании своего поля. И я писал выше, что есть приложения с готовым JSONField, в PostgreSQL по нему даже запросы можно делать. Фиксю баги по трейсбеку.
	Answer \| 0

31 Aug. 2015, 18:10 Michael Posts: 483	31 Aug. 2015, 18:10 Michael Posts: 483 alerion , я читал, просто пока не знаю, что такое JSON, и тем более что это за приложения. Привык уже мимо ушей пропускать вещи, которые не понимаю. Про создание своих полей сейчас почитаю.
	Answer \| 0

31 Aug. 2015, 18:23 payday Posts: 858 Location: Lviv	31 Aug. 2015, 18:23 payday Posts: 858 Location: Lviv я пользуюсь https://github.com/skorokithakis/django-annoying Если разбогатеете - не забудьте поделиться.
	Answer \| 0

31 Aug. 2015, 20:03

Michael

Posts: 483

31 Aug. 2015, 20:03

Michael

Posts: 483

alerion , Acman , ребята, я посмотрел, что всё это как-то очень сложно, либо я что-то не понимаю. Написал так:

class HandField:
    """Питоновский класс, для демонстрации."""
    bla = 'blabla'

    def __init__(self):
        self.bla = HandField.bla


class Deck(models.Model):
"""Модель для БД."""

    # тут тоже какие-то поля
    hand = models.BinaryField(serialize=True)  # поле которое должно хранить колоду

    def __init__(self, *args, **kwargs):
        models.Model.__init__(self, *args, **kwargs)  # переопределяем init
        if type(self.hand) == bytes:  # если поле было загружено, то расконсервируем.
            self.hand = pickle.loads(self.hand)

    # переопределяем метод сохранения в базе
    def save(self, force_insert=False, force_update=False,
             using=None, update_fields=None):

        self.hand = pickle.dumps(self.hand)  # Переводим в бинарный код
        models.Model.save(self)  # Сохраняем
        self.hand = pickle.loads(self.hand)  # Немного неоптимально, но зато можно пользоваться экземпляром дальше.

Вот результат работы:

>>> d = HandField()
>>> d = Deck(hand=d)
>>> d.save()
>>> p = Deck.objects.get(id=3)
>>> p.hand
<appname.models.HandField object at 0x03BC8E70>
>>> p.hand.bla
'blabla'

Вроде это проще намного. Может стоит использовать?

Updated 31 Aug. 2015, 20:14 by Michael.

Answer | 0

31 Aug. 2015, 20:43

alerion

Posts: 5750
Location: Львов

31 Aug. 2015, 20:43

alerion

Posts: 5750
Location: Львов

Ну проще только в том, что не нужно ни в чем разбираться. А так это костыль. Как с такой БД работать потом? Как через SQL с такими данными работать? Сломается что-то в проекте, вы даже не распакуете эти данные.

Если разобраться, то будет проще т.к. никакого кода писать не нужно. Поле автоматом преобразует данные в JSON и обратно. Про JSON вам 100% нужно знать, как и про XML и прочие форматы данных.

Updated 31 Aug. 2015, 20:44 by alerion.

Фиксю баги по трейсбеку.

Answer | 0

2 Sept. 2015, 9:59

Michael

Posts: 483

2 Sept. 2015, 9:59

Michael

Posts: 483

Как через SQL с такими данными работать?

Что значит как с ними через SQL работать?

Сломается что-то в проекте, вы даже не распакуете эти данные.

Питон-то не сломается :)

Вообщем, я так понял, что для моих целей нужно некое универсальное средство, способное превращать любой объект питон во что-то, что можно сохранить в БД. Решил, всё-таки использовать Pickle - показалось идеальным вариантом.

Даже после целого дня изучения доков, ковыряний и разбираний кода, почти ничего не понимаю - нет общей картины в голове. Но наскрёб вот такое решение:

class PythonObjectField(models.BinaryField):

    def get_prep_value(self, value):  # сереализация перед сохранением
        value = pickle.dumps(value)
        return(value)

    # десериализация при выборке из БД
    def from_db_value(self, value, expression, connection, context):
        value = pickle.loads(value)
        return value

Так нормально, в дальнейшем проблем не будет? Меня не покидает ощущение, что он где-то ещё раз в бинарник перекидывает. Что-то нужно ещё сделать? Насколько я на верном пути?

Updated 2 Sept. 2015, 10:02 by Michael.

Answer | 0

2 Sept. 2015, 10:05

alerion

Posts: 5750
Location: Львов

2 Sept. 2015, 10:05

alerion

Posts: 5750
Location: Львов

Что значит как с ними через SQL работать?

Дают вам дамп такой БД и просят быстренько получить какие-то данные, включая данные из упакованного объекта. Как вы это сделаете без pickle.loads?

Питон-то не сломается :)

Ну вам данные нужны, а не Python. В бинарном виде не весь объект хранится, а состояние. Чтобы распаковка сработала, должны быть доступны все классы, которые используются в объекте. Вроде еще и версия аналоичная, если какие-то атрибуты добавят и их не будет, просто вывалит ошибку инициализации объекта.

Так нормально, в дальнейшем проблем не будет? Меня не покидает ощущение, что он где-то ещё раз в бинарник перекидывает. Что-то нужно ещё сделать? Насколько я на верном пути?

Выше же написал, что это говно-костыль. Для этого есть специальные поля и общепринятые форматы данных, например JSON, или XML. Есть готовые JSON поле для моделей.

Updated 2 Sept. 2015, 10:07 by alerion.

Фиксю баги по трейсбеку.

Answer | 0

2 Sept. 2015, 10:34

Michael

Posts: 483

2 Sept. 2015, 10:34

Michael

Posts: 483

alerion , ну нельзя все пальцы в рот засунуть. Доберусь и до JSON, когда-то. Мне нужно сейчас средство какое-то, использую из того, что знаю.

Подскажи, пожалуйста по самой реализации, насколько я правильно подошёл, с точки зрения создания собственных полей?

Answer | 0

2 Sept. 2015, 10:44

devel787@gmail.com

Posts: 233

2 Sept. 2015, 10:44

devel787@gmail.com

Posts: 233

Подскажи, пожалуйста по самой реализации, насколько я правильно подошёл, с точки зрения создания собственных полей?

Вам уже написали

Выше же написал, что это говно-костыль. Для этого есть специальные поля и общепринятые форматы данных, например JSON, или XML. Есть готовые JSON поле для моделей.

за 30 минут ничего в мире разработки не изменилось.

Answer | 0

2 Sept. 2015, 10:51 alerion Posts: 5750 Location: Львов	2 Sept. 2015, 10:51 alerion Posts: 5750 Location: Львов Можете тут в исходниках поссмотреть правильно или нет написали https://pypi.python.org/pypi/django-picklefield. Сам поле давно не писал, сразу не скажу. Фиксю баги по трейсбеку.
	Answer \| 0

2 Sept. 2015, 11:04 Michael Posts: 483	2 Sept. 2015, 11:04 Michael Posts: 483 alerion, спасибо, похоже это то что нужно. Надо разбираться :)
	Answer \| 0