Есть ли смысл использовать серилизацию объектов для сохранения в БД? | Форум

31 Авг. 2015, 11:30

Отклики: 472

31 Авг. 2015, 11:30

Отклики: 472

Просто не знаю как на практике... Как обычно делают: серилизовывают объект и сохраняют в charfield или в textfield, или сохраняют его значениями в ячейках?

Как пример, вот колода карт. Вроде, не очень удобно делать 40 полей под каждую карту.

Или тот случай, когда это словарь и ключи словаря заранее неизвестны.

Как определить когда надо использовать серилизацию, а когда лучше сделать стандартно?

Ответ | 0

31 Авг. 2015, 12:26 RaD Отклики: 2710 Местонахождение: Снегири, МО	31 Авг. 2015, 12:26 RaD Отклики: 2710 Местонахождение: Снегири, МО Делайте как проще. Если ничего не помогает, прочтите документацию, наконец!
	Ответ \| 0

31 Авг. 2015, 14:17

alerion

Отклики: 5748
Местонахождение: Львов

31 Авг. 2015, 14:17

alerion

Отклики: 5748
Местонахождение: Львов

Смотря что с данными делать. Если просто хранить, то можно в одном поле. Если же нужен поиск, индексы разные по полю, тогда в отдельное. В PostgreSQL есть JSON поле, и хеш поле.

Фиксю баги по трейсбеку.

Ответ | 0

31 Авг. 2015, 14:36

Michael

Отклики: 472

31 Авг. 2015, 14:36

Michael

Отклики: 472

Смотря что с данными делать. Если просто хранить, то можно в одном поле. Если же нужен поиск, индексы разные по полю, тогда в отдельное.

Вот точно, дело ведь в необходимости выборки из БД, по каким-то критериям. В голову не пришло почему-то. Спасибо :)

Ответ | 0

31 Авг. 2015, 14:42 Michael Отклики: 472	31 Авг. 2015, 14:42 Michael Отклики: 472 А у джанговских моделей есть инструменты для серилизации? По идее-то это должно быть востребовано. Или надо самому классы дополнять?
	Ответ \| 0

31 Авг. 2015, 14:50

alerion

Отклики: 5748
Местонахождение: Львов

31 Авг. 2015, 14:50

alerion

Отклики: 5748
Местонахождение: Львов

А у джанговских моделей есть инструменты для серилизации? По идее-то это должно быть востребовано. Или надо самому классы дополнять?

Для постгреса есть хеш-поле, а так есть сторонние приложения.

Фиксю баги по трейсбеку.

Ответ | 0

31 Авг. 2015, 14:57 Michael Отклики: 472	31 Авг. 2015, 14:57 Michael Отклики: 472 Что за хеш-поле? Можно ссылку? Через поиск не находит.
	Ответ \| 0

31 Авг. 2015, 15:43 devel787@gmail.com Отклики: 218	31 Авг. 2015, 15:43 devel787@gmail.com Отклики: 218 А у джанговских моделей есть инструменты для серилизации? По идее-то это должно быть востребовано. Или надо самому классы дополнять? http://djbook.ru/rel1.8/topics/serialization.html
	Ответ \| 0

31 Авг. 2015, 16:16 alerion Отклики: 5748 Местонахождение: Львов	31 Авг. 2015, 16:16 alerion Отклики: 5748 Местонахождение: Львов Что за хеш-поле? Можно ссылку? Через поиск не находит. https://docs.djangoproject.com/en/1.8/ref/contrib/postgres/fields/#hstorefield Фиксю баги по трейсбеку.
	Ответ \| 0

31 Авг. 2015, 17:05

Michael

Отклики: 472

31 Авг. 2015, 17:05

Michael

Отклики: 472

https://docs.djangoproject.com/en/1.8/ref/contrib/postgres/fields/#hstorefield

Ясно, но она сохраняет только словари, как я понял. Тут пожалуй нужен более универсальный инструмент.

Пытаюсь переопределить методы. С сохранением всё просто, но вот как воспроизвести объект при загрузке из базы, я не могу сообразить. Через __init__? Но ведь при создании объекта это не нужно, только при выборке из БД. Как это реализовать правильно?

class Deck(models.Model):
    # тут тоже какие-то поля
    deck = models.TextField()  # поле которое должно хранить колоду

    # переопределяем метод сохранения в базе
    def save(self, force_insert=False, force_update=False,
             using=None, update_fields=None):

        self.deck = pickle.dumps(self.deck)  # Переводим в бинарный код
        models.Model.save(self)  # Сохраняем

Ответ | 0

31 Авг. 2015, 17:48

alerion

Отклики: 5748
Местонахождение: Львов

31 Авг. 2015, 17:48

alerion

Отклики: 5748
Местонахождение: Львов

В документации есть раздел о создании своего поля. И я писал выше, что есть приложения с готовым JSONField, в PostgreSQL по нему даже запросы можно делать.

Фиксю баги по трейсбеку.

Ответ | 0

31 Авг. 2015, 18:10 Michael Отклики: 472	31 Авг. 2015, 18:10 Michael Отклики: 472 alerion , я читал, просто пока не знаю, что такое JSON, и тем более что это за приложения. Привык уже мимо ушей пропускать вещи, которые не понимаю. Про создание своих полей сейчас почитаю.
	Ответ \| 0

31 Авг. 2015, 18:23 Acman Отклики: 856 Местонахождение: Мукачеве	31 Авг. 2015, 18:23 Acman Отклики: 856 Местонахождение: Мукачеве я пользуюсь https://github.com/skorokithakis/django-annoying http://acman.ru/ - блог Если разбогатеете - не забудьте поделиться.
	Ответ \| 0

31 Авг. 2015, 20:03

Michael

Отклики: 472

31 Авг. 2015, 20:03

Michael

Отклики: 472

alerion , Acman , ребята, я посмотрел, что всё это как-то очень сложно, либо я что-то не понимаю. Написал так:

class HandField:
    """Питоновский класс, для демонстрации."""
    bla = 'blabla'

    def __init__(self):
        self.bla = HandField.bla


class Deck(models.Model):
"""Модель для БД."""

    # тут тоже какие-то поля
    hand = models.BinaryField(serialize=True)  # поле которое должно хранить колоду

    def __init__(self, *args, **kwargs):
        models.Model.__init__(self, *args, **kwargs)  # переопределяем init
        if type(self.hand) == bytes:  # если поле было загружено, то расконсервируем.
            self.hand = pickle.loads(self.hand)

    # переопределяем метод сохранения в базе
    def save(self, force_insert=False, force_update=False,
             using=None, update_fields=None):

        self.hand = pickle.dumps(self.hand)  # Переводим в бинарный код
        models.Model.save(self)  # Сохраняем
        self.hand = pickle.loads(self.hand)  # Немного неоптимально, но зато можно пользоваться экземпляром дальше.

Вот результат работы:

>>> d = HandField()
>>> d = Deck(hand=d)
>>> d.save()
>>> p = Deck.objects.get(id=3)
>>> p.hand
<appname.models.HandField object at 0x03BC8E70>
>>> p.hand.bla
'blabla'

Вроде это проще намного. Может стоит использовать?

Обновлено 31 Авг. 2015, 20:14 Michael.

Ответ | 0

31 Авг. 2015, 20:43

alerion

Отклики: 5748
Местонахождение: Львов

31 Авг. 2015, 20:43

alerion

Отклики: 5748
Местонахождение: Львов

Ну проще только в том, что не нужно ни в чем разбираться. А так это костыль. Как с такой БД работать потом? Как через SQL с такими данными работать? Сломается что-то в проекте, вы даже не распакуете эти данные.

Если разобраться, то будет проще т.к. никакого кода писать не нужно. Поле автоматом преобразует данные в JSON и обратно. Про JSON вам 100% нужно знать, как и про XML и прочие форматы данных.

Обновлено 31 Авг. 2015, 20:44 alerion.

Фиксю баги по трейсбеку.

Ответ | 0

2 Сен. 2015, 9:59

Michael

Отклики: 472

2 Сен. 2015, 9:59

Michael

Отклики: 472

Как через SQL с такими данными работать?

Что значит как с ними через SQL работать?

Сломается что-то в проекте, вы даже не распакуете эти данные.

Питон-то не сломается :)

Вообщем, я так понял, что для моих целей нужно некое универсальное средство, способное превращать любой объект питон во что-то, что можно сохранить в БД. Решил, всё-таки использовать Pickle - показалось идеальным вариантом.

Даже после целого дня изучения доков, ковыряний и разбираний кода, почти ничего не понимаю - нет общей картины в голове. Но наскрёб вот такое решение:

class PythonObjectField(models.BinaryField):

    def get_prep_value(self, value):  # сереализация перед сохранением
        value = pickle.dumps(value)
        return(value)

    # десериализация при выборке из БД
    def from_db_value(self, value, expression, connection, context):
        value = pickle.loads(value)
        return value

Так нормально, в дальнейшем проблем не будет? Меня не покидает ощущение, что он где-то ещё раз в бинарник перекидывает. Что-то нужно ещё сделать? Насколько я на верном пути?

Обновлено 2 Сен. 2015, 10:02 Michael.

Ответ | 0

2 Сен. 2015, 10:05

alerion

Отклики: 5748
Местонахождение: Львов

2 Сен. 2015, 10:05

alerion

Отклики: 5748
Местонахождение: Львов

Что значит как с ними через SQL работать?

Дают вам дамп такой БД и просят быстренько получить какие-то данные, включая данные из упакованного объекта. Как вы это сделаете без pickle.loads?

Питон-то не сломается :)

Ну вам данные нужны, а не Python. В бинарном виде не весь объект хранится, а состояние. Чтобы распаковка сработала, должны быть доступны все классы, которые используются в объекте. Вроде еще и версия аналоичная, если какие-то атрибуты добавят и их не будет, просто вывалит ошибку инициализации объекта.

Так нормально, в дальнейшем проблем не будет? Меня не покидает ощущение, что он где-то ещё раз в бинарник перекидывает. Что-то нужно ещё сделать? Насколько я на верном пути?

Выше же написал, что это говно-костыль. Для этого есть специальные поля и общепринятые форматы данных, например JSON, или XML. Есть готовые JSON поле для моделей.

Обновлено 2 Сен. 2015, 10:07 alerion.

Фиксю баги по трейсбеку.

Ответ | 0

2 Сен. 2015, 10:34

Michael

Отклики: 472

2 Сен. 2015, 10:34

Michael

Отклики: 472

alerion , ну нельзя все пальцы в рот засунуть. Доберусь и до JSON, когда-то. Мне нужно сейчас средство какое-то, использую из того, что знаю.

Подскажи, пожалуйста по самой реализации, насколько я правильно подошёл, с точки зрения создания собственных полей?

Ответ | 0

2 Сен. 2015, 10:44

devel787@gmail.com

Отклики: 218

2 Сен. 2015, 10:44

devel787@gmail.com

Отклики: 218

Подскажи, пожалуйста по самой реализации, насколько я правильно подошёл, с точки зрения создания собственных полей?

Вам уже написали

Выше же написал, что это говно-костыль. Для этого есть специальные поля и общепринятые форматы данных, например JSON, или XML. Есть готовые JSON поле для моделей.

за 30 минут ничего в мире разработки не изменилось.

Ответ | 0

2 Сен. 2015, 10:51 alerion Отклики: 5748 Местонахождение: Львов	2 Сен. 2015, 10:51 alerion Отклики: 5748 Местонахождение: Львов Можете тут в исходниках поссмотреть правильно или нет написали https://pypi.python.org/pypi/django-picklefield. Сам поле давно не писал, сразу не скажу. Фиксю баги по трейсбеку.
	Ответ \| 0

2 Сен. 2015, 11:04 Michael Отклики: 472	2 Сен. 2015, 11:04 Michael Отклики: 472 alerion, спасибо, похоже это то что нужно. Надо разбираться :)
	Ответ \| 0