JSONField, values и annotate | Forum | Django на русском

26 April 2017, 16:03

Ski

Posts: 380
Location: skiby@tut.by

26 April 2017, 16:03

Ski

Posts: 380
Location: skiby@tut.by

Обчитался я тут статей, что постгри со своим JSONField'ом теперь рвет любые монги и т.д.

И вот как на зло, нужно сделать одну штуку - получаю пачки транзакций в json'е. Соответственно, решил раз так - похраню их прямо в JSONField , без предварительно обработки и распихивания по полям модели.

Далее эти данные необходимо обработать для аналитики.

Мой любимый инструмент вида:

l_sum = BaseTransaction.objects.all().values('transaction_data__UIDAzs').annotate(l_sum=Sum('transaction_data__ServiceVolume'))

сказал: иди ты далеко. Не умею я join делать для json'а

Отсюда вопрос - ORM джанги таки может мне помочь или у меня выходы только писать чистый запрос или распихивать по полям данные?

Answer | 0

27 April 2017, 11:29

alexscrat

Posts: 448
Location: Poltava

27 April 2017, 11:29

alexscrat

Posts: 448
Location: Poltava

http://stackoverflow.com/questions/34325096/how-to-aggregate-min-max-etc-over-django-jsonfield-data

посмотрите тут

И вообще-то не стоит юзать schemaless просто так, чтобы не распихивать по полям. Часто в похожих на ваш случаях делают схему и распихивают значения по полям, а рядом в этой же таблице кладут raw json или xml, так, на всякий случай

Весь этот новомодный стек - mongo/nodejs и прочая лабуда которую породил воспаленный коллективный разум js-разработчиков стоит обходить до последнего. Там может и есть пару случаев когда реляционная будет хуже nosql, но я бы не стал туда лезть пока бы не стал супер-мега-профи хотя бы по чему-нибудь одному, чтобы можно было принимать адекватные решения ксательно целесообразности выбора между традиционным подходом и schemaless

Updated 27 April 2017, 11:29 by alexscrat.

Answer | 0

27 April 2017, 11:45

Ski

Posts: 380
Location: skiby@tut.by

27 April 2017, 11:45

Ski

Posts: 380
Location: skiby@tut.by

2 потребности прост:

-есть raw-дата, которая может меняться на сторонней системе - отдается полностью в soap/json

-в связи с тем, что все течет, все меняется, хотелось сделать эдакий транслятор REST-ORM, чтобы гибко забирать подсчеты по любым разрезам. А так модели менять придется, новые данные заводить, парсить данные прошлые заново ну и т.д.

рецепт по ссылке у меня почему-то не хочет работать. но тут где-то виню свои руки - не хочет вычислять поле, цуко (((

Updated 27 April 2017, 11:47 by Ski.

Answer | 0

27 April 2017, 14:01

alexscrat

Posts: 448
Location: Poltava

27 April 2017, 14:01

alexscrat

Posts: 448
Location: Poltava

там в комменте первом ссылка сюда - http://hatethatcode.com/writing-queries-for-django-models-with-jsonfield.html

В первую очередь проверить версию постгреса(>=9.4) и то что используется jsonb вместо реализации через текстовое поле

Updated 27 April 2017, 14:11 by alexscrat.

Answer | 0

27 April 2017, 15:36

Ski

Posts: 380
Location: skiby@tut.by

27 April 2017, 15:36

Ski

Posts: 380
Location: skiby@tut.by

Угу... все проверено - 9,5, все дела. Не выходит аленький цветок

и так

SELECT "raw_storage_basetransaction"."id", "raw_storage_basetransaction"."r_v", "raw_storage_basetransaction"."transaction_data", "raw_storage_basetransaction"."entry_datetime", "raw_storage_basetransaction"."owner_id", ((transaction_data->>'SupplierDB')::int) as "v" FROM "raw_storage_basetransaction" LIMIT 21

и так

SELECT "raw_storage_basetransaction"."id", "raw_storage_basetransaction"."r_v", "raw_storage_basetransaction"."transaction_data", "raw_storage_basetransaction"."entry_datetime", "raw_storage_basetransaction"."owner_id", ("transaction_data" ->> 'SupplierDB') AS "v" FROM "raw_storage_basetransaction" LIMIT 21

и так

SELECT "raw_storage_basetransaction"."id", "raw_storage_basetransaction"."r_v", "raw_storage_basetransaction"."transaction_data", "raw_storage_basetransaction"."entry_datetime", "raw_storage_basetransaction"."owner_id", ("raw_storage_basetransaction"."transaction_data" ->> 'SupplierDB') AS "v" FROM "raw_storage_basetransaction" LIMIT 21

все NULL в V

Answer | 0

27 April 2017, 16:00 Ski Posts: 380 Location: skiby@tut.by	27 April 2017, 16:00 Ski Posts: 380 Location: skiby@tut.by Граждане, отбой тревоги. Я ж говорил - намутил что-то сам. И вроде проверил все, и jsonb, и все такое, а в JSONField записал данные тестовые в виде юникодовой строки.
	Answer \| 0

30 April 2017, 17:41

Ski

Posts: 380
Location: skiby@tut.by

30 April 2017, 17:41

Ski

Posts: 380
Location: skiby@tut.by

Ну и раз я тут тему поднял, чтобы не быть ей совсем бесполезной, напишу, что нужно использовать :)

Вот эти 2 штуки:

from django.contrib.postgres.fields.jsonb import KeyTextTransform, KeyTransform

Дальше я делал набор ключей для универсального механизма, чтобы вычислять при запросе колонки для аннотации: all_keys - список полей, нужных для работы.

for key in all_keys:
    annotate_keys[key]=KeyTransform('%s' % key, 'имя jsonb-поля с данными') 
l_sum = Модель_с_транзакциями.objects.annotate(**annotate_keys).values(*all_keys)

ну а дальше по аналогии или средтсвами python обрабатываем или модифицируем запрос.

Answer | 1

30 April 2017, 17:41

Ski

Posts: 380
Location: skiby@tut.by

30 April 2017, 17:41

Ski

Posts: 380
Location: skiby@tut.by

Ну и раз я тут тему поднял, чтобы не быть ей совсем бесполезной, напишу, что нужно использовать :)

Вот эти 2 штуки:

from django.contrib.postgres.fields.jsonb import KeyTextTransform, KeyTransform

for key in all_keys:
    annotate_keys[key]=KeyTransform('%s' % key, 'имя jsonb-поля с данными') 
l_sum = Модель_с_транзакциями.objects.annotate(**annotate_keys).values(*all_keys)

ну а дальше по аналогии или средствами python обрабатываем или модифицируем запрос.

Updated 30 April 2017, 17:42 by Ski.

Answer | 0