Время обработки запроса | Форум

22 Май 2017, 11:23

Ski

Отклики: 380
Местонахождение: skiby@tut.by

22 Май 2017, 11:23

Ski

Отклики: 380
Местонахождение: skiby@tut.by

Есть база данных на постгри с достаточно большим объемом данных. Хочу узнать мнение, каким должно быть быстродействие.

На тестовой среде: 1 CPU 2.6ГГц, 1 гб оперативы, постгри 9,5 в той же песочнице. Обработка 150000 строк. Получает в запрос поле, период. Отдает по ресту в json набор значение поля как ключ, сумму с точкой и количество для каждого значения.

Обработка на данный момент занимает 9 секунд примерно. Это непозволительно долго или для данного конфига более или менее нормально?

Ответ | 0

22 Май 2017, 11:31 gruy Отклики: 475 Местонахождение: Феодосия	22 Май 2017, 11:31 gruy Отклики: 475 Местонахождение: Феодосия Да.
	Ответ \| 0

23 Май 2017, 10:17

tim

Отклики: 4

23 Май 2017, 10:17

tim

Отклики: 4

9 секунд выглядит как "много". 9 секунд это от какого момента до какого? От события клик на клиенте до конца рендера документа? Разделите хотя бы на 2 части: 1. Собственно бд. SQL запрос-результат. 150к записей это немного, но у вас там агрегаты типа "сумма" и "кол-во". 2. накладные расходы на request-response и рендер.

При таком разделении проще понять, что оцениваем - если на первую часть (бд) идет 8.5с и остальное укладывается в 500мс, хоть ясно будет, где рыть..

Ответ | 1

25 Май 2017, 20:31 Ski Отклики: 380 Местонахождение: skiby@tut.by	25 Май 2017, 20:31 Ski Отклики: 380 Местонахождение: skiby@tut.by Это время работы чисто БД. 5 миллионов строк всего, 150000 выбирает и annotate sum по измненеию value.
	Ответ \| 0

26 Май 2017, 9:37

alexscrat

Отклики: 448
Местонахождение: Poltava

26 Май 2017, 9:37

alexscrat

Отклики: 448
Местонахождение: Poltava

Это время работы чисто БД.

5 миллионов строк всего, 150000 выбирает и annotate sum по измненеию value.

я бы сказал, что долго, можете, пожалуйста, запрос который уже sql и результат его explain plan скинуть?

Я думаю, если вы глянете результат, то и сами поймете быстро оно или медленно

Обновлено 26 Май 2017, 9:40 alexscrat.

Ответ | 0

26 Май 2017, 11:39

Ski

Отклики: 380
Местонахождение: skiby@tut.by

26 Май 2017, 11:39

Ski

Отклики: 380
Местонахождение: skiby@tut.by

Запрос ORM формирует такой:

SELECT "raw_storage_midnormtrans"."UIDAzs", SUM("raw_storage_midnormtrans"."ServiceVolume") AS "ServiceVolume_sum", COUNT("raw_storage_midnormtrans"."id") AS "t_count", SUM("raw_storage_midnormtrans"."amount") AS "t_amount" FROM "raw_storage_midnormtrans" WHERE ("raw_storage_midnormtrans"."ServiceNT" IN (SELECT U0."s_code" AS Col1 FROM "raw_storage_servicetype" U0 WHERE U0."s_type" IN (1, 10, 172, 20, 122)) AND "raw_storage_midnormtrans"."transaction_datetime" <= '2017-03-31T00:00:00+03:00'::timestamptz AND "raw_storage_midnormtrans"."transaction_datetime" > '2017-03-01T00:00:00+03:00'::timestamptz) GROUP BY "raw_storage_midnormtrans"."UIDAzs" ORDER BY "raw_storage_midnormtrans"."UIDAzs" ASC

Всего в базе 5 млн. строк. В этот период попадают 219735 записей.

Запрос отдает по этой выборке результаты за 7.604 секунд

После преобразования в json последующий размер ответа примерно 500 кб

Обновлено 26 Май 2017, 11:43 Ski.

Ответ | 0

26 Май 2017, 12:39

alexscrat

Отклики: 448
Местонахождение: Poltava

26 Май 2017, 12:39

alexscrat

Отклики: 448
Местонахождение: Poltava

я имел ввиду сделайте у себя

EXPLAIN SELECT "raw_storage_midnormtrans"."UIDAzs", SUM("raw_storage_midnormtrans"."ServiceVolume") AS "ServiceVolume_sum", COUNT("raw_storage_midnormtrans"."id") AS "t_count", SUM("raw_storage_midnormtrans"."amount") AS "t_amount" FROM "raw_storage_midnormtrans" WHERE ("raw_storage_midnormtrans"."ServiceNT" IN (SELECT U0."s_code" AS Col1 FROM "raw_storage_servicetype" U0 WHERE U0."s_type" IN (1, 10, 172, 20, 122)) AND "raw_storage_midnormtrans"."transaction_datetime" <= '2017-03-31T00:00:00+03:00'::timestamptz AND "raw_storage_midnormtrans"."transaction_datetime" > '2017-03-01T00:00:00+03:00'::timestamptz) GROUP BY "raw_storage_midnormtrans"."UIDAzs" ORDER BY "raw_storage_midnormtrans"."UIDAzs" ASC

и да 7 секунда - на каких-то 200к записей это много

там вам выплюнет план запроса, как он выполнился. Кстати, рекомендую с базами разобраться - офигенная штука. Пока толпы хомячков будут бегать за реактами, можно вырастить в себе труЪ инженера

Пайчарм умеет делать красиво визуализировать план запроса

enter image description here

обратите внимание на первую колонку, Там FullScan, IndexScan и тд, это типа важно и в третьей колонке - количество затронутых на этом этапе записей

Ответ | 0

29 Май 2017, 17:51

Ski

Отклики: 380
Местонахождение: skiby@tut.by

29 Май 2017, 17:51

Ski

Отклики: 380
Местонахождение: skiby@tut.by

Вот так отдало:

Sort  (cost=248325.29..248333.28 rows=3195 width=78)
  Sort Key: raw_storage_midnormtrans."UIDAzs"
  ->  HashAggregate  (cost=248091.39..248139.31 rows=3195 width=78)
        Group Key: raw_storage_midnormtrans."UIDAzs"
        ->  Hash Join  (cost=13.77..244905.54 rows=318585 width=21)
              Hash Cond: (raw_storage_midnormtrans."ServiceNT" = u0.s_code)
              ->  Seq Scan on raw_storage_midnormtrans  (cost=0.00..241964.86 rows=546146 width=25)
                    Filter: ((transaction_datetime <= '2017-03-30 21:00:00+00'::timestamp with time zone) AND (transaction_datetime > '2017-02-28 21:00:00+00'::timestamp with time zone))
              ->  Hash  (cost=13.24..13.24 rows=42 width=4)
                    ->  Seq Scan on raw_storage_servicetype u0  (cost=0.00..13.24 rows=42 width=4)
                          Filter: (s_type = ANY ('{1,10,172,20,122}'::integer[]))

Ответ | 0

30 Май 2017, 10:01

alexscrat

Отклики: 448
Местонахождение: Poltava

30 Май 2017, 10:01

alexscrat

Отклики: 448
Местонахождение: Poltava

https://habrahabr.ru/post/203320/

https://habrahabr.ru/post/203386/

https://habrahabr.ru/post/203484/

Seq Scan - чтение из диска, не используя индексы

Запросы лопатят каждый раз базу полносьтю

Seq Scan on raw_storage_servicetype u0 (cost=0.00..13.24 rows=42 width=4)

42 строки - не страшно

Seq Scan on raw_storage_midnormtrans (cost=0.00..241964.86 rows=546146 width=25)

546146 - уже не айс

там дальше join по условию идет

Hash Join (cost=13.77..244905.54 rows=318585 width=21) Hash Cond: (raw_storage_midnormtrans."ServiceNT" = u0.s_code)

он тоже лопатит 318585 строк

попробуйте поэкспериментировать с индексами вот тут raw_storage_midnormtrans."ServiceNT" может помочь

и может на дату тоже

Ответ | 0

30 Май 2017, 17:16

sergeydurov.info

Отклики: 26

30 Май 2017, 17:16

sergeydurov.info

Отклики: 26

там вам выплюнет план запроса, как он выполнился. Кстати, рекомендую с базами разобраться - офигенная штука. Пока толпы хомячков будут бегать за реактами, можно вырастить в себе труЪ инженера

Что бы стать тру инженером нужно работать в тру команде и на тру проекте, как по мне. Но вот беда, в моем Мухосранске одни галеры з макс зп 1.5-2$ бычей, где главный принцип- хуяк-хуяк и в прод. Планирую валить, но через годик. Прошу совета, что почитать, куда копать, что бы оторвали с руками и ногами?

Ответ | 0