Работа Django с данными в оперативной памяти . | Forum

11 May 2011, 14:26

uroboros

Posts: 4

11 May 2011, 14:26

uroboros

Posts: 4

Здравствуйте уважаемые.

Для целей диплома . Хочу создать хранилище данных (различные меняющиеся каждые 3-15 секунд параметры ) на Джанго . Так как данные текущего мгновения требуются большому количеству клиентов хочу расположить их в оперативной памяти. В виде например списка "id-параметра", "Значение","Датавремя изменения" для каждого параметра в списке должна быть одна строка. Данные должны поступать и отправляться по http протоколу и время от времени сливаться из списка в mysql базу. Для обработки запросов собираюсь воспользоваться компонентом Препроцессором запроса. Как постоянно хранить в памяти этот список актуальных данных и обращаться к нему из Django ? Также буду рад советам и предложениям . Спасибо.

Answer | 0

11 May 2011, 14:46

alerion

Posts: 5750
Location: Львов

11 May 2011, 14:46

alerion

Posts: 5750
Location: Львов

большому количеству клиентов

и память, как-то не совсем сочетаются. Как вы собираетесь контролировать все это? Если боитесь положить БД - кешрование через memcache, денормализация БД. В общем не нужно оптимизировать таким способом. Как будут у вас запросы, которые ложат БД, вот тогда и можно думать что с ними делать.

Updated 11 May 2011, 14:47 by alerion.

Фиксю баги по трейсбеку.

Answer | 0

11 May 2011, 14:53

alerion

Posts: 5750
Location: Львов

11 May 2011, 14:53

alerion

Posts: 5750
Location: Львов

Вообще для вашей задачи подходит Redis. Он поддерживает простые типа данных типа список, хеш. Выигрывает у MySQL в скорости чтении на порядок(не тестил, так пишут). Данные синхронизировать через команду по крону. На одном проекте в Redis храниться каунтеры, статистика и в кроне в MySQL сливается, что бы было удобно работать при отображении в интерфейсе.

Фиксю баги по трейсбеку.

Answer | 0

11 May 2011, 15:08

uroboros

Posts: 4

11 May 2011, 15:08

uroboros

Posts: 4

Срез мгновенных значений востребован несколькими клиентами причем они постоянно раз в 5-10 секунд обращаются за обновленными значениями . Данные поступают от сборщиков данных раз в 2-5 секунд. Я не боюсь положить сервер в тестовом режиме данных и клиентов немного , я хочу оптимизировать алгоритм работы своего приложения . Поэтому хотелось бы держать эту структуру в оперативной памяти и раздавать с минимальными затратами ресурсов , а как я не знаю .

Answer | 0

11 May 2011, 16:12

alerion

Posts: 5750
Location: Львов

11 May 2011, 16:12

alerion

Posts: 5750
Location: Львов

Несколько это сколько? 5-10 - это мало. "Преждевременная оптимизация - это зло". Пишите приложение и не парьтесь с алгоритмами. Протестируете создав предполагаемую нагрузку, если упадет - значит можно начинать оптимизировать. Redis вам подойдет - все держит в памяти периодически записывая на диск.

Фиксю баги по трейсбеку.

Answer | 0

11 May 2011, 16:37 alerion Posts: 5750 Location: Львов	11 May 2011, 16:37 alerion Posts: 5750 Location: Львов Вообще у вас задача решить реальную задачу или прикрутить алгоритм к проекту, что бы руководитель диплома был доволен? :) Фиксю баги по трейсбеку.
	Answer \| 0

11 May 2011, 17:58

uroboros

Posts: 4

11 May 2011, 17:58

uroboros

Posts: 4

Хотелось бы и то и другое конечно. Есть подобный реализованный работающий проект на Зоп . Проект не сопровождается разработчиками изза отсутствия финансирования и работает не очень хорошо есть желание его поправить. И есть товарищ который избрал такую вещь темой своего диплома . Проект redis заинтересовал однозначно, будем пробовать . Спасибо за ответы.

Answer | 0

11 May 2011, 18:06

alerion

Posts: 5750
Location: Львов

11 May 2011, 18:06

alerion

Posts: 5750
Location: Львов

Ну с Redis вы не реализуете алгоритмы работы с памятью или еще что-то. Это будет элементарная запись в БД. Если вам нужно обязательно в память, то просто к шлобальную переменную складываете и все. Если же вам нужно поизвращаеться с оптимизацией хранения, типа с байтами и битами поработать, то можно попробовать все пихать в IOStream, но тогда нафиг питон - такое нужно писать на С.

Фиксю баги по трейсбеку.

Answer | 0