Django Apache2 Потребление памяти | Forum

6 Nov. 2013, 16:19

Posts: 23

6 Nov. 2013, 16:19

Posts: 23

Доброго дня! написал небольшой парсер яндекс xml, особо его не оптимизировал, собираю xml отправляю в яндекс, разбираю ответ, вывожу позицию домена

принимаю до 50 запросов списком в джанго, в 50 потоков отправляю это все дело в яндекс и разбираю, все результаты сохраняю в массив, его вывожу

проблема в том, что апач жрет при этом около 400 метров оперативки и не освобождает ее. Так же, он по мере работы скрипта, перестает потреблять оперативку. Такое чувство, что он создает процесс связанный с конкретным модулем, при первом запуске набивает туда данных выполнения, а в дальнейшем просто эти данные перезаписывает.

Есть ли какой-то способ умерить пыл апача?

Answer | 0

6 Nov. 2013, 17:58

alerion

Posts: 5750
Location: Львов

6 Nov. 2013, 17:58

alerion

Posts: 5750
Location: Львов

То есть вы сразу грешите на Apache, а не на свой скрипт? :) Может вы глобальные переменные используете, или криво поток завершаете. Советую для начала выяснить реальную причину проблемы. Позапускайте без апача и померяйте память.

Фиксю баги по трейсбеку.

Answer | 0

6 Nov. 2013, 18:33

zverushko123

Posts: 23

6 Nov. 2013, 18:33

zverushko123

Posts: 23

ну да=) глобальный список для результатов, и потоки с переопределенным run(), что бы в этот список добавлять результаты. потоки не завершаю вообще, только .start() и .join() по идеи они же сами завершаются и освобождают память?

без потоков мой скрипт при выполнении потребляет метров 30 памяти

Answer | 0

6 Nov. 2013, 18:34 zverushko123 Posts: 23	6 Nov. 2013, 18:34 zverushko123 Posts: 23 пока использую swap на гиг в файле, спасает, почти не используется...
	Answer \| 0

6 Nov. 2013, 21:09 alerion Posts: 5750 Location: Львов	6 Nov. 2013, 21:09 alerion Posts: 5750 Location: Львов А если не через Apache так же течет память? Кстати вы про GIL знаете? 50 потоков не для всех задач хорошо. Фиксю баги по трейсбеку.
	Answer \| 0

6 Nov. 2013, 23:01

zverushko123

Posts: 23

6 Nov. 2013, 23:01

zverushko123

Posts: 23

До написания этого скрипта, ничего не знал о потоках=) Использовал threading, работает, но позже перепишу с использование Pool в multiprocessing. Так, в теории, будет лучше всего.

Но если не брать мой скрипт и его ошибки в расчет, как много жрет памяти апач с джанго? будет ли смысл переходить на nginx или какой то другой веб сервер?

Answer | 0

6 Nov. 2013, 23:43

alerion

Posts: 5750
Location: Львов

6 Nov. 2013, 23:43

alerion

Posts: 5750
Location: Львов

Apache и Django до 250 мегабайт, все зависит сколько процессов и потоков запускаете. Но у вас же не все так просто. Если вы там по 10 мегайт XML парсите в 50 потоков, то может норм так отожрать. Пробуйте обнулять все переменные с результатами парсинга.

Советую почитать блог этого замечательного челвека http://asvetlov.blogspot.com/ Там в начале много про мультипоточность. Я бы сказал что просто мастхев прочитать, если вы такое пишете.

Фиксю баги по трейсбеку.

Answer | 0

7 Nov. 2013, 10:09

zverushko123

Posts: 23

7 Nov. 2013, 10:09

zverushko123

Posts: 23

спасибо. его и читал пока писал=) возможно я не совсем понимаю как работает wsgi... Во-первых, как обнулять? удалить в скрипте все не нужные переменные руками? Во-вторых, разве после окончания работы и возвращения результата процесс не завершается?

Answer | 0

7 Nov. 2013, 11:15

alerion

Posts: 5750
Location: Львов

7 Nov. 2013, 11:15

alerion

Posts: 5750
Location: Львов

Ну пока вообще нифига не понятно, как вы запускаете. Если это все во вьюхе, то процес не завершается, Apache не стартует каждый раз все заново. Ну треды должны умирать.

Фиксю баги по трейсбеку.

Answer | 0

7 Nov. 2013, 11:43

zverushko123

Posts: 23

7 Nov. 2013, 11:43

zverushko123

Posts: 23

Вот представление, ys это функция которая отправляет и разбирает данные из яндекса, возвращает кортеж из 3х элементов

def ya_search(request):
results=[] #создаю список результатов
if request.method=='POST': # если данные переданы
    domain=request.POST['domain'].strip()
    region=request.POST['region'].strip()
    query_list=[x.strip() for x in request.POST['query_list'].split('\r\n') if x!='']
    if len(query_list)>100: # ограничение в 100 запросов
        query_list=query_list[:100]
    def ya_parse(query_list,domain,region='213'):  #функция для потоков
        results=[]
        class SearchThread(threading.Thread): # переопределил run
            def __init__(self,query,domain,region):
                threading.Thread.__init__(self)
                self.query = query
                self.domain = domain
                self.region = region
            def run(self):
                results.append(ys(self.query,self.domain,self.region))
        threads=[]
        for query in query_list: #запускаю столько потоков сколько запросов
            t=SearchThread(query,domain,region)
            threads.append(t)
            t.start()

        for t in threads: # жду выполнения всех потоков
            t.join()

        return results

    results=ya_parse(query_list,domain,region)

return render_to_response('yasearch.html',{'results':results})

Answer | 0

7 Nov. 2013, 11:56

alerion

Posts: 5750
Location: Львов

7 Nov. 2013, 11:56

alerion

Posts: 5750
Location: Львов

Ну треды глупо так запускать. Если вы штука 50 реально запустите, они могут друг друга блочить и запрос просто отвалится по таймауту. А если там будет 100 потоков? Лучше пул потоков использовать, там есть ф-ции. И вообще такое во вьюхе как-то не очень прикольно делать. Сколько это все дело работает? Дебаг отключен? Можете этим память проверять http://djbook.ru/forum/topic/200/

Фиксю баги по трейсбеку.

Answer | 0

7 Nov. 2013, 12:05

zverushko123

Posts: 23

7 Nov. 2013, 12:05

zverushko123

Posts: 23

да, я согласен, что пул лучше, но про него на момент написания скрипта не знал

50 запросов работает секунд 7, притом что без потоков вообще около минуты, так что это в любом случае стоило того...=)

500 запросов собирал тоже, минуты за 4=) в 500 потоков

отвалов не замечал

дебаг отключен

Answer | 0

7 Nov. 2013, 12:12 alerion Posts: 5750 Location: Львов	7 Nov. 2013, 12:12 alerion Posts: 5750 Location: Львов Вы сыметируйте глюк в коннекте, чтобы каждый десятый отвалился при коннекте к яндексу, или просто пинг был в 1 секунду. На свой машине обычно у всех все работает. Фиксю баги по трейсбеку.
	Answer \| 0

7 Nov. 2013, 12:19

zverushko123

Posts: 23

7 Nov. 2013, 12:19

zverushko123

Posts: 23

на этот случай в функции ys предусмотрен таймаут и отлов исключения данный скрипт висит уже несколько дней в открытом доступе, его юзает человек 40

пока были жалобы только от переполнения памяти, браузер возвращает "данные не получены"

Если переписать через пул, то потоки будут корректно завершаться?

Answer | 0

7 Nov. 2013, 12:59

alerion

Posts: 5750
Location: Львов

7 Nov. 2013, 12:59

alerion

Posts: 5750
Location: Львов

Если переписать через пул, то потоки будут корректно завершаться?

не будет 50 штук. Так вы про GIL читали или нет?

пока были жалобы только от переполнения памяти, браузер возвращает "данные не получены"

Вы уверенны что это из-за памяти, а не потому что апач не успел обработать запрос, пока другие ждали?

В общем я бы вынес запуск этой штуки отдельно. Куда-то в крон, celery и отдельный процесс, т.к. уже гемор понять в чем проблема, и Apache это или ваш скрипт. А так будет проще контролировать процесс, память и прочее.

Фиксю баги по трейсбеку.

Answer | 0

7 Nov. 2013, 13:02

alerion

Posts: 5750
Location: Львов

7 Nov. 2013, 13:02

alerion

Posts: 5750
Location: Львов

Реальная история. Apache+wsgi был запущет с опцией threads=50. Аналогично иногда вываливалась ошибка, просто интерпретатор не добирался до некоторых потоков и Apache рубил запрос по таймауту. Уменьшили на порядок число и все стало ок.

Фиксю баги по трейсбеку.

Answer | 0

7 Nov. 2013, 13:32

zverushko123

Posts: 23

7 Nov. 2013, 13:32

zverushko123

Posts: 23

данные не получены это из-за переполнения памяти и килл апача в следствии этого, это я проверил, поставил swap и больше такое не появляется

насчет GIL, это же всего лишь блокировка? она тормозит выполнение, но как она влияет на память?

и еще, юзаю python 3.2 и джанго 1.5

В любом случае спасибо, для теста перепишу скрипт с Pool и использую nginx вместо апача посмотрю что случится

Answer | 0

7 Nov. 2013, 13:37

alerion

Posts: 5750
Location: Львов

7 Nov. 2013, 13:37

alerion

Posts: 5750
Location: Львов

насчет GIL, это же всего лишь блокировка? она тормозит выполнение, но как она влияет на память?

То есть вы хотите решить проблему с память и пофиг на остальное? Если у вас не будут так быстро завершаться потоки, то у вас будет висеть 50+ потоков и GIL будет по очереди их проверять. Ну при IO операциях оно вроде еще норм, но вдруг кто добавит туда больше логики?

Фиксю баги по трейсбеку.

Answer | 0

7 Nov. 2013, 15:37

wdstrm

Posts: 834

7 Nov. 2013, 15:37

wdstrm

Posts: 834

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME   WCPU COMMAND
47927 www           7  20    0   385M 60172K lockf   2   0:01  3.96% httpd
47926 www           7  20    0   381M 59936K kqread  2   0:01  0.00% httpd
48293 www           1  23    0   260M 23676K accept  0   0:00  0.00% httpd
47931 www           1  20    0   260M 23732K accept  1   0:00  0.00% httpd
47928 www           1  45    0   260M 23676K accept  0   0:00  0.00% httpd
47932 www           1  46    0   260M 23676K accept  1   0:00  0.00% httpd
47930 www           1  45    0   260M 23676K accept  1   0:00  0.00% httpd
47929 www           1  46    0   260M 23676K accept  0   0:00  0.00% httpd

у меня как-то так :)

71% добра

Answer | 0