обработка большого количества файлов | Forum

9 April 2014, 19:23

bloodlettinger

Posts: 420

9 April 2014, 19:23

bloodlettinger

Posts: 420

Есть у меня сктипт - делает превью для картинок. Картиной на данный момент 1900

в процессе выполнения скрипта вылеает

OError: [Errno 24] Too many open files:

Ошибка эта не питоновская, у процесса в линуксе есть ограничение на количество открытых файлов. Изменяется лимит командой ulimit -n 1024, текущие лимиты можно посмотреть ulimit -a. При попытке поменять лимит на 32000, дабы с запасом ловлю

 bash: ulimit: open files: не могу изменить лимит: Операция не позволена

Из под рута команда выполняется, но применяется только для сессии рута, снятие этих лимитов довольно геморный и путанный процесс.

Гугление инфы по закрытию Image.open(img_file) ни к чему не привело, в доке написанно что PIL умный и сам должен файлы закрывать.

Куда копать - незнаю, запускать скрипт в нескольких процессах - и сложно, не красиво. Куда копать?

Не привыкай за других выполнять свою работу.

Answer | 0

9 April 2014, 19:31 bloodlettinger Posts: 420	9 April 2014, 19:31 bloodlettinger Posts: 420 файлы открытые pil ом точно не закрываются ls -l /proc/ид_процесса/fd в процессе выполнения выдает кучу открытых файлов Не привыкай за других выполнять свою работу.
	Answer \| 0

9 April 2014, 19:43

lampslave

Posts: 517

9 April 2014, 19:43

lampslave

Posts: 517

Я понятия не имею, как это вообще работает, но есть мысль :)

А вы как PIL используете - передаёте ему список файлов для изменения или каждый раз создаёте новый объект? Если мыслить по аналогии с ORM, то у меня такое чувство, что он пытается сделать что-то типа Image.objects.all() вместо Image.objects.get(id=1).

Answer | 0

9 April 2014, 20:01

bloodlettinger

Posts: 420

9 April 2014, 20:01

bloodlettinger

Posts: 420

def make_priviews_img_models():
obj_img_models = ImageModels.objects.all()
...
for obj_img_model in obj_img_models:
    img_origin = Image.open(obj_img_model.image)
    ...
    img_preview_file = default_storage.open(preview_path, 'w')
    img_origin.save(img_preview_file, 'JPEG')
    img_preview_file.close()

Не привыкай за других выполнять свою работу.

Answer | 0

9 April 2014, 20:36

bloodlettinger

Posts: 420

9 April 2014, 20:36

bloodlettinger

Posts: 420

Сделал ход конем, открытие и обработку файла вынес в функцию и стал запускать ее отдельным процессом.

import multiprocessing
def make_priviews_img_models():
    obj_img_models = ImageModels.objects.all()
    for obj_img_model in obj_img_models:
        p = multiprocessing.Process(target=overlay_watermark,  args=(obj_img_model, prev_params))
        p.start()
        p.join()

def overlay_watermark(obj_img_model, prev_params):
    img_origin = Image.open(obj_img_model.image)
    ...

Так создается по 1му процессу и ожидается время его завершения, с p.join(1) по процессу в секунду создается. Если задача трудоемкая - можете забить под завязку память и цп. С лимитом количества процессов не разобрался, да и не нужно оно мне.

Не привыкай за других выполнять свою работу.

Answer | 0

9 April 2014, 21:04 lampslave Posts: 517	9 April 2014, 21:04 lampslave Posts: 517 Интересно, а если в конце цикла делать `del img_origin` или `img_origin = None` оно тоже не будет работать? Updated 9 April 2014, 21:06 by lampslave.
	Answer \| 0

9 April 2014, 21:15 bloodlettinger Posts: 420	9 April 2014, 21:15 bloodlettinger Posts: 420 `del img_origin` - пробовал, не помогло, img_origin = None не знаю. Не привыкай за других выполнять свою работу.
	Answer \| 0