Удаление файла FileField по сигналу post_delete | Forum

20 June 2012, 16:52

Posts: 9

20 June 2012, 16:52

Posts: 9

Поиск по форуму не дал мне решения проблемы по удалению файла, соотвествующего FileField из модели. Поэтому я решил открыть данную тему.

Как известно, начиная с django 1.3 при удалении объекта не удаляются файлы, соотвествующие FileField. Это удаление возлагается на программиста. Имеется удовлетворительный способ решения данной проблемы через обработку сиграла post_delete. Пример:

# некий models.py
from django.db import models
from django.db.models.signals import post_delete

class MailFile(models.Model):
    """
    Класс-пример, содержащий поле FileField
    """
    content = models.FileField(upload_to='mail/in')

def delete_MailFile_content(sender, **kwargs):
    """
    Процедура, ловящая сигнал при удалении записи,
    и производящая собственно удаление файла
    """
    mf = kwargs.get("instance")
    mf.content.delete(save=False)

# Теперь зарегистрируем нашу функцию для удаления
post_delete.connect(delete_MailFile_content, MailFile)

Теперь мы можем проверить работоспособность кода:

mf = MailFile.objects.all()[0]
mf.delete()

Файл автоматически удаляется.

Но в админке удаление объекта не приводит к автоматическому удалению файла. Знает ли кто-нибудь причину этого и пути её решения?

Answer | 1

20 June 2012, 17:50 alerion Posts: 5750 Location: Львов	20 June 2012, 17:50 alerion Posts: 5750 Location: Львов Да, добавить actions=None что бы нельзя было удалять объекты пачкой. Или переписывать этот самый action что бы он удалял объекты через метод методели а не QuerySet Фиксю баги по трейсбеку.
	Answer \| 0

21 June 2012, 0:58

Holzer

Posts: 9

21 June 2012, 0:58

Holzer

Posts: 9

alerion Да, добавить actions=None что бы нельзя было удалять объекты пачкой. Или переписывать этот самый action что бы он удалял объекты через метод методели а не QuerySet

Извините, что отнял время, потому что неработоспособность админки оказалась на моей совести. На самом деле я, как оказалось, тестировал локально, а админку смотрел через сервер, где файла не было. Это была исключительно глупость с моей стороны.

Так что мой пример, оказалось, работает прекрасно и через админку. Если кому-нибудь, вроде меня, придётся решать такую же проблему с автоудалением файла, то можно будет использовать данный пример.

Добавлю для будущего, важно чтобы файлы генерировались с уникальными именами. В моём случае я использовал гуиды (uuid) в качестве имён.

Answer | 0

21 June 2012, 3:22 alerion Posts: 5750 Location: Львов	21 June 2012, 3:22 alerion Posts: 5750 Location: Львов Django сам делает название файла уникальным. И если вы будет удалять целый список объектов в админке, то сигнал не сработает. Это написано в доке. Фиксю баги по трейсбеку.
	Answer \| 0

22 June 2012, 21:40

Holzer

Posts: 9

22 June 2012, 21:40

Holzer

Posts: 9

alerion Django сам делает название файла уникальным. И если вы будет удалять целый список объектов в админке, то сигнал не сработает. Это написано в доке. Выделил в админке три объекта MailFile, проверил наличие соотвествующих файлов на диске. Удалил в админке, файлы удалились с диска.

OS x64 django 1.3.1 python 2.7.3

Я не вижу причин, почему бы файлам не удаляться по получению сигнала. Дело в том, что эти сигналы работают по модели listener - subscriber, то есть являются обычными callback функциями питона. Поэтому отработка их должна проходить железно.

Answer | 0

22 June 2012, 21:51 alerion Posts: 5750 Location: Львов	22 June 2012, 21:51 alerion Posts: 5750 Location: Львов Поэтому отработка их должна проходить железно. Да, но для начала наверное кто-то должен послать сигнал? Походу с 1.3 пофиксили это дело. Фиксю баги по трейсбеку.
	Answer \| 0

22 June 2012, 22:41

Holzer

Posts: 9

22 June 2012, 22:41

Holzer

Posts: 9

alerion > Поэтому отработка их должна проходить железно.

Да, но для начала наверное кто-то должен послать сигнал? Походу с 1.3 пофиксили это дело.

Реализация сигналов сидит в django.dispatch/Signal Я бегло посмотрел на исходники, честно скажу, мало чего понял, но, похоже, реализация основана на следующем: 1. метод connect подписывает модель на вызов callback функции (у меня post_delete). 2. Когда объект данного класса вызывает delete, в Signal сохраняется адрес объекта, проверяется открытая транзакция (с базой данных). Вызов callback функции откладывается до завершения транзакции. Объект не удаляется физически до завершения транзакции. 3. Когда транзакция завершается вызываются callback функции, передавая в её параметрах именованный параметр instance. Тут-то я беру этот instance, считая его своим объектом и удаляю свой файл с диска. 4. Объекты проделывают своё физическое удаление. Удаление из базы данных уже произошло во время транзакции. 5. Если транзакция завершается с ошибкой, база данных вернула всё взад, а объекты не удаляются, как будто ничего не происходило.

Таким образом слово signal не должно запутывать суть дела. Речь идёт не о посылке message между объектами, а о банальной callback функции. Таким образом, админка не посылает сигнал, всё реализовано на уровне классов и объектов самой django, работать должно всегда и везде.

Становится ясным, что данный механизм позволяет откатывать транзакцию с отменой физического удаления файла. В противном случае (как это было в старых версиях django) отмена транзакции в БД сопровождалась потерей файлов. Новый механизм позволяет избежать этого.

Если я прав, то данный механизм может глючить при многопоточном программировании. В исходниках я видел вызовы функций блокировки изменений списков, что при отсутствии ошибок в написании со стороны разработчиков, должно помочь.

Updated 22 June 2012, 22:46 by Holzer.

Answer | 0

22 June 2012, 22:57 alerion Posts: 5750 Location: Львов	22 June 2012, 22:57 alerion Posts: 5750 Location: Львов Это вы что-то далеко залезли :) В старых версиях QuerySet.delete не посылал сигнал, про это писали в доке. Уже исправили, написано что посылает. Фиксю баги по трейсбеку.
	Answer \| 0

26 June 2012, 17:57 Holzer Posts: 9	26 June 2012, 17:57 Holzer Posts: 9 alerion Это вы что-то далеко залезли В старых версиях QuerySet.delete не посылал сигнал, про это писали в доке. Уже исправили, написано что посылает. Но работать будет, использовать можно?
	Answer \| 0

26 June 2012, 18:10 alerion Posts: 5750 Location: Львов	26 June 2012, 18:10 alerion Posts: 5750 Location: Львов Раз ошибок не написало - должно. Фиксю баги по трейсбеку.
	Answer \| 0