Я разобрался. Вдруг кому пригодится.
из crispy_forms/templates копируем нужный пак (например bootstrap3) в папку templates проекта.
Crispy forms начнет подхватывать в первую очередь этот пак из папки с шаблоном проекта.
Только не переименовывайте bootstrap3 во что нибудь еще, в противном случае нужно будет задать в настройках еще
CRISPY_ALLOWED_TEMPLATE_PACKS = ('bootstrap', 'uni_form', 'bootstrap3', 'bootstrap4', 'bootstrap3_custom')
где bootstrap3_custom - имя вашего пака.
Но это только для случая, когда вы не используете bootstrap, в противном случае некоторые жестко зашитые в компонент штуки будут работать некорректно, поедут стили и т.п.
По крайней мере мне в короткий срок сделать это красиво не удалось.
