Всё уже сделано за нас, опытные сразу могут пройти на https://github.com/amccloud/django-project-skel

Для остальных будут подробности.

У меня есть каталог с последними релизами Django. Создайте себе аналогичный и скачайте туда Django 1.4.

Создайте каталог для проекта. Учтите, что внутри может быть несколько маленьких проектов, выберите правильное название.

export DJANGO14=~/devel/_apps_/django-1.4
export PYTHONPATH=$DJANGO14:%PYTHONPATH
$DJANGO14/django/bin/django-admin.py startproject \
   --template https://github.com/amccloud/django-project-skel/zipball/master \
    --extension py,md yourprojectname

Теперь создайте виртуальное окружение:

cd yourprojectname
virtualenv --no-site-packages env

Активируйте его:

. ./env/bin/activate

Добавьте в файл requirements.txt зависимости, необходимые для вашего проекта. Django 1.4 там уже прописана. Установите зависимости в виртуальное окружение:

pip install -E $VIRTUAL_ENV -r requirements.txt

Дальше всё как обычно: редактируете конфигурационный файл, создаёте схему проекта в базе данных и запускаете девсервер.