BigAutoField в кастомной модели пользователя | Forum

Posts: 336
Location: Samara

10 April 2016, 23:34

Posts: 336
Location: Samara

Два ярда пользователей,.. нормальная заявочка :)
А БД какая?
Делайте id полем бигинт, и средствами БД его автоинкрементируйте.
(при таком количестве юзеров контроль за автоинкрементом лучше БД доверить)

Answer | 0

10 April 2016, 23:37

Posts: 85
Location: Kyiv

10 April 2016, 23:37

Posts: 85
Location: Kyiv

По поводу больших объемов данных есть совет в доке

Universally unique identifiers are a good alternative to AutoField for primary_key. The database will not generate the UUID for you, so it is recommended to use default:

import uuid
from django.db import models

class MyUUIDModel(models.Model):
    id = models.UUIDField(primary_key=True, default=uuid.uuid4, editable=False)

UUID в качестве ключа уже давно с успехом используется во многих крупных проектах.

Answer | 0

10 April 2016, 23:43 urslan Posts: 85 Location: Kyiv	10 April 2016, 23:43 urslan Posts: 85 Location: Kyiv Два ярда пользователей,.. нормальная заявочка :) Консультировал один скромный проект лет 5 назад по поводу производительности БД. У них 25 лямов новых записей каждый день в базу вливалось. :)
	Answer \| 0

10 April 2016, 23:43

Posts: 336
Location: Samara

10 April 2016, 23:43

Posts: 336
Location: Samara

Счас посмотрел - в PostgreSQL, id, создаваемые Django и так бигинты:

 CREATE SEQUENCE auth_user_id_seq
      INCREMENT 1
      MINVALUE 1
      MAXVALUE 9223372036854775807
      START 10
      CACHE 1;
    ALTER TABLE auth_user_id_seq
      OWNER TO postgres;

... так что жгите смело, если постгрес пользуете.

У них 25 лямов новых записей каждый день в базу вливалось. :)

ну то записей... а тут юзеры :)

Updated 10 April 2016, 23:49 by EvgIq.

Answer | 0

13 April 2016, 10:28

Posts: 65

13 April 2016, 10:28

Posts: 65

Спасибо всем)

С ваших постов узнал много интересного.

Т.е. urslan , если я правильно понял, то можно в кастомной модели пользователя добавить что-то так:

...
class ExtUser(AbstractBaseUser, PermissionsMixin): 
    id = models.UUIDField(primary_key=True, default=uuid.uuid4, editable=False)
...

Что позволит иметь ну Очень много пользователей?

EvgIq

У них 25 лямов новых записей каждый день в базу вливалось. :)

ну то записей... а тут юзеры :)

А в чем техническая разница? ))) 25 миллионов новых записей или 25 миллионов новых пользователей?

urslan

Консультировал один скромный проект лет 5 назад по поводу производительности БД. У них 25 лямов новых записей каждый день в базу вливалось. :) В перспективе с вами можно связаться для консультации? ))))

Еще раз спасибо всем. Простите что не сразу ответил.

Answer | 0

13 April 2016, 10:44 EvgIq Posts: 336 Location: Samara	13 April 2016, 10:44 EvgIq Posts: 336 Location: Samara Технически никакой разницы. В амбициозности разница :) Так какая БД то?
	Answer \| 0

13 April 2016, 11:07

Posts: 65

13 April 2016, 11:07

Posts: 65

Технически никакой разницы. В амбициозности разница :)

Так какая БД то?

Это секрет!!! )))) Изначально планировалась MariaDB, но теперь обдумывается Postgersql. То есть идет "взвешивание" между этими двумя базами. Проект в стадии проектирования (простите за каламбур) и в итоге может выплыть все что угодно.

Answer | 0

13 April 2016, 11:33 EvgIq Posts: 336 Location: Samara	13 April 2016, 11:33 EvgIq Posts: 336 Location: Samara MySQL ни разу не использовал. Вы посмотрите что там Django делает с id полями. Вполне может быть что так же бигинты. (а UUID поля - это символные, по моему)
	Answer \| 0

13 April 2016, 11:49 HunterNomad Posts: 65	13 April 2016, 11:49 HunterNomad Posts: 65 MySQL ни разу не использовал. Вы посмотрите что там Django делает с id полями. Вполне может быть что так же бигинты. (а UUID поля - это символные, по моему) О, класс. Нужно на это обратить внимание. Спасибо)
	Answer \| 0

13 April 2016, 14:42

Posts: 85
Location: Kyiv

13 April 2016, 14:42

Posts: 85
Location: Kyiv

MySQL ни разу не использовал.

Вы посмотрите что там Django делает с id полями. Вполне может быть что так же бигинты.

(а UUID поля - это символные, по моему)

А чем вы пользуетесь?

Если посмотрите внимательно, то в PostgreSQL UUID - отдельный тип данных. И это далеко не строка. А то что вы видите - строковое HEX-представление 128-битного значения.

Answer | 0

13 April 2016, 15:35

Posts: 336
Location: Samara

13 April 2016, 15:35

Posts: 336
Location: Samara

urslan

А чем вы пользуетесь?

Не было задачи на такие огромные числа.

... В постгресе макс целое - бигинт (int64). Django делает в постгрес id типом serial:

CREATE TABLE auth_user
(
  id serial NOT NULL,
  ...

... который является последовательностью с макс допустимым значением 9223372036854775807 (половина от int64 - положительная его часть)

А что такое UUID? Уникальный ID для распределенных систем, я полагаю. И вроде он символьный. Даже если он int64 - то смысл заморачиваться? В вопросе вроде не было задачи генерить id на разных серваках.

Updated 13 April 2016, 15:37 by EvgIq.

Answer | 0

13 April 2016, 16:45

Posts: 85
Location: Kyiv

13 April 2016, 16:45

Posts: 85
Location: Kyiv

А что такое UUID? Уникальный ID для распределенных систем, я полагаю. И вроде он символьный. Даже если он int64 - то смысл заморачиваться? В вопросе вроде не было задачи генерить id на разных серваках.

Не хотите Вы меня услышать.

Достаточно открыть мануал по типам данных в постгресе... 1

The data type uuid stores Universally Unique Identifiers (UUID) as defined by RFC 4122, ISO/IEC 9834-8:2005, and related standards. (Some systems refer to this data type as a globally unique identifier, or GUID, instead.) This identifier is a 128-bit quantity that is generated by an algorithm chosen to make it very unlikely that the same identifier will be generated by anyone else in the known universe using the same algorithm. Therefore, for distributed systems, these identifiers provide a better uniqueness guarantee than sequence generators, which are only unique within a single database. 
A UUID is written as a sequence of lower-case hexadecimal digits, in several groups separated by hyphens, specifically a group of 8 digits followed by three groups of 4 digits followed by a group of 12 digits, for a total of 32 digits representing the 128 bits.

И причем здесь распределенные системы? Только лишь тем, что значения генерируются случайно, а не последовательно, и обеспечивают большую уникальность ключа?

Тогда давайте уточнять, что деревья индексов построенные на UUID лучше сбалансированы и обеспечивают лучшее быстродействие при больших объемах данных.

Answer | 0

13 April 2016, 17:02

Posts: 336
Location: Samara

13 April 2016, 17:02

Posts: 336
Location: Samara

Как причем здесь распределенные системы? Из доки постгреса:

Therefore, for distributed systems, these identifiers provide a better uniqueness guarantee than sequence generators, which are only unique within a single database.

Перевод: Таким образом, для распределенных систем, эти идентификаторы обеспечивают лучшую гарантию уникальности, чем генераторы последовательностей, которые являются уникальными только в пределах одной базы данных.

Я слышу Вас прекрасно. Теперь откройте библиотеку, ссылку на которую Вы делали, и посмотрите как там хранится эта загогулина. Чтобы долго не искать:

if hyphenate:
   # We store UUIDs in string format, which is fixed at 36 characters.
   kwargs['max_length'] = 36
else:
   # We store UUIDs in hex format, which is fixed at 32 characters.
   kwargs['max_length'] = 32

Я не знаю насчет быстроты индексов, но работа с символами полюбому медленнее чем с целым. Да и зачем? Больше юзеров, чем int64, на Земле не будет никогда.

поправочка, если пользовать стандартный Django UUIDField, который Вы вероятно и имели ввиду, то там только длина 32 символа.

PS нельзя обеспечить "большую уникальность", она либо есть либо нет.

Updated 13 April 2016, 17:40 by EvgIq.

Answer | 1

13 April 2016, 22:06

Posts: 65

13 April 2016, 22:06