Ir para o conteúdo

MongoDB Internal Architecture: mongod e WiredTiger

Um mongod do MongoDB Community com as configurações padrão, como membro de um replica set, nas versões 7.0, 8.0 e 9.0.

Diagrama detalhado de um mongod com WiredTiger: as camadas de rede e de consulta, o controle de concorrência, o cache do WiredTiger e suas threads, as threads em segundo plano, a replicação, o cache de páginas do sistema operacional e os arquivos do diretório de dados, com o caminho de uma escrita numerado de 1 a 8.
Diagrama detalhado: componentes, threads e valores padrão. Role para os lados ou abra no tamanho original.

Abrir no tamanho original (PNG, 3600 px)

Abrir a versão simplificada (PNG, 2000 px)

Estruturas em memória

Cache do WiredTiger

Guarda em memória, já descomprimidas, as páginas das B-trees de coleções e índices, as update chains e as páginas do history store. O tamanho padrão é max(50% × (RAM − 1 GB), 256 MB), onde RAM é o menor valor entre a memória física e o limite do cgroup. Ajuste com storage.wiredTiger.engineConfig.cacheSizeGB. A partir do 8.0 também existe cacheSizePct, uma fração de 0 a 0,8 da RAM que não se combina com cacheSizeGB.

As páginas de coleção chegam a 10 MB em memória antes de se dividirem. As de índice têm 16 KB em disco e mantêm as chaves com compressão de prefixo.

Documentação oficial (em inglês): MongoDB: WiredTiger Storage Engine, Memory Use · MongoDB: storage.wiredTiger.engineConfig.cacheSizeGB · WiredTiger: Cache

Eviction

São 4 threads por padrão. A que ganha o lock da passada percorre as árvores e enfileira páginas; as outras despejam. Página limpa é descartada. Página suja é reconciliada e escrita no arquivo de dados, e as versões antigas vão para o history store.

Os limiares padrão são 80% de uso como alvo e 95% como gatilho, dirty em 5% e 20%, updates em 2,5% e 10%. No alvo, as threads de eviction começam a trabalhar. No gatilho, as threads da aplicação são convocadas para ajudar, e isso aparece como latência. No 8.0 o número de threads pode ser alterado em tempo de execução, de 1 a 64 (wiredTigerEvictionThreadsMin e wiredTigerEvictionThreadsMax).

Documentação oficial (em inglês): WiredTiger: Eviction · WiredTiger: Cache and eviction tuning

Update chains (MVCC)

Uma escrita não altera o registro no lugar: coloca uma nova versão no início da lista de updates do registro, na página em memória. Quem lê percorre a lista até a versão que o seu snapshot enxerga.

O isolamento é snapshot com commit timestamps. O oldest timestamp fica 300 s atrás do stable timestamp, o ponto confirmado pela maioria (minSnapshotHistoryWindowInSeconds). As versões mais antigas saem para o history store.

Documentação oficial (em inglês): WiredTiger: Transactions · WiredTiger: Timestamps · MongoDB: minSnapshotHistoryWindowInSeconds

Log slots (buffer do journal)

Cada commit copia seus registros de journal para slots de log compartilhados. Cada registro é comprimido com snappy ao ser anexado, exceto os pequenos. Num replica set só as tabelas local.* entram no journal, então esses registros são, na prática, entradas do oplog.

Documentação oficial (em inglês): WiredTiger: Logging · MongoDB: Journaling

Spill engine (9.0)

Uma segunda instância do WiredTiger, pequena, para agregações hash e lookup hash do SBE, window functions e $graphLookup que passam do limite de memória. Tem cache próprio, fora do cacheSizeGB: 2,5% da RAM, entre 100 MB e 1 GB, com uma thread de eviction e compressão zstd. Não tem journal e é recriada a cada inicialização.

No 7.0 e no 8.0, esse spill do SBE vai para tabelas temporárias internal-*.wt dentro do dbPath.

Documentação oficial (em inglês): MongoDB: spillPath

Cache de páginas do sistema operacional

O WiredTiger usa I/O com buffer (não há direct_io em nenhuma das três versões), então o cache do sistema de arquivos guarda os blocos como estão em disco: comprimidos para coleções e journal, e sem compressão de bloco, com chaves comprimidas por prefixo, para índices.

Documentação oficial (em inglês): MongoDB: WiredTiger Storage Engine, Memory Use

Estruturas em disco

Arquivos de dados

Cada coleção e cada índice é um arquivo, uma tabela do WiredTiger. As coleções usam compressão de bloco snappy e checksums (storage.wiredTiger.collectionConfig.blockCompressor). Os índices usam compressão de prefixo, páginas de 16 KB e checksums, sem compressão de bloco por padrão.

No 7.0 e no 8.0 o nome de uma coleção tem um número e um sufixo aleatório (collection-<n>-<random>.wt). No 9.0, as tabelas criadas desde o 8.2 se chamam collection-<UUID>.wt e index-<UUID>.wt; um dbPath atualizado mantém os nomes antigos.

Documentação oficial (em inglês): WiredTiger: Data File Format · WiredTiger: B-Trees · MongoDB: WiredTiger Storage Engine, Compression

Oplog

local.oplog.rs é uma tabela comum do WiredTiger, com limite de tamanho: 5% do espaço livre do disco do dbPath quando é criada, entre 990 MB e 50 GB (replication.oplogSizeMB e storage.oplogMinRetentionHours). O truncamento é do mais antigo para o mais novo, em seções (truncate markers). As entradas recentes costumam estar quentes no cache, para as secundárias e os change streams.

Documentação oficial (em inglês): MongoDB: Replica Set Oplog

History store

WiredTigerHS.wt guarda as versões antigas dos registros que a eviction tirou do cache. Elas são necessárias para leituras com snapshot e para os timestamps.

Documentação oficial (em inglês): WiredTiger: History Store

Journal

O write-ahead log do WiredTiger fica em journal/, em arquivos WiredTigerLog.NNNNNNNNNN de 100 MB, com o próximo já pré-alocado (WiredTigerPreplog.*). Num replica set só as tabelas local.* são registradas (o oplog, não as coleções de usuário). Um standalone registra todas. Arquivos mais antigos que o último checkpoint são removidos.

A thread JournalFlusher faz o flush a cada 100 ms (de 1 a 500, ajustável em tempo de execução, storage.journal.commitIntervalMs), ou na hora quando uma escrita com j:true ou majority pede. Uma escrita w:1 sem j pode perder até um intervalo de journal do oplog num crash e pode sofrer rollback num failover.

Documentação oficial (em inglês): MongoDB: Journaling · WiredTiger: Logging

Checkpoints e recuperação

A thread Checkpointer cria um checkpoint de todo o banco no stable timestamp, dormindo syncdelay (60 s, storage.syncPeriodSecs) entre um e outro. Cada tabela suja é escrita (dados, índices, history store, _mdb_catalog.wt e sizeStorer.wt), depois WiredTiger.wt e WiredTiger.turtle. O journal que deixou de ser necessário é removido.

Os checkpoints são copy-on-write: o WiredTiger nunca sobrescreve um bloco que o checkpoint vigente referencia, os blocos têm checksum, e o checkpoint é publicado reescrevendo WiredTiger.wt e trocando WiredTiger.turtle de forma atômica. Num restart, o WiredTiger abre o último checkpoint, reaplica o journal (local.* num replica set) e volta ao stable timestamp. Depois o mongod reaplica o oplog a partir desse ponto.

Documentação oficial (em inglês): MongoDB: WiredTiger Storage Engine, Snapshots and Checkpoints · WiredTiger: Checkpoint

Metadados e catálogo

WiredTiger.wt é a tabela de metadados, com os arquivos e seus checkpoints. WiredTiger.turtle aponta para o checkpoint dessa própria tabela, WiredTiger guarda a versão e WiredTiger.lock impede um segundo processo.

Do lado do MongoDB, _mdb_catalog.wt mapeia coleções e índices para os seus arquivos. sizeStorer.wt guarda contagens e tamanhos, gravados por quem devolve uma sessão do WiredTiger, a cada 100.000 devoluções ou 60 s, sem thread dedicada. storage.bson registra o engine e mongod.lock guarda o id do processo.

Documentação oficial (em inglês): WiredTiger: Metadata

Arquivos temporários

Os arquivos de spill do Sorter ficam em _tmp/, para $sort, $group clássico, $bucketAuto e criação de índices. A pasta só aparece quando algo vai para o disco. No 9.0 ela existe desde o início por causa de _tmp/spilldb/, que é apagada e recriada a cada inicialização.

Documentação oficial (em inglês): MongoDB: Aggregation Pipeline Limits, Memory Restrictions

diagnostic.data (FTDC)

Arquivos de métricas FTDC, de 10 MB cada. O diretório tem um limite de tamanho: 200 MB no 7.0, 250 MB no 8.0 (500 MB com --shardsvr) e 500 MB no 9.0 (diagnosticDataCollectionDirectorySizeMB).

Documentação oficial (em inglês): MongoDB: diagnosticDataCollectionDirectorySizeMB

Resumo