Estruturas em memória
Cache do WiredTiger
Guarda em memória, já descomprimidas, as páginas das B-trees de coleções e índices, as update chains e as páginas do history store. O tamanho padrão é max(50% × (RAM − 1 GB), 256 MB), onde RAM é o menor valor entre a memória física e o limite do cgroup. Ajuste com storage.wiredTiger.engineConfig.cacheSizeGB. A partir do 8.0 também existe cacheSizePct, uma fração de 0 a 0,8 da RAM que não se combina com cacheSizeGB.
As páginas de coleção chegam a 10 MB em memória antes de se dividirem. As de índice têm 16 KB em disco e mantêm as chaves com compressão de prefixo.
Documentação oficial (em inglês): MongoDB: WiredTiger Storage Engine, Memory Use · MongoDB: storage.wiredTiger.engineConfig.cacheSizeGB · WiredTiger: Cache
Eviction
São 4 threads por padrão. A que ganha o lock da passada percorre as árvores e enfileira páginas; as outras despejam. Página limpa é descartada. Página suja é reconciliada e escrita no arquivo de dados, e as versões antigas vão para o history store.
Os limiares padrão são 80% de uso como alvo e 95% como gatilho, dirty em 5% e 20%, updates em 2,5% e 10%. No alvo, as threads de eviction começam a trabalhar. No gatilho, as threads da aplicação são convocadas para ajudar, e isso aparece como latência. No 8.0 o número de threads pode ser alterado em tempo de execução, de 1 a 64 (wiredTigerEvictionThreadsMin e wiredTigerEvictionThreadsMax).
Documentação oficial (em inglês): WiredTiger: Eviction · WiredTiger: Cache and eviction tuning
Update chains (MVCC)
Uma escrita não altera o registro no lugar: coloca uma nova versão no início da lista de updates do registro, na página em memória. Quem lê percorre a lista até a versão que o seu snapshot enxerga.
O isolamento é snapshot com commit timestamps. O oldest timestamp fica 300 s atrás do stable timestamp, o ponto confirmado pela maioria (minSnapshotHistoryWindowInSeconds). As versões mais antigas saem para o history store.
Documentação oficial (em inglês): WiredTiger: Transactions · WiredTiger: Timestamps · MongoDB: minSnapshotHistoryWindowInSeconds
Log slots (buffer do journal)
Cada commit copia seus registros de journal para slots de log compartilhados. Cada registro é comprimido com snappy ao ser anexado, exceto os pequenos. Num replica set só as tabelas local.* entram no journal, então esses registros são, na prática, entradas do oplog.
Documentação oficial (em inglês): WiredTiger: Logging · MongoDB: Journaling
Spill engine (9.0)
Uma segunda instância do WiredTiger, pequena, para agregações hash e lookup hash do SBE, window functions e $graphLookup que passam do limite de memória. Tem cache próprio, fora do cacheSizeGB: 2,5% da RAM, entre 100 MB e 1 GB, com uma thread de eviction e compressão zstd. Não tem journal e é recriada a cada inicialização.
No 7.0 e no 8.0, esse spill do SBE vai para tabelas temporárias internal-*.wt dentro do dbPath.
Documentação oficial (em inglês): MongoDB: spillPath
Cache de páginas do sistema operacional
O WiredTiger usa I/O com buffer (não há direct_io em nenhuma das três versões), então o cache do sistema de arquivos guarda os blocos como estão em disco: comprimidos para coleções e journal, e sem compressão de bloco, com chaves comprimidas por prefixo, para índices.
Documentação oficial (em inglês): MongoDB: WiredTiger Storage Engine, Memory Use
Estruturas em disco
Arquivos de dados
Cada coleção e cada índice é um arquivo, uma tabela do WiredTiger. As coleções usam compressão de bloco snappy e checksums (storage.wiredTiger.collectionConfig.blockCompressor). Os índices usam compressão de prefixo, páginas de 16 KB e checksums, sem compressão de bloco por padrão.
No 7.0 e no 8.0 o nome de uma coleção tem um número e um sufixo aleatório (collection-<n>-<random>.wt). No 9.0, as tabelas criadas desde o 8.2 se chamam collection-<UUID>.wt e index-<UUID>.wt; um dbPath atualizado mantém os nomes antigos.
Documentação oficial (em inglês): WiredTiger: Data File Format · WiredTiger: B-Trees · MongoDB: WiredTiger Storage Engine, Compression
Oplog
local.oplog.rs é uma tabela comum do WiredTiger, com limite de tamanho: 5% do espaço livre do disco do dbPath quando é criada, entre 990 MB e 50 GB (replication.oplogSizeMB e storage.oplogMinRetentionHours). O truncamento é do mais antigo para o mais novo, em seções (truncate markers). As entradas recentes costumam estar quentes no cache, para as secundárias e os change streams.
Documentação oficial (em inglês): MongoDB: Replica Set Oplog
History store
WiredTigerHS.wt guarda as versões antigas dos registros que a eviction tirou do cache. Elas são necessárias para leituras com snapshot e para os timestamps.
Documentação oficial (em inglês): WiredTiger: History Store
Journal
O write-ahead log do WiredTiger fica em journal/, em arquivos WiredTigerLog.NNNNNNNNNN de 100 MB, com o próximo já pré-alocado (WiredTigerPreplog.*). Num replica set só as tabelas local.* são registradas (o oplog, não as coleções de usuário). Um standalone registra todas. Arquivos mais antigos que o último checkpoint são removidos.
A thread JournalFlusher faz o flush a cada 100 ms (de 1 a 500, ajustável em tempo de execução, storage.journal.commitIntervalMs), ou na hora quando uma escrita com j:true ou majority pede. Uma escrita w:1 sem j pode perder até um intervalo de journal do oplog num crash e pode sofrer rollback num failover.
Documentação oficial (em inglês): MongoDB: Journaling · WiredTiger: Logging
Checkpoints e recuperação
A thread Checkpointer cria um checkpoint de todo o banco no stable timestamp, dormindo syncdelay (60 s, storage.syncPeriodSecs) entre um e outro. Cada tabela suja é escrita (dados, índices, history store, _mdb_catalog.wt e sizeStorer.wt), depois WiredTiger.wt e WiredTiger.turtle. O journal que deixou de ser necessário é removido.
Os checkpoints são copy-on-write: o WiredTiger nunca sobrescreve um bloco que o checkpoint vigente referencia, os blocos têm checksum, e o checkpoint é publicado reescrevendo WiredTiger.wt e trocando WiredTiger.turtle de forma atômica. Num restart, o WiredTiger abre o último checkpoint, reaplica o journal (local.* num replica set) e volta ao stable timestamp. Depois o mongod reaplica o oplog a partir desse ponto.
Documentação oficial (em inglês): MongoDB: WiredTiger Storage Engine, Snapshots and Checkpoints · WiredTiger: Checkpoint
Metadados e catálogo
WiredTiger.wt é a tabela de metadados, com os arquivos e seus checkpoints. WiredTiger.turtle aponta para o checkpoint dessa própria tabela, WiredTiger guarda a versão e WiredTiger.lock impede um segundo processo.
Do lado do MongoDB, _mdb_catalog.wt mapeia coleções e índices para os seus arquivos. sizeStorer.wt guarda contagens e tamanhos, gravados por quem devolve uma sessão do WiredTiger, a cada 100.000 devoluções ou 60 s, sem thread dedicada. storage.bson registra o engine e mongod.lock guarda o id do processo.
Documentação oficial (em inglês): WiredTiger: Metadata
Arquivos temporários
Os arquivos de spill do Sorter ficam em _tmp/, para $sort, $group clássico, $bucketAuto e criação de índices. A pasta só aparece quando algo vai para o disco. No 9.0 ela existe desde o início por causa de _tmp/spilldb/, que é apagada e recriada a cada inicialização.
Documentação oficial (em inglês): MongoDB: Aggregation Pipeline Limits, Memory Restrictions
diagnostic.data (FTDC)
Arquivos de métricas FTDC, de 10 MB cada. O diretório tem um limite de tamanho: 200 MB no 7.0, 250 MB no 8.0 (500 MB com --shardsvr) e 500 MB no 9.0 (diagnosticDataCollectionDirectorySizeMB).
Documentação oficial (em inglês): MongoDB: diagnosticDataCollectionDirectorySizeMB
Resumo
- Uma escrita entra numa update chain, na página em cache, e o registro de journal vai para os log slots. A JournalFlusher o grava em disco a cada 100 ms, ou na hora com
j:true. - A eviction escreve páginas sujas nos arquivos de dados quando os limiares são cruzados. O Checkpointer grava todas as tabelas sujas no ponto da maioria, com 60 s de intervalo entre um checkpoint e outro.
- Num replica set o journal guarda só o oplog: os dados de usuário ficam duráveis por checkpoint mais oplog.
- O 8.0 acrescenta
cacheSizePcte threads de eviction ajustáveis. O 9.0 acrescenta o spill engine e usa UUID nos nomes das tabelas novas. O limite do FTDC sobe de 200 MB para 250 MB e depois 500 MB.