Giocando con l'addestramento di un piccolo modello di diffusione testuale a livello di carattere con 11M di parametri! È un lavoro in corso, ma il codice è attualmente un'implementazione di nanochat gpt pesantemente modificata (per passare dalla decodifica autoregressiva alla diffusione) e addestrata sul dataset di Tiny Shakespeare. L'implementazione naif di un programma di mascheramento prevede una probabilità di mascheramento uniforme per ogni token in ogni iterazione. Approcci più recenti mascherano in blocchi da sinistra a destra, il che migliora la qualità dell'output e consente un certo riutilizzo del KVCache. Ho realizzato che puoi effettivamente applicare il mascheramento in qualsiasi modo arbitrario durante il processo di generazione. Qui sotto puoi vedere che ho applicato il mascheramento in base alle regole del Gioco della Vita di Conway. Mi chiedo se ci siano strategie di mascheramento insolite come questa che offrano vantaggi. In ogni caso, questo è un modo molto interessante e ipnotizzante per corrompere e deformare il testo.

BERT è solo un singolo passo di diffusione del testo! (1/n) Quando ho letto per la prima volta dei modelli di diffusione del linguaggio, sono rimasto sorpreso di scoprire che il loro obiettivo di addestramento era solo una generalizzazione del masked language modeling (MLM), qualcosa che facciamo dal 2018 con BERT. Il primo pensiero che ho avuto è stato: "possiamo affinare un modello simile a BERT per generare testo?"

Registro di ricerca Giorno 0: DiLoCo Days Ho deciso di scrivere una tesi sul training distribuito a bassa comunicazione. Fondamentalmente, come possiamo addestrare modelli di grandi dimensioni in modo efficiente attraverso nodi distribuiti senza essere completamente distrutti dalla latenza di rete e dalla larghezza di banda? (1/n)