Depende bastante de quanta memória você tem e do algoritmo usado para gerenciar o cache.
A leitura e escrita de dados em discos rídgidos é muito lenta se comparada ao processador ou à leitura e escrita na memória RAM, por isso os sistemas operacionais usam cache. Esse cache guarda os blocos de dados que devem ser escritos ou que foram lidos recentemente. Por isso, por exemplo, abrir um programa uma segunda vez geralmente demora menos tempo: ele já está quase todo na memória RAM.
Quando o cache está cheio e algum programa quer ler/escrever um bloco (que não esteja no cache), o sistema operacional tem que liberar algum bloco do cache. Se foi um bloco que só foi lido, ele descarta o bloco. Se foi um bloco que foi modificado, ele salva as modificações no disco e descarta o bloco. Geralmente o sistema operacional dá preferência a manter blocos de leitura na memória já que
1) geralmente é mais comum ler um bloco mais de uma vez que escrever um bloco mais de uma vez (exemplo do programa a cima) e
2) se um bloco de escrita (modificado) estiver na memória quando acabar a luz, por exemplo, a modificação será perdida, já que ela não foi gravada no disco.*
Por causa do item 2), não adianta só salvar blocos modificados quando o cache está cheio. O Linux com ext3, por padrão, verifica se há blocos modificados a cada 5 segundos, se houver, ele salva no disco. Não sei se com outros filesystems o tempo é o mesmo, mas a idéia é a mesma (ext4 e XFS, por exemplo, possuem delayed allocation que faz a locação de novos blocos no disco ser menos frequente).
Quando você copia arquivos do seu computador para um pendrive, no começo geralmente é rápido, já que ele só está escrevendo no cache. Depois a coisa começa a desacelerar porque o sistema precisa salvar os blocos do cache no disco para poder copiar novos blocos. Quando você desmonta um dispositivo, o sistema força um 'sync', que escreve os blocos modificados que ainda não foram salvos, e limpa o cache relacionado àquele dispositivo.
*Além disso, o sistema primeiro salva no disco blocos de meta-informação: diretórios e inodes, só depois ele salva arquivos normais.