Frosty, большая часть этого "мусора" должна лежать тут: '~/' вперемешку с файлами настроек в скрытых папках и файлах.
Ручками всё чистится. Я обычно mc запускаю и довольно быстро выношу весь хлам из домашней директории.
Где-то здесь я уже читал, что само устройство ext3 не способствует фрагментации.