Есть 2 варианта:

1. Создать файл нужного размера и смонтировать его как папку.
Пример:

dd if=/dev/zero of=/userdisk.fs bs=1024 count= 100000
mkfs.ext3 /userdisk.fs
mount -t ext3 -o loop /userdisk.fs /home/user

2. Использовать утилиту quota (Более логично как по мне)