Бюджетно будет купить корпус, где много отсеков 5.25", несколько корзин для hdd (они бывают разные, занимают от 1 до 3 отсеков 5.25), и мамку с достаточным количеством sata (обычно их не более 6) и pci-e под raid-контроллер. А дальше уже смотреть, сколько дисков, какие (ssd/hdd, 2.5/3.5), подобрать под них корзины, контроллер (если не хватает sata)

Для организации файлов вполне хватит нескольких больших hdd, в рейде они норм по скорости

Да, mdadm

Для сортировки 10 терабайт имхо будет достаточно пары hdd 8tb в raid0. если есть желание сделать более надёжно - можно 3x8tb в raid5 (будет чуть меньше 16тб в сумме) или 5x8tb в raid6 (будет чуть меньше 24тб).
При этом систему я бы поставил на отдельный ssd, небольшой, 64 или 128.
И контроллер тогда не нужен в общем-то

Контроллер нужен когда слотов на материнской плате не хватает, ну или есть желание делать raid средствами контроллера.
Размер диска тут роли никакой не играет

Это очень странно, больше похоже что проблема именно в драйве. Я бы попробовал его к другим компам подключить - если будет то же самое, то проблема точно в нём.
Драйв внешний с usb, или обычный внутренний с sata?

Шаг за шагом будет дороже, имхо лучше сразу закладывать х2+ по месту от текущих потребностей - нарастить потом не всегда будет возможность