Жилье должно быть предоставлено в пригодном для проживания состоянии.
Причина отказа не то, что вы просто передумали, а то что он не выполнил условия договора.
Но поскольку ваши деньги уже у него, забрать их будет сложно.