Или там можно так долго без гражданства прожить?

Чтобы находиться в стране не нужно гражданство

Разве меня обратно в РФ не депортируют без гражданства?

Нет, если ВНЖ оформите

для въезда в страну нужна виза ее дают далее во время нахождения можно вступить в брак после этого дадут вид на жительство по которому можно жить после определенного количества прожитых тут лет можно получить паспорт