Как оформить в наследство дом, который не был зарегистрирован в Росреестре?

Вам нужно сначала через суд признать право собственности отца на дом, потом уже наследовать. Брат прав, других вариантов нет.

После смерти отца вы уже получили свидетельство о праве на наследство или это еще впереди?

Ваш брат прав, суд здесь необходимость. Дело в том, что без регистрации в Росреестре дом юридически как бы не существует, даже если ваш отец его построил и платил налоги. Вам нужно сначала через суд признать право собственности вашего отца на этот дом, а потом уже вступать в наследство на основе этого судебного решения. Квитанции об оплате налогов, акты администрации, соседские показания, фотографии, договоры на стройматериалы, свидетельства о постоянной регистрации в доме — всё это пойдёт в доказательства того, что ваш отец владел и пользовался домом длительное время. После победы в суде заберёте решение в Росреестр, зарегистрируете право собственности отца, а потом уже вступите в наследство через нотариуса по общим правилам. Процесс чуть дольше, чем обычно, но вполне типовой.