Сразу же после возвращения Бориса Николаевича и Нины Ивановны Абрамовых на родину перед ними во всей своей остроте встала извечная проблема миллионов россиян – квартирный вопрос. Не обошлось и без нарушения предварительных планов и договоренностей, на которые Борис Николаевич рассчитывал. В своей книге Б. Данилов кратко описал то «хождение по мукам», которое выпало на долю четы Абрамовых в СССР. Открывая границу для всех желающих вернуться из-за рубежа на родину, советские власти агитировали возвращающихся ехать на целинные земли и селиться там. Переезд из-за границы в города СССР был разрешен только тем, кого могли там обеспечить жилплощадью родственники или знакомые. Одна из учениц Б.Н. Абрамова, вернувшаяся на родину ранее него и поселившаяся в Новосибирске, сначала обнадежила Абрамовых возможностью постройки дома, в котором одна квартира предназначалась для них. Но семье этой женщины неожиданно было предоставлено жилье в коммунальной квартире, в связи с этим ее планы изменились, и она отказалась от строительства собственного дома. В результате перед Абрамовыми встала проблема поиска жилья. А найти приличные варианты с квартирой в то время семье, вернувшейся на родину из-за рубежа, было практически невозможно.
Приехавшие из Китая в СССР друзья сами ютились почти в таких же, если не худших, условиях.
В 1957 году из Индии в СССР вернулся Ю.Н. Рерих. Б.Н. Абрамов, знакомый с ним с времен приезда Рерихов в Харбин, поехал в Москву повидаться с ним. Во время встречи, бывшей очень теплой, Ю.Н. Рерих поинтересовался у Б.Н. Абрамова, как тот устроился в Новосибирске. Узнав о жилищных мытарствах Абрамовых, он сделал попытку помочь им. Сам он тогда, совсем недавно вернувшийся на родину, не имел особых возможностей помочь Абрамовым с жильем, но рассказал об их трудностях знакомому академику, с которым был в хороших отношениях. Академик предложил Абрамовым казавшийся поначалу хорошим вариант. У академика была дача в Подмосковье, во дворе которой был небольшой флигель, в котором можно было жить и зимой. Хозяин дачи предложил Абрамовым переселиться в этот флигель. Предложение было принято, Абрамовы переехали в Москву. Однако решение жилищной проблемы оказалось недолгим. Предлагая Абрамовым занять флигель, академик не знал о том, что прописка в такого рода жилье могла быть только временной. А что значило в советские времена не иметь постоянной прописки – хорошо известно тем, кто родился в СССР. В итоге перед Абрамовыми во всей полноте встала угроза необходимости возвращения обратно, в Новосибирск. Переезд из одного города в другой, да еще на такие расстояния, стоил уйму денег, которых у Абрамовых и так не было. А самое главное – из-за постоянных переездов и связанных с ними переживаний здоровье Нины Ивановны сильно пошатнулось. Это значительно осложнило и без того гнетущую ситуацию. В итоге Абрамовы решили не возвращаться в Новосибирск, а найти жилье где-нибудь поближе к тому месту, где они находились. Как писал Б. Данилов, они перепробовали еще несколько вариантов поиска постоянного места жительства, которые не устроили их в силу разных обстоятельств, пока наконец в 1961 году не добрались до города Венева Тульской области. Этот небольшой старинный город и стал их прибежищем на всю оставшуюся жизнь. Б. Данилов писал, что в Веневе была какая-то особенная, хорошая в духовном отношении атмосфера. И сейчас в этом городе радуют глаз красивые природные места, много храмов, и среди них Венев-монастырь, в котором бывал сам Сергий Радонежский.