После обучения в колледже он один отправился в Гималаи на поиски Бога и получил там божественное указание о том, что сейчас он должен возвращаться "в мир", в Калькутту, поскольку именно там должен встретить своего вечного Гуру.
Посетив однажды в Калькутте храм Гоудия Матха, он увидел Шрилу Бхактисиддханту Сарасвати Тхакура и, ясно поняв, что это и есть его вечный Учитель, навсегда остался с ним, получив посвящение (с именем Хайагрива Брахмачари). Он делал огромное служение для Шри Гоудия Матха.
Шрила Мадхава Госвами Махарадж восстановил место Явления Шрилы Бхактисиддханты Сарасвати Тхакура в Пури Дхаме, чем снискал ещё большее уважение и любовь своих духовных братьев и всех Гоудия-Сарасват- Вайшнавов. На этом месте он построил большой храм, который хорошо видно с Гранд Роуд вместе с древним Шри Джаганнатх Мандиром.
Мадхава Госвами Махарадж имел много встреч с видными учёными и политическими деятелями из правительства Индии, обращаясь к ним с посланием Шри Гоудия Матха и получая всяческую поддержку с их стороны. У него было множество учеников из разных слоёв общества, и некоторые его духовные братья также принимали его своим наставником.
Он полностью забывал о себе, погружаясь в Киртан и Хари-катху, которые были для него жизнью и душой. Он оставил этот мир в 1979 г. Самадхи-мандир Шрилы Мадхавы Госвами Махараджа находится в Шридхам Майапуре, Ишодйан.
