Swami Atmavidyananda nasceu Arvind Joshi, em uma família brâmane tradicional, em 1971, em Bhopal, Estado de Madhya Pradesh, Índia. Desde a infância, o ambiente espiritual e a orientação de seus pais nutriram nele a verdadeira busca por Deus.
Após graduar-se em engenharia mecânica, ele conheceu Paramahamsa Hariharananda e, com as suas bênçãos, foi iniciado no Kriya Yoga em 1994, no Ashram de Rourkela, Índia. Juntamente com as suas responsabilidades profissionais, depois de completar o primeiro Curso de Treinamento de Brahmachari em Regime de Internato, organizado sob os auspícios de Paramahamsa Prajnanananda, tendo estudado sânscrito e as escrituras, ele dedicou a sua vida às práticas espirituais e à busca por Deus como um residente do Hariharananda Gurukulam.
Ele foi ordenado como um monge da ordem monástica Giri em fevereiro de 2009 e recebeu o nome de Atmavidyananda, que significa “bem-aventurança do autoconhecimento”. Ele vem guiando e ensinando meditação no Hariharananda Gurukulam, em Balighai, desde setembro de 2004. Ele tem viajado e ensinado Kriya Yoga nos Estados Unidos, Canadá e Europa.