પછી, તેઓ નર્મદા નદીની યાત્રાએ નીકળી પડ્યા. ત્યાં તેમને એક અજોડ શિવલિંગ પ્રાપ્ત થયું, એ જ શિવલિંગ વડોદરાની ધરતી પર લાવીને તેમણે મંદિરમાં સ્થાપન કર્યું અને ગણેશ મંદિરની નજીક એક શિવમંદિરની સ્થાપના કરી જે આજે “કાશી વિશ્વનાથ મંદિર” તરીકે જાણીતું છે.મંદિરનું બાંધકામ લગભગ 130 વર્ષ પહેલાં થયું હતું. પણ તેનું પુનર્નિર્માણ 1989માં આરંભી, 2000 સુધી પૂર્ણ કરવામાં આવ્યું. આજે અહીં માત્ર કાશી વિશ્વનાથ મંદિર નથી, પણ પૂરા મંદિર સંકુલમાં ગણેશ મંદિર, સોમનાથ મંદિર, હનુમાન મંદિર અને ચિદાનંદ સ્વામીજીની સમાધિ પણ સ્થિત છે. આગળ ચાલીને અહીં ગૌશાળાનું પણ નિર્માણ થયું, જ્યાં આરંભે 2-3 ગાયો હતી, આજે તે સંખ્યા 20 થી વધુ છે.

કાશી વિશ્વનાથ મંદિરનો મુખ્ય પ્રવેશદ્વાર આકર્ષક નકશીકામથી શોભિત છે. અંદર પ્રવેશતા જ કાળા પથ્થરમાં ઊંડા શિલ્પમાં ઊતારેલી નંદી અને કાચબાની પ્રતિમાઓ ધ્યાન ખેંચે છે. બંને બાજુએ ચિદાનંદ સ્વામી અને વલ્લભરાવ સ્વામીજીની મૂર્તિઓ સ્થાપિત છે. મંદિરના દરેક સ્તંભ, દિવાલો પર દેવદેવીઓના અદ્વિતીય શિલ્પો જોવા મળે છે, જે ભક્તિ સાથે કળાનો સમન્વય છે.શ્રાવણ માસના દરેક શનિવાર અને સોમવારને પાવન અવસરે અહીં ભક્તોનો ઘસારો રહે છે. ભક્તિ, ભજન, આરતી અને શિવપથનાં મંત્રોથી આખું વાતાવરણ શિવમય બની જાય છે. મહાશિવરાત્રીના દિવસે અહીં વિશાળ મેળો ભરાય છે, જેમાં સહસ્રો ભક્તો દક્ષિણ ગુજરાતથી લઈને અન્ય રાજ્યોમાંથી પણ અહીં દર્શનાર્થે આવે છે.