श्री गौबा वर्ष 1982 में 23 वर्ष की आयु में भारतीय प्रशासनिक सेवा में आए और उन्हें मूलत: बिहार संवर्ग आवंटित हुआ। वे बिहार में नालंदा, मुजफ्फरपुर तथा गया में जिलाधिकारी एवं पटना के उप विकास आयुक्त भी रह चुके हैं। वर्ष 2000 में झारखण्ड राज्य अलग होने के बाद उनको झारखण्ड संवर्ग आवंटित किया गया। उनके पिता श्री जे. एल. गौबा पटना में उप महालेखाकार के रूप में कार्यरत थे और श्री गौबा की शिक्षा पटना साइंस कॉलेज में हुई और वे पटना विश्वविद्यालय से भौतिक शास्त्र में गोल्ड मेडलिस्ट रहे। इससे पूर्व वे केन्द्र सरकार में गृह सचिव, शहरी विकास सचिव और झारखंड राज्य सरकार में मुख्य सचिव के महत्वपूर्ण पदों पर रह चुके हैं। इसके अतिरिक्त केंद्र सरकार के विभिन्न मंत्रालयों व विभागों, जैसे- शहरी विकास,रक्षा, वन एवं पर्यावरण, और इलेक्ट्रॉनिक्स एवं सूचना प्रौद्योगिकी विभाग में भी श्री गौबा ने सेवा दी है। उन्होंने अंतर्राष्ट्रीय मुद्रा कोष में भी चार साल तक भारत का प्रतिनिधित्व किया है।अनुच्छेद 370 को रद्द करने और जम्मू-कश्मीर के पुनर्गठन के केंद्र सरकार के निर्णय को लागू करने में श्री गौबा की महत्वपूर्ण भूमिका रही। एक छोटी कोर टीम के साथ, उन्होंने इस मामले से जुड़े प्रशासनिक और सुरक्षा-व्यवस्था पर काम करते हुए इसके संवैधानिक और कानूनी पहलुओं को अंतिम रूप दिया।
इससे पहले, गृह मंत्रालय में अपर सचिव के रूप में अपने कार्यकाल के दौरान, उन्होंने एलडब्ल्यूई (वामपंथी उग्रवाद) से निपटने के लिए 2015 में एक बहु-स्तरीय कार्य योजना तैयार की और इसके कार्यान्वयन को आगे बढ़ाया,जिसके परिणामस्वरूप माओवादियों के प्रभाव में काफी कमी आयी।झारखंड के मुख्य सचिव के रूप में श्री गौबा ने प्रमुख शासकीय और आर्थिक सुधारों की शुरुआत की जिसमें प्रोफेशनल्स के लेटेरल इंट्री, मंत्रालयों के आकार घटाने एवं पुनर्गठन और श्रम सुधार शामिल है। इनके कार्यकाल के दौरान “ईज ऑफ डूइंग बिजनेस” की तालिका में झारखंड निचले पायदान से उपर उठ कर तीसरे स्थान पर पहुंच गया।
