清光緒二十五年（1899年），清政府恢復(fù)北洋艦隊。原“靖遠(yuǎn)”艦管帶葉祖珪出任統(tǒng)領(lǐng)，原“康濟(jì)”艦管帶薩鎮(zhèn)冰出任幫統(tǒng)。薩鎮(zhèn)冰是福州人，與謝葆璋是同鄉(xiāng)。謝葆璋入天津水師學(xué)堂學(xué)習(xí)時，薩鎮(zhèn)冰任學(xué)堂正教習(xí)，謝葆璋在“威遠(yuǎn)”艦實(shí)習(xí)時，薩鎮(zhèn)冰又是該艦管帶，所以，薩鎮(zhèn)冰既是謝葆璋的長官又有師生之誼，以后，兩人共事于北洋艦隊，過從甚密。北洋艦隊重建，急需海軍人才，薩鎮(zhèn)冰很自然就想到謝葆璋。于是，電召他重返海軍任職。
是年，清政府從英國購買兩艘4300噸的巡洋艦，一艘名為“海天”，一艘名為“海圻”，都是當(dāng)時中國海軍最大的戰(zhàn)艦。薩鎮(zhèn)冰兼任“海圻”艦艦長，謝葆璋被任命為副艦長。
清光緒二十六年（1900年）10月5日，35歲的謝葆璋有了第一個孩子——女兒謝婉瑩。不久，謝葆璋的妻子帶著僅7個月的女兒，從福州老家遷往上海。謝葆璋的巡洋艦多在此駐泊，一家人可以經(jīng)常團(tuán)聚。清光緒二十八年（1902年）冬，謝葆璋出任煙臺海軍練營管帶，又離開上海。
甲午戰(zhàn)爭期間，北洋艦隊在旅順、威海的海軍學(xué)校都?xì)в趹?zhàn)火。清光緒二十六年，謝葆璋的母校天津水師學(xué)堂又毀于八國聯(lián)軍的炮火，北洋艦隊失去最后一個人才培養(yǎng)基地。
清光緒二十九年（1903年）冬天，北洋新的海軍學(xué)?！?/span>煙臺海軍學(xué)堂，在海軍練營簡陋的營房里誕生，謝葆璋為首任監(jiān)督（校長）。
由于謝葆璋的出色領(lǐng)導(dǎo)，煙臺海軍學(xué)堂發(fā)展迅速，短短幾年便趕上和超過一些老牌的海軍學(xué)校，位居清末四大海校之首。煙臺海軍學(xué)堂學(xué)制三年，專門培養(yǎng)艦艇指揮官，是近代中國培養(yǎng)指揮軍官最多的海軍學(xué)校，抗日戰(zhàn)爭期間，中國海軍80%以上的艦艇長是該校的畢業(yè)生，煙臺海軍學(xué)堂（民國后改稱煙臺海軍學(xué)校）對中國海軍發(fā)展作出了重要的貢獻(xiàn)。
謝葆璋治校十分重視學(xué)生的品德教育。他提出“學(xué)堂以德育為貴”、“品必先于學(xué)”的思想。而以往各海軍學(xué)校“于學(xué)問精長、屢列優(yōu)等者，皆優(yōu)給獎賞。獨(dú)品行端正者，轉(zhuǎn)付缺如，誠非務(wù)本之道”。因此，謝葆璋建議由海軍部設(shè)立“端品勛章”，專門頒發(fā)給品行端正的學(xué)生。同時，對學(xué)習(xí)優(yōu)秀的學(xué)生發(fā)給“優(yōu)學(xué)勛章”。他認(rèn)為，只有將二者結(jié)合起來，才能培養(yǎng)出更多品學(xué)兼優(yōu)的學(xué)生。后來，海軍部采納他的建議。
也許是因為有甲午海戰(zhàn)中泅水逃生的經(jīng)歷，謝葆璋十分強(qiáng)調(diào)在校學(xué)生的游泳訓(xùn)練。他認(rèn)為，海軍會游泳，如同陸軍會騎馬一樣，是必備的技能。為此，他制訂嚴(yán)格的規(guī)定：學(xué)生不放暑假，在校進(jìn)行游泳訓(xùn)練，凡游泳課不及格的學(xué)生，即使其他課程都及格，也不能畢業(yè)。如此重視游泳訓(xùn)練，在其他海軍學(xué)校是沒有的。
謝葆璋是位有進(jìn)步思想的愛國軍人，冰心的舅舅楊子玉是同盟會會員，經(jīng)常與謝葆璋一起作詩談文，借抒情懷。
煙臺海軍學(xué)堂的學(xué)生，受進(jìn)步思想的影響，對清政府的腐朽統(tǒng)治和中國海軍的衰敗狀況日益不滿。他們訂閱不少清政府明令禁止的同盟會報刊，開始逐步同情和支持孫中山領(lǐng)導(dǎo)的資產(chǎn)階級革命，個別學(xué)生甚至與同盟會建立秘密聯(lián)系。
清宣統(tǒng)元年（1909年），籌辦海軍大臣載洵視察煙臺海軍學(xué)堂，認(rèn)為學(xué)堂辦得有成績，質(zhì)量較高。于是，清政府決定選派20名滿族貴胄學(xué)生來校學(xué)習(xí)，提前畢業(yè)，以加強(qiáng)滿族人對海軍的控制。
滿族貴胄學(xué)生的到來，激起漢族學(xué)生強(qiáng)烈的反抗情緒，雙方不斷發(fā)生磨擦。宣統(tǒng)二年（1910年）的春季運(yùn)動會上，為爭奪一項錦標(biāo)，互相仇視的滿漢學(xué)生爆發(fā)激烈沖突。事件發(fā)生后，地方官員秉承朝廷旨意，要求校方嚴(yán)懲漢族學(xué)生。謝葆璋不肯偏袒滿族貴胄學(xué)生，據(jù)理力爭。不久，清政府命海軍部官員鄭汝成來校查辦此事。
鄭汝成是謝葆璋天津水師學(xué)堂的同班同學(xué)。他告訴謝葆璋，煙臺海軍學(xué)堂中的各種進(jìn)步活動已引起清政府的注意，京城的一些官員甚至指責(zé)謝葆璋是“亂黨”。鄭汝成勸謝葆璋趕快辭職，退身遠(yuǎn)禍，免得落個撤職查辦的下場。
謝葆璋對清政府的腐朽統(tǒng)治已不抱幻想，毅然辭去監(jiān)督職務(wù)，帶著家人離開他傾注了8年心血的海軍學(xué)堂，返回福州家鄉(xiāng)。在家里，他不同意女兒謝婉瑩扎耳朵眼兒，更不讓給女兒穿緊鞋。也從來沒有責(zé)備過女兒，父親是婉瑩啟蒙的老師。
