烟台海军学堂的第一任校长是冰心的父亲，谢葆璋。
甲午战败后，清廷决定重建水师。鉴于威海、威海的北洋水师学堂毁于甲午战争的炮火，天津的水师学堂也被八国联军摧毁。海军人才缺乏，清廷决定由北洋水师统领兼海圻号管带的萨镇冰负责在烟台开办一所新式海军学堂。
萨镇冰让自己的福建同乡，在天津水师学堂时的学生和副手曾担任“海圻号”帮带，也就是副舰长的谢葆璋具体筹建学堂。
1902年冬，谢葆璋出任烟台水师练营管带，同时筹建学堂.
1903年冬天，烟台海军学堂在水师练营简陋的营房里诞生，谢葆璋为首任监督，也就是校长。
谢葆璋是当时担任天津水师学堂总教习的严复先生亲自面试招收的学生。他本人和严复先生是老乡，他的父亲和严复先生是至交好友。他曾经担任过来远舰的驾驶二副，在甲午战争的时候大东沟海战和威海保卫战中两次与日本舰队浴血奋战。1895年2月5日来远舰在威海港内被日本鱼雷艇偷袭击沉的时候，他凭借着一身好水性，在冰冷刺骨的海水里奋力游上了刘公岛。
在谢葆璋的领导下，烟台海军学堂发展迅速，短短几年便超过几个老牌的水师学校，位居清末四大海校之首。
烟台海军学堂学制三年，专门培养舰艇指挥官，是近代中国培养海军指挥军官最多的海军学校。
谢葆璋不但治学有方，还赏罚分明。学堂的学制参照英国海军学校的章程，学生的入学年龄平均为13岁到16岁，三年毕业没有寒暑假，每星期只有半天的休息。学习的科目包括英语、数理化等，一共有十五六门。每学期的考试成绩平均在80分以上的就给予学员奖励，平均在60分以下的就要劝其退学。
谢葆璋十分重视学生的品德教育，他提出"学堂以德育为贵，品必先于学"的思想。他建议由海军部设立端品勋章，专门颁发给品行端正的学生，同时对学习优秀的学生发给优学勋章。他认为，只有将二者结合起来，才能培养出更多品学兼优的学生。后来，海军部采纳了他的建议。
也许是因为在甲午海战中，他有泅水逃生的这段经历。谢葆璋十分强调在校学生的游泳训练。他认为，海军会游泳，就要像陆军会骑马一样，是必备的技能。为此，他制定严格的规定，学生不放暑假，在校进行游泳训练。凡是游泳课不及格的学生，即使他其他的课程都及格，也不能毕业。如此重视游泳训练，这在其他学校是没有的。
烟台海军学堂成立之时，内忧外患的大清王朝已经处在风雨飘摇之中，革命的思想通过各种渠道已经在学堂的师生中传播，到了清朝宣统元年，即1909年，筹办海军大臣载洵，在视察烟台海军学堂时，认为办的很好，于是清政府决定加派20名满族学生来校学习。但时隔不久，在1911年的学堂运动会上，满汉学生发生了斗殴，满族学生离校告状，闹出了一场风潮。北京派来的调查员郑汝成是谢葆璋的老同学，于是他私下对谢葆璋说："这几年呢一直有人在北京告你是乱党，还说学堂里的学生里面有不少是同盟会员。" 该调查员就劝谢葆璋："你呀立即辞职，以免落得个撤职查办的下场。" 谢葆璋这时候对清政府的腐朽统治已经不抱幻想，于是他毅然辞去了学堂监督的职务，带着家人离开了他倾注了八年心血的海军学堂，返回到福州老家。最后满汉斗殴风潮由山东省的地方官登莱青道道员出面解决，勒令学堂开除肇事的汉族学生，事情才算平息了下去。
1911年11月12日，武昌起义成功，负责开办烟台海军学堂的北洋海军统领萨镇冰此时奉清廷命令在武汉江面配合清军反攻，他看到老百姓帮助革命军追击清军的情形，大为惊讶。他就曾经说，他说我当兵这么多年了，从来没有看过如此壮丽的场面，老百姓支持当兵的。哎呀，足以见得大清已经失去民心久矣。所以说他看到这种东西，民心之向背，他让他感到更多情了。所以他统帅的军舰，基本处于这个观战状态。实在不行了，打几炮，打几炮，都是打偏的，故意打偏的。这时候萨镇冰的心情已经完全倾向于在革命军这边了。
当时的英国《泰晤士报》有报道说，水师提督萨镇冰统治舰队，自始至今，对于清军行为疏为淡漠。1912年底，黎元洪上书中华民国临时大总统袁世凯，称萨镇冰拖延不忍自残同种，暗中保全武昌，维持革命。袁世凯授予萨镇冰海军上将的军衔。
1912年2月12号，清帝退位。那么，这时候，烟台海军学堂就改为烟台海军学校。当时由北洋政府的海军部负责统辖。那么，第二年，1913年，海军部重新定了这个学校的章程，改监督为校长，已经是新式教育了。
长期以来，中国的海军一直是由福建人把持，各海军学校，也大都是从福建招收学生。
1916年的下半年，新任的广东籍海军总长程璧光，为了打破福建人控制海军的局面，决定首先改变海军学校学生的招生制度，制定了面向全国的招生计划。这一年的12月，烟台海军学校，最先按照新的招生制度招收新生。招生的程序，是先由各省自行初选，入选的学生再到上海，参加海军部考选委员会的复试。
结果，来上海复试的考生有近千名，他们来自全国21个省。校方经过筛选，最终从众多考生中录取了一百名。
烟台海军学校招收这一百多名学生，是由全国各省精选而来的。所以也是该校建校以来最为活力的一届学生。他们有热情，都是因海军，就是目标明显，就是我来海军干嘛？保卫祖国的海疆。渴望将来成为一名真正的海军军官，为中国海军做一番事业。
烟台海军学堂，因为有着明确的办学方向和严格的教学纪律，学员们在这里学到了本领，得到了锻炼，成长起一批栋梁之才。其中有很多人，成为中国近代革命进程中举足轻重的人物，成为中国近代史上的名人。1926年3月18日，蒋介石策划了令人震惊的中山舰事件，逮捕中山舰舰长，广东国民政府代理海军局局长李之龙，扣留中山舰及其他舰只，包围省港罢工委员会，驱逐了黄埔军校，及国民革命军中的共产党员。而李之龙，就曾是烟台海军学校学生。
李之龙是1916年考入烟台海军学校的，1921年即将毕业的时候，因为领导学生秘密进行进步活动而被校方开除了，所以李之龙应该说是肄业就去了上海，而在上海的时候，他接触了一个人，谁呀？就是参加中共一大的湖北代表董必武同志。并于当年的年末12月份加入了中国共产党，当时他年仅26岁。后来呢成为孙中山广东政府海军局的局长，军衔的中将。他是中共党员在大革命时期拥有军衔最高的。不幸的是呢，他1928年李之龙呢，被这个国民党的特务秘密杀害了。
还有一位同样是担任国民党海军舰长的人物，他的名字和事迹在中国解放战争史上也是异常的响亮。他组织指挥的一次事件，在当时震惊中国。在1949年2月26日，当时中国海军中吨位最大火力最强的重庆号巡洋舰在上海吴淞口起义。经过25小时的航行，到达当时解放区的第一大港烟台。1949年3月遭国民党空军轰炸，后沉没于大连葫芦岛海域。1951年，“重庆号”被打捞出水，因损毁严重，舰体被拆解作废钢处理，而率领“重庆号”起义的舰长邓兆祥就是烟台海军学堂1923年的毕业生。解放后，邓兆祥曾任北海舰队副司令，海军副司令，全国政协副主席。
此外，还有另一个不仅震惊中外，而且还给了国民党海军以致命打击的事件。1949年4月23日，国民党海军第二舰队20多艘舰艇，1271名官兵，在吴淞口同时宣布起义。领导这支舰队起义的，就是时任国民党海军舰队司令的林遵将军。林遵将军他是福建人，与林则徐同为福州闽侯林氏家族。他是1924年考入烟台海军学校的，是该校的第18届毕业生。后来，他被选派到英国，德国学习。1939年回国后，曾任海防第二舰队司令，驻西沙群岛舰队指挥官等职务。日本投降后，他率领太平号、中业号军舰接受南沙群岛，南沙群岛将南沙主岛以军舰名命名为太平岛并在岛上树立刻有太平岛字样的石碑。
林遵率领国民党海军舰队起义的壮举并非偶然，他的这次行动是与同是烟台海军学校同学的郭寿生分不开的。早在1923年，烟台海军学校第16届学生郭寿生就在王荷波、恽代英介绍下，成为烟台最早的中共党员和党组织负责人。而林遵既是郭寿生的校友，又是好朋友。
1948年9月，中共地下组织派人找到了当时担任国民党海军阅刊社的社长郭寿生。这个郭寿生原来是中共党员，后来在1927年4月12日反革命政变中与党组织长期失去联系。那么这一次，我党找到他，向他传达中央同志让他归队的指示。那么对于郭寿生来讲，这是失散多年的儿子找到自己的母亲一样高兴啊。就按照党组织的要求指令去做林遵起义的工作，所以郭寿生几次找林遵谈话。林遵呢，当时就表示："作为一个指挥官，我的良心尚存的时候，我愿意起义。"
林遵后来回忆说，那个时候我如同在长夜中看到了曙光，在黑暗中看到了光明。林遵同意起义了，但是毛主席认为呢，时机不成熟，让他忍忍待机。直到呢，1949年4月23号，林遵呢，奉党组织的指令，率舰队在南京江面起义了。毛泽东当时亲笔致电林遵，说庆祝你们在南京江面上壮举，你们率领了二十多艘舰船，依然脱离国民党阵营啊。参加到人民海军的伟大阵营，这是值得全国人民热烈欢迎的行动等等。那这个时候正值我海军刚刚建立不久啊，在白马庙。所以一下子，增加了这么多海军舰船，对我人民解放军海军的建立与发展，的确起了奠基的作用之一。
1949年8月28日，毛泽东在北京接见了林遵。1949年9月15日，林遵出任华东军区海军第一副司令员，后被选为中华人民共和国国防委员会委员，1955年被授予少将军衔。郭寿生在解放后，任华东军区海军司令部研究委员会副主任，赴北京参加开国大典。
烟台海军学堂自1903年创立到1928年南迁福州，并入马尾海军学校一共是18期，540名学员在此毕业。后来呢，因为战乱呢，这个马尾海军学校也是几经周转，先后到了湖南啊，贵州啊，重庆啊，等等。那么1946年，抗战胜利之后，他又迁回了青岛。当时呢，军校的名字叫青岛海军军官学校。后来呢，国民党这个战败淘汰之后，这所学校呢，又随之前往了台湾。可以这么讲啊，从他1903年直到1949年，这所院校真是有点命运多舛。
1928年冬，已经迁走的烟台海军学校校址，毁于一场大火，所有建筑荡然无存，以至于它留给后人的名，也许还有许多许多。学堂不复存在了，但烟台记得它，这海滨的每一条小路，每一块礁石，都会永远记得它。
