南京大学以三江师范学堂筹建的1902年作为学校建校时间。南京大学主源为中央大学，次源为1952年主体并入的金陵大学。金陵大学从1888年汇文书院成立，至1952年撤销建制主体与南京大学合并，历经64载春秋。
三江师范学堂
1902年5月，张之洞与其好友、时任两江总督的刘坤一一起向清廷上奏，呈请在两江总督署江宁（即南京）办一所师范学堂，同年开始筹建三江师范学堂。教员一部分聘请中国学者，另一部分则从日本聘来，开了南京现代意义的高等学府之先河。
两江师范学堂
1905年，三江师范学堂易名两江优级师范学堂。李瑞清出任两江师范学堂监督（校长）。
以“嚼得菜根，做得大事”为校训，大力提倡科学、国学和艺术教育，在高校首创艺术系科，为中国培养了第一代近代化的美术师资和艺术人才。辛亥革命前后，政局动荡，学堂曾一度停办，1914年8月续办。
南京高等师范学校
1914年8月30日，江苏巡按使韩国钧委任江谦校长筹办南京高等师范学校，“苏省原有两江师范学校，前因军兴中辍，现在大局已定，亟应由省续行开办，以储师资”，两江师范学堂乃得以改设，成为南京高等师范学校。
1915年设立中国第一个体育科，为中国高等体育教育的开端。1917年设立商科，1918年10月，中国科学社设在南高师，主要成员多在南高、东大任教，他们多是将各自领域西方现代科学系统引入中国的先驱，因而南京高师被称为“中国现代科学大本营”、“中国自然科学的发祥地”。1921年迁至上海扩充为商科大学，是中国第一所商学院。在中国现代科学的早期，半数以上的在国际顶尖科学杂志发表研究成果的中国科学家是南京大学的教职或毕业生。
国立东南大学
1920年，在南京高等师范的基础上又组建了国立东南大学。“南高师”与“东大”共处同一校园，资源共享。1923年7月，南京高等师范学校校牌撤去，南高正式并入东大，遂称之为国立东南大学。
1920年4月，郭秉文在校务会议上提出“建立南京大学”的建议，联名致书教育部，“拟就南京高等师范学校校址及南洋劝业会旧址，建设南京大学，以宏造就”，但由于各种原因，这一提议并没有获得当时教育部门的批准。12月7日国务会议全体通过，同意以南高师各专修科为基础筹办大学，定名为国立东南大学。1921年国立东南大学正式招生开办，郭秉文、蒋维乔等先后执掌校政。
1920年，正式招收8名女学生入学，在中国国立高等学府中首开“女禁”，引领男女同校之风。竺可桢为南京大学60周年校庆题词：“东南学府，为国之光。男女同校，惟此首创。外御强敌，内抑豺狼。天下有道，黉舍乃昌。”
1920年9月实行选科制与学分制，开设必修及选修课，修毕一定学分方可毕业。这些改革逐步为全国教育界所采用。最早在中国开展现代学术研究，建立了全国最早期的现代科学研究实验室，成为中国最早的以大学自治、学术自由、文理为基本兼有农工商等专门应用科、集教学和研究于一体为特征的现代大学，被称为“中国第一所现代大学”。当时在国际上被认为是中国最优秀的大学；国际教育会东方部主任孟禄评价其为“中国政府设立的第一所有希望的现代高等学府”、“中国最有发展前途的大学”，将来之发达可颉颃世界最佳大学。
1921年10月，柳诒徵、刘伯明、梅光迪等人成立学衡社，1922年1月创办《学衡》月刊，展开现代中国文化复兴运动，其间成为中西学术文化交流的中心，国内外着名学者多来校讲学，誉为“东方教育的中心”。
1923年8月，因经费紧张，东大停办工科，工科与河海工程专门学校合组为河海工科大学。
国立第四中山大学
1927年，国民政府成立，教育行政委员会经过通盘考虑，实行大学区制，国立东南大学、河海工科大学、上海商科大学、江苏法政大学、江苏医科大学以及江苏境内四所公立专门学校的9所公学合并，在首都南京改组易名“国立第四中山大学”，以纪念孙中山先生及北伐军攻克的第四座历史文化名城。
国立江苏大学
学校更名第四中山大学后，教育界人士普遍认为中山大学不止一处，不易辨认。1928年国民政府颁行《大学区条例》，要求“各省大学依据各地名名之”，规定改第四中山大学为江苏大学。于是，1928年2月改名为“江苏大学”。此令一出，即刻招到广大师生的反对，他们认为这样的更名“既不足以冠全国中心之学府，又不足以树首都声教之规模”。全校师生群情激愤，组成“改定校名请愿团”，要求政府依照英国伦敦大学，法国巴黎大学等的做法，将校名改为“国立南京大学”。但国民政府执意要改江苏大学，最后还是定名为江苏大学。
国立中央大学
1928年5月16日，国民政府行政院作出决议，“江苏大学”改称“国立中央大学”，张乃燕仍为校长。
1927年9月，中华自然科学社在校始创。1939年，潘菽、梁希、金善宝等知名教授在该校发起创立“自然科学座谈会”，1944年改建为中国科学工作者协会。1945年，为纪念抗战胜利，“自然科学座谈会”改名为“九三座谈会”，随后更名为九三学社。1958年，以源于该校的中国主要科学团体为基础在北京组建中国科学技术协会。
1932年，柳翼谋、缪凤林、张其昀等人，传承、发扬中国学统，以弘扬中华文化和昌明世界最新学术为任，结为国风社，开办《国风》学刊。9月，设于上海的商学院、医学院独立，1935年在南京重建医学院。
1937年7月抗战爆发，学校顺利西迁入川，校址设在重庆沙磁区沙坪坝松林坡，史称“重庆中央大学”。
1940年前后，该校学生先后创刊《太公报》和《大学新闻》。
1945年8月抗战胜利后，吴有训出任校长。1946年11月1日在京（当时南京的简称）开学。全校设文、法、理、农、工、医、师范七个学院、37个系、6个专修科、26个研究所，是全国院系最全、规模最大的大学。根据1947年的统计，全校教职员1266人，学生4066人。其规模之宏大，学科之齐全，师资力量之雄厚，均居全国各大学之首，因而有“民国最高学府”之称。
1948年，在普林斯顿大学的世界大学排名中，中央大学已超过日本东京帝国大学（现东京大学），居亚洲第一。
国立南京大学
5月7日，南京市军管会主任刘伯承、副主任宋任穷派员接管国立中央大学。8月8日，国立中央大学更名为国立南京大学，12日成立国立南京大学校务委员会，梁希为主席。
南京大学
1950年10月10日，接华东军政委员会教育部通知，校名去 “国立”两字而径称“南京大学”。校长周鸿经去职，梁希担任校务委员会主席。
1951年7月，南京大学改校务委员会制为校长制，潘菽任校长。这一阶段，学校根据“维持原有学校，逐步进行改善”的工作方针，通过一系列积极稳妥的改革，确立了社会主义办学方向，明确了教学与科研相结合的方针和民主集中制的领导体制，为日后的发展奠定了基础。
南京大学（1950- ）
1952年7月进行院系调整，南京大学调整出工学、农学、师范等院系成立南京工学院、南京农学院、南京师范学院等院校以及组建有关院校相关系科；保留文、理学院，主要并入金陵大学文、理学院，校址从四牌楼2号迁至鼓楼原金陵大学校址，成为文理综合性大学。
1956年12月，潘菽率心理系师生迁到北京组建中国科学院心理研究所，次年郭影秋接任校长，1963年匡亚明任校长。1966年文革爆发，教学工作受到破坏，本科生停止招生6年，研究生停止招生12年；当时南京大学以被称为曾是“国民党反动派的高等学府”、“国民党的文化中心”等理由而受到特别的冲击。
1976年，南大在校师生率先发起旨在反对和结束文化大革命的南京三·二九事件”，为四五运动的先声，南京反文革势力运动，影响全国。
1978年5月，哲学系青年教师胡福明发表了《实践是检验真理的唯一标准》，引发全国真理标准问题大讨论，拉开了当代中国思想解放的序幕，推动了邓小平领导开创的中国改革开放时代的到来。
1978年5月，匡亚明复任校长，1984年8月，曲钦岳任校长。
1993年，南京大学浦口校区投入使用。
1994年，南京大学被确定为国家“211工程”重点支持的大学。
1999年，南京大学进入国家“985工程”首批重点建设的高水平大学行列。
2006年，教育部和江苏省再次签订重点共建南京大学的协议。
2009年10月，南京大学仙林校区启用，原浦口校区移交金陵学院。仙林校区按规划和鼓楼校区协作分工，将成为南京大学主校区。
2009年12月30日，南京大学在原有的物理学系、电子科学与工程系和材料科学与工程系的基础上，新组建成立了物理学院、电子科学与工程学院、现代工程与应用科学学院，实现文理工医四大学科领域协调发展。
2011年，教育部和江苏省签署协议继续重点共建南京大学。
2016年5月，国务院办公厅印发《关于建设大众创业万众创新示范基地的实施意见》，南京大学入选成为首批4个高校和科研院所双创示范基地之一。