哈尔滨市第三中学成立于1923年10月,初名为中东铁路普育学校,由督办王景春创建,校址在南岗原莫斯科商场第二号房(现省博物馆内)。
1926年8月,被东省特别区教育局接管。
1927年,改称“东省特别区第三中学”。
1928年,学校迁往南岗区果戈里大街415号老校区校址。“九·一八”事变后,校址被日伪第四军管区占用,第三中学并到道外区景阳街的“第二中学”,先后改名为“东省特别区区立师范”、“第二中学”、“第三中学”、“滨江省立哈尔滨市第三国民高等学校”。
1946年,“四·二八”哈尔滨解放后,改名为“松江省立第二中学”。
1954年3月,迁回现址,校名改为“哈尔滨市第二中学”。并被定为哈尔滨市重点中学。
1964年,校名恢复为“哈尔滨市第三中学”。
1978年,被正式确立为黑龙江省省级重点中学。
1995年,学校与哈尔滨松雷集团合作,建立哈尔滨市松雷中学。
1999年,学校民办公助校三发中学成立。
21世纪初,学校在哈双公路附近建立新校区,2002年秋季落成并正式启用。