五代末年，此处是吴越国广陵王钱元璙近戚中吴军节度使孙承佑别墅一隅，后渐废。北宋时系沧浪亭的一部分，南宋时韩世忠居沧浪亭时，辟其址为宅院，增修扩建，成为“韩园”宅邸。清乾隆三十二年（1767年），巡抚沈德潜在此重筑园林，名为“近山林”。再取“仁者乐山，智者乐水”之意，又名“乐园”。乐园建成后，其东面为正谊书院，西面是沈氏宗祠和宅院，三部分实为一体。沈德潜曾读书于此。有人曾误以为是“行乐”之乐，乾隆间大吏说是“行乐不可训也”。道光七年（1827年），布政使、江苏巡抚梁章钜重加修葺，划归正谊书院，成为书院园林，易名为“可园”。当时占地20余亩，有挹清堂、坐春舻、濯缨处等景点。泾县朱珔来主正谊书院讲席，他在《可园记》写道：“园之堂，深广可容，堂前池水，清法可绝故颜，堂曰艳清。池亩许，蓄倏鱼可观，兼可种荷，缘崖磊石可憩．左平台临池可钓，右亭作舟形曰坐春舫，可风，可观月，四周廊庞可步，出廊数武屋三楹，冬日可延客，曰灌缨处，旧园外隔溪即沧浪亭，故援孺子之歌，可以灌缨也。”由此可见，园址与沧浪亭同源，园名也与沧浪亭同源，取自《孟子》“沧浪之水清兮，可以灌我缨”之句。林则徐任江苏巡抚时也曾在园内讲学。

    咸丰、同治年间，可园受到兵火破坏。光绪十四年（1888年），江苏布政使黄彭年重修，成立“学古堂”，建“博约楼”，藏书八万卷。园中增植梅树逾百。 “铁骨红”古梅有“江南第一枝”之誉。光绪三十一年（1905年），清政府在洋务派主持下宣布全面废除科举制度，并先后颁布《鼓励游学毕业生章程》和《考验游学毕业生章程》，使留学生可经过考核获得等同科举的仕途出身。江苏巡抚陆元鼎停办学古堂，改设游学预备科，作为本地选送出国留学生的专门机构；并于当年选送6名公费生赴英国留学。光绪三十三年（1907年），又改为存古学堂。辛亥革命时期，张默君女士在此创办《大汉报》。1914年，设江苏省立苏州图书馆于此，“挹清堂”为阅报室，“濯缨处”则为儿童阅览室。园中植梅百余株，红白绿色俱备，其中古梅“铁骨红”传为黄彭年办学古堂时植，有“江南第一枝”之誉。民国二十五年，举办“梅展”，张默君重来故地。与邵元冲、汤国梨等步韵唱和，传诵一时。抗日战争胜利后仍荷花满池，梅林书楼，相互掩映。1951年，可园为苏南工业专科学校办公及师生疗养用，1957年后为苏州医学院使用。因地势颇低，每逢台风暴雨，积水受淹，“铁骨红”梅等古树于50年代陆续枯死。园内建筑也年久失修。1963年，园被列为苏州市级文物保护单位，医学院曾拨款修缮。如今的可园归苏州大学管理，是中华预防医学会自由基预防医学专业委员会常委会办公场所,也是一个爱国主义教育的基地。