在北塘北岸正中,南与藻泳楼相望。歇山顶,高两层,四周有廊道。南侧有平台伸向水中,便于赏荷。阁名借用《晋书·郗鉴传》赞语“高芬远映的词句来赞美荷花,谓高洁的节操灿如日光,远照四方。阁联“林荫晴和,兰言曲畅;流水今日,修竹古时”,为清代有“淡黑探花”之誉的书法家王文治所撰书。乾隆皇帝在《莲池行宫十二景题咏高芬阁》中赞叹说:
延楼连属贮羲文,相映罘瑞色氲。
那更名言藉司马,早应此阁号高芬。