광남서원은 황보인, 황보석, 황보흠을 배향하기 위해 1791년(정조 15)에 지방 유림과 그 후손들이 세운 세덕사가 시초이며, 1831년(순조 31)에 ‘광남서원’으로 사액되었다. 1868년(고종 5) 흥선대원군의 서원철폐령으로 훼철되었다가 1900년에 복원되었다. 매년 3월 중정(中丁)에 향사를 지내고 있다.