김순흠(金舜欽)은 1840년 김경조(金慶祖)의 8세손으로 태어났다.

어릴 적부터 총명하여 6세 때에 조부에게서 한문을 배우기 시작하여 8세에는 스스로 시문(詩文)을 지을 정도였다. 12세에는 소학을 공부하여 충효야말로 사람으로서 지켜야 할 기본 도리임을 깨달았다. 그래서인지 김순흠은 효성이 지극하였다. 아버지가 외출을 했을 때에는 비록 늦은 밤이더라도 동구 밖까지 나가서 기다리다가, 아버지의 모습이 좀처럼 보이지 않으면 칠흑 같은 어둠 속에서도 고개를 넘어 마중을 나가곤 하였다.

김순흠은 29세 되던 해 모친상을 당하였다. 숨을 거두기 전 어머니가 병환으로 자리에 누워있을 때 곁을 떠나지 않고 지극정성으로 보살펴 드리는가 하면, 약을 달여 자신이 먼저 맛을 보고 드렸다. 평소 술을 즐기셨던 어머니가 술을 드시려고 하면 몸에 해롭다는 생각에 간곡히 만류하면서 드리지 않았는데, 김순흠은 어머니가 세상을 뜨자 이것이 마음에 걸려 평생 술을 멀리하기도 하였다. 그 후 37세 때 부친상을 당하자, 김순흠은 애통함을 이기지 못하여 곡(哭)을 하는 도중에 수차례 정신을 잃기도 하였다.

아버지의 3년상을 마친 뒤 김순흠은 마음을 가다듬고 학문에 진력하면서 후학을 양성하는 일에 힘을 쏟았다. 그러던 중 1882년 임오군란이 발생하자 아예 세상과의 인연을 끊고 살았다. 1894년 조정으로부터 벼슬 천거가 있었지만 끝내 거절하였으며, 같은 해 동학란이 일어나자 영주로 피난을 가서 그곳 젊은이들에게 글을 가르치기도 하였다.

1896년 왜적의 침입이 점차 잦아지자 영남 각지에서 의병이 봉기했는데, 이에 김순흠은 안동과 의성, 예천 등지의 의병 군영 상황을 살펴보고 나서 참여하려고 했으나 해체되는 바람에 뜻을 이루지 못하였다. 이후 예천으로 이거하여 10년의 세월을 보냈다.

1905년, 예순의 나이를 훌쩍 넘긴 김순흠은 을사협약의 소식을 전해 듣고는 울분을 이기지 못해 「토오적문(討五賊文)」을 지어 유림들에게 배포하고 매일을 통곡하였다. 그러고는 옛날 은나라의 충신 백이와 숙제의 노래를 거울삼아 「서산가(西山歌)」를 지어 나라를 위해 목숨을 버리겠다는 결심을 마음속으로 다졌다. 다음은 「서산가(西山歌)」의 전문이다.

척피용산혜(陟彼蓉山兮: 용산에 올라가서)

채기미의(採其薇矣: 고사리나 캐어볼까)

초왜멸국혜(招倭滅國兮: 왜놈을 끌어들여 나라를 망치니)

명지기비의(明知其非矣: 그 죄를 분명히 알겠구나)

선왕선철불능망혜(先王先哲不能忘兮: 옛 님을 잊을 수 없음에)

아가종귀의(我可從歸矣: 나는 뒤따라가리)

우차천혜(吁嗟天兮: 아, 하늘이여)

운지쇠의(運之衰矣: 국운이 끝남인가)

1907년, 일제는 통감부를 설치하고 조선의 모든 외교권을 박탈했고, 같은 해 겨울부터 조선총독부에서 전국의 마을을 대상으로 세금을 수탈하러 다녔다. 소식을 전해들은 김순흠은 통곡을 하면서 “나는 왜놈의 백성은 될 수 없다. 나의 뜻은 이미 결정한 지 오래다. 이제까지 그 결심을 실행치 않은 것은 선조 묘소에 가토(加土)를 아직 못하였기 때문이다.” 하고는 산나물과 고사리로만 끼니를 때우면서 지내다가 이듬해 1908년 9월 3일 가토를 마치고 6일부터 절식(節食)에 들어갔다.

그리고 장남 김낙용(金洛鏞)에게 유언하기를 “내가 죽은 뒤에 빈소는 차려놓고 곡은 하여도 상식(上食)은 차리지 마라. 왜적이 물러나지 않는 한 아무리 좋은 음식이라 할지라도 내 영혼은 와서 먹지 아니할 것이다.”고 하였다. 그리고 “아비가 죽으면 자식으로서 망극한 슬픔은 당연하겠지만 나의 의리는 태산처럼 무겁고 죽음은 홍모(鴻毛)와 같이 가벼운 것이니, 너희들 4형제는 마음 편히 먹고 나의 뜻을 거슬리지 마라.”고 당부하였다. 그리하여 절식한 지 6일째 되던 9월 11일에는 스스로 만시(輓詩)를 지었으며, 9월 18일에는 「자경구(自警句)」를 썼는데, 이것이 마지막 글이었다.

며칠 후 김순흠은 기력은 쇠약했으나 정신은 오히려 또렷한 상태에서 아들 4형제와 며느리 들을 불러 모아 “너희들이 나에게 미음 한 술도 안 넣어 보면 자식으로서 평생의 한이 될 것이니, 속히 미음을 지어 각기 정(情)을 펴라.”고 하였다. 그리고 4형제와 며느리들이 떠 넣어주는 미음을 조용히 받아먹었다. 이후 절식한 지 23일째 되는 9월 28일 69세의 나이로 숨을 거두었다.