永乐十九年，于谦登进士第。
宣德元年，以御史职随明宣宗平定汉王朱高煦之乱，因严词斥责朱高煦而受宣宗赏识。后巡抚河南、山西。
宣德五年，又以兵部右侍郎巡抚河南、山西等地。
明英宗时因入京觐见时不向权臣王振送礼，遭诬陷下狱，因两省百姓、官吏乃至藩王力请而复任。
土木之变后，英宗兵败被俘，他力排南迁之议，坚请固守，升任兵部尚书。
明代宗即位，整饬兵备，部署要害，亲自督战，率师二十二万，列阵北京九门外，抵御瓦剌大军。瓦
剌太师也先挟英宗逼和，他以“社稷为重，君为轻”，不许。也先无隙可乘，被迫释放英宗。
和议后，于谦仍积极备战，挑选京军精锐分十团营操练，又遣兵出关屯守，边境得以安宁。当时朝务繁杂，于谦独运征调，合乎机宜。
其号令明审，令行政达。他忧国忘身，口不言功，平素俭约，居所仅能遮蔽风雨，但因个性刚直，招致众人忌恨。
天顺元年，英宗复辟，大将石亨等诬陷于谦谋立襄王之子，致使其含冤遇害。
明宪宗时，于谦被复官赐祭。
弘治二年，追谥“肃愍”。
明神宗时，改谥“忠肃”。
有《于忠肃集》传世。《明史》称赞其“忠心义烈，与日月争光”
他与岳飞、张煌言并称“西湖三杰”