1982年，于谦考入北京市戏曲学校相声班学艺，在校期间跟随相声演员王世臣、罗荣寿、高凤山、赵世忠学习。1985年，拜师于相声艺术家石富宽门下，先后在北京曲艺团、中铁文工团担任相声演员，与相声演员刘颖搭档。

1992年，客串赵宝刚执导的喜剧《编辑部的故事》。同年，出演儿童奇幻剧《小龙人》，在剧中饰演唐朝书生 。1993年，出演剧情喜剧《海马歌舞厅》 。1995年，于谦结业于北京电影学院影视导演系大专班的进修学业，之后参与传记剧《马三立》的拍摄，饰演角色赵佩茹。1996年，出演电视剧《小井胡同》，扮演角色肥子，同时在中央电视台、北京电视台及地方台的长期栏目中担任节目编导及主持人。1997年，出演电影《家家有本难念的经》，片中饰演傻庆 。1997年，于谦与郭德纲在几次演出场合中相识 。1998年，出演陈燕民执导的剧情剧《人虫》，饰演房虫中的贾六 。

2000年，于谦所在单位北京曲艺团借调来相声演员郭德纲，与于谦组成临时搭档，二人在北京某郊区露天广场的舞台上，表演了对口相声《拴娃娃》；同年，出演年代爱情剧《九九归一》，饰演厨子包小三、剧情片《七嫂告状》 。2001年，出演古装轻喜剧《天下第一丑》。2002年，出演古装喜剧《李卫当官》，饰演魏敏中。2003年，郭德纲与于谦合作相声《你好北京》，在北京相声小品邀请赛上获得了组委会特别奖。北京曲艺团关闭后，于谦调入中铁文工团。

2004年，出演爱情剧《新刀马旦》；同年，于谦正式加入德云社，自此与郭德纲结为固定搭档 。2005年，出演金莹执导的战争片《空山》；同年，于谦与郭德纲合作相声《杨乃武》、《学聋哑》、《怪治病》；同年，出演民国剧《京华烟云》，饰演曾家管家罗同。

2006年，出演新农村题材片《燕衔泥》，饰演大矿主李二威 ；同年，出演王瑞执导的历史感情剧《北平往事》，饰演徐晋卿叔叔； 12月，又与郭德纲、李菁和高峰三人拜民间艺人金文声为师，分别得名于增禄、郭增福、李增寿和高增喜。

2007年， 出演郭德纲、彭玉、雷恪生主演的情景喜剧《追着幸福跑》，剧中饰演一个大龄单身男青年；同年，出演抗战题材的情景喜剧《地下交通站》。2008年，出演古装喜剧《清官巧断家务事》，剧中饰演于小怀 。同年，出演都市剧《拯救爱》，剧中饰演校长。之后又与郭德纲合作相声《我要闹绯闻》。

2009年，主演贺岁剧《天生我才》，饰演财神。之后与郭德纲合作相声《我这一辈子》、《西征梦》、《我是科学家》、《托妻献子》。2010年，主演古装情景喜剧《郭县令轶事》，饰演自作聪明的师爷；同年，主演情景喜剧《鸡毛蒜皮没小事2》；同年，主演爱情喜剧《越光宝盒》。2011年10月16日，郭德纲和于谦及德云社部分演员，在澳大利亚悉尼市政厅举办相声专场。

2012年9月28日，郭德纲、于谦携德云社于28日晚在悉尼市政府进行了在澳大利亚巡演的第三站演出。2013年， 出演喜剧电影《大片》，片中饰演黑老大。接着于谦与郭德纲首次登上中央电视台春节联欢晚会，表演节目《败家子》。5月12日，出演的家族剧《大宅门1912》在北京、安徽、天津、河南卫视播出，在剧中饰演黑帮头目。2014年，于谦重回主持界，与世熙传媒合作主持了娱乐默片脱口秀《大谦世界》，在辽宁卫视播出。

2016年1月，参加东方卫视综艺节目《欢乐喜剧人第二季》，担任助演嘉宾 。2016年5月，参加湖北卫视综艺节目《我为喜剧狂第三季》，担任导师 。10月，参加浙江卫视喜剧竞演节目《喜剧总动员》，担任带班队长。2017年，出演郭德纲监制的喜剧电影《相声大电影之我要幸福》，饰演郭壕家的管家于大洪；同年，搭档黄一琳主演喜剧电影《坑爹游戏》，饰演父亲张胜利 。9月30日，主演的喜剧电影《缝纫机乐队》在中国上映，饰演孙大力的超市小老板  。2018年1月，出演真人情景剧《新大头儿子和小头爸爸》

2019年3月，主演的电影《老师·好》上映，于谦扮演中学老师苗宛秋 。2019年7月，加盟腾讯视频脱口秀竞技节目《脱口秀大会第二季》，与吴昕、李诞共同组成“领笑团”。9月10日，出演的网剧《我是班主任》播出 。9月14日，出演的都市喜剧《谢祖隆恩》在成都正式开机  。2019年12月22日，凭《老师·好》获得第11届澳门国际电影节最佳男主角奖。

2020年5月，参加东方卫视喜剧竞演综艺《欢乐喜剧人第六季》总决赛，助阵孟鹤堂、周九良 ；同年，出演萌宠电影《狗果定理》  。8月17日，由腾讯视频出品的头部喜剧厂牌真人秀官宣的主要嘉宾阵容中，于谦等总计12位相声演员悉数出镜 ；10月22日，综艺《幸福三重奏第三季》官宣嘉宾，于谦、白慧明夫妇与吴京、谢楠夫妇，何猷君、奚梦瑶夫妇将入住幸福小屋 ；12月27日，参加央视综艺频道推出的文博探索节目《国家宝藏第三季》第四期，饰演作家孔尚任，讲述孔尚任与侄子孔衍长在治河前线与不作为的地方官高大人斗智斗勇的故事，带领观众探寻商周十供背后蕴藏的文化底蕴。现场，于谦还将通过守护十供、祭拜孔子，为全国考生送上金榜题名的祝福 。

2021年3月5日，出演的电影《第十一回》上映  。4月15日，加盟四幕相声剧《依然美丽》 。