裴行俭出身于世家大族，属“河东裴氏”中眷房。其祖先出自嬴姓，是皇帝后裔伯翳的后代。其父裴仁基，曾任隋朝左光禄大夫，隋末乱世与长子裴行俨于洛阳被王世充所杀。唐朝追赠其为原州（今宁夏固原）都督，谥号为“忠”。 裴行俭年幼之时，凭借门荫得以进入弘文馆成为生员。贞观（627-649年）中期，参与科举考试，以明经中选进入仕途，初仕为左屯卫仓曹参军，获得大将军苏定方重视，得以传授其兵法。后转任雍州（治所今西安）司士，累迁为金部员外郎与户部员外郎。显庆二年（657年），晋升为长安（今西安）县令。高宗李治废黜王皇后、册立武昭仪时，裴行俭与太尉长孙无忌和尚书左仆射褚遂良私下议论此事，认为国家忧患必然会从这里开始。大理寺卿袁公瑜将此事密报于武昭仪之母杨氏，裴行俭因之贬黜为西州（今新疆吐鲁番）都督府长史。后改任为金山（治所今新疆吉木萨尔县）副都护，麟德二年（665年），累迁为安西（今新疆库车）大都护，与西域从政七八年时间，注重教化，注重经济发展与民族团结，西域诸国慕义选择归顺唐朝。 因政绩突出，裴行俭被高宗李治召回京城，升任同文少卿，不久后提升为司列少常伯。咸亨初年（670年），恢复旧官名为吏部侍郎，与李敬玄和马载一同担任官员选拔的工作，以能吏著称，被人们称为“裴李”“裴马”。唐初，新旧制度并存，官场较为混乱，裴行俭大胆创新，进行人事制度改革，创造长名榜、铨注等方法，规定州县官员升迁、资历高低的标准，以此进行官员选拔，该办法被后世沿用下来，影响深远。