據《北史》卷三十八《裴俠列傳》記載，裴俠是北朝河東解人，祖父裴思齊是秀才出身，官拜議郎;父親裴欣官至西河郡太守，贈晉州刺史。
文武雙全
當時民間流傳：裴俠小時候就“志識聰慧”，聰明程度遠遠超過同齡兒童。
西魏大統三年，裴俠帶領鄉兵參加了由西魏大將宇文泰(即后來的北周太祖周文帝)指揮的“沙苑”戰斗，裴俠在戰斗中沖鋒陷陣，勇往直前，受到了宇文泰的夸獎，稱其“仁者必勇”。裴俠原來的名字叫“裴協”，后經宇文泰建議，或者說是受宇文泰的嘉獎，將“裴協”改為“裴俠”。自此，裴俠聲名遠播。裴俠不僅作戰勇敢，而且很有文采，曾被宇文泰夸贊“雖魯仲連，無以加也”。魯仲連是戰國末期齊國的高士，其“義不帝秦”的事跡被載入《戰國策》。宇文泰稱裴俠比魯仲連還厲害，足見其文武雙全。沒多久，裴俠就被朝廷任命為河北郡太守，當上了地方一號長官。
躬履儉素
裴俠為官“躬履儉素，愛人如子”。裴俠平時飲食“唯菽麥鹽菜而已”，十分簡單，所以在他身邊待過的人沒有一個不懷念他的。
按照河北郡原先執行多年的干部待遇標準，郡太守有30個漁夫、獵夫專門負責他的飲食。裴俠到任后覺得不妥，就對身邊的人說：“只因自己的口腹之需，就動用這么多人力，這是我堅決不會做的。”隨即下令將30個人遣散回家。
按照當地當時的規定，郡太守要配30個經過嚴格訓練的青壯年家丁晝夜護衛。裴俠也取消了這一特殊待遇，讓30個人去為衙門養馬。一年下來，駿馬成群。
裴俠離任時，什么也沒有帶走，兩袖清風。當地百姓唱道：“肥鮮不食，丁庸不取，裴公貞惠，為世規矩。”
清慎奉公
有一次，裴俠與其他郡太守一道去拜謁丞相宇文泰。當著眾太守的面，宇文泰請裴俠單獨出列，站立在離他最近的位置，對其他太守們說：“裴俠清慎奉公，為天下之最。”對裴俠廉潔從政、執政為民的行為表示褒獎。宇文泰接著又說：“你們當中如果還有人認為自己跟裴俠一樣，可以出列，與裴俠站在一起。”沒有一個人敢應聲。宇文泰以大丞相的身份專制西魏朝政長達22年，為了對裴俠的“清慎奉公”行為進行表彰，他以朝廷的名義號召其他官員向裴俠學習。
裴俠后來不斷被提拔重用，官至大將軍，拓州刺史，征拜為雍州別駕。
宇文泰病逝后，他的兒子宇文覺繼承他的太師、大冢宰職位。第二年，北周政權建立，裴俠繼續得到重用，被任命為司邑下大夫，加驃騎大將軍、開府儀同三司，晉爵為公，又遷任戶部中大夫。
當時戶部有一項職能是對政府糧食倉儲的管理。在裴俠未到任時，戶部出現奸吏監守自盜的現象，致使國家每年損失上千萬斤糧食。裴俠到任后，“勵精發擿”，整頓行風，征戒貪腐，幾個月之后，“奸盜略盡”。
由于工作出色，朝廷又調任裴俠為工部中大夫，專門負責國家建設項目等。有一個名叫李貴的大司空，專門掌管朝廷的錢和物，聽說裴俠來主管工作，他嚇得在家里悲泣不已。有人問他哭什么，李貴回答說：“我掌管的錢和物，有許多都被我消費掉了。裴公是清明而又嚴厲的上司，我害怕被他查辦。”這件事很快傳到了裴俠耳中，他覺得這個官員知道害怕，說明他還有點良知，還可以教育挽救，于是就讓人去傳話，讓他去自首，可以寬大處理。李貴感激萬分，主動到吏部自首，承認自己貪污了500兩黃金，并主動退還，得到寬大處理。
裴俠后來生病，他的兩個“司空”部下來看望他，發現他“所居第屋，不免霜露”，居室簡陋，生活清苦，就將這事報告給了皇帝。皇帝“矜其貧苦”，下詔為他起新宅，并賜良田十頃，配備專人負責他的生活。后來，裴俠在任職期內去世，朝廷贈其為太子少師、蒲州刺史，謚曰“貞”。