潘姓主要出自姬姓。西周初年，周文王孫伯季食邑于潘地（今固始縣境內(nèi)），因伯季家族治理潘地有功，又被加封為伯爵國。公元６７３年，楚國軍隊進(jìn)攻潘國，潘國無力抵擋。潘國國君權(quán)涌，為使臣民不忘潘國故土，要潘國臣民世代以潘為姓，隨后自刎于殿堂之上。權(quán)涌之子潘崇帶領(lǐng)家人投降楚國，他臥薪嘗膽，刻苦讀書、習(xí)武，后被推薦為楚太子商臣的老師，并成功誘使太子商臣逼迫楚成王退位。商臣即位，封潘崇為太師，讓潘崇掌管國事，潘姓遂成楚國最有影響的姓族之一。據(jù)載，潘姓還有一些是從歷史上少數(shù)民族（鮮卑族）改姓而來，臺灣高山族人數(shù)最多的就是潘姓。
潘姓歷史名人中，晉代有文學(xué)家潘岳，宋朝大將潘美，明朝科學(xué)家潘季馴，詩人潘琴臺，清代思想家潘平格，當(dāng)代有政治家潘漢年，畫家潘天壽，戲劇家潘月樵等人。