Родился в Дорсете в семье столяра. Работал слугой в таверне, когда поэт и меценат граф Чарльз Дорсет открыл в юноше литературный талант и послал учиться в Вестминстерскую школу, а потом в университет. В дальнейшем Прайор был членом парламента, служил дипломатом во Франции и в Голландии. Писал остроумные и элегантные эпиграммы, шутки и мадригалы, а также стихи для детей.