郑虔出生于一个门第不低的家庭，约在景云元年（710年）进士及第，入仕即补率更寺主簿之缺，后历任左监门录事参军、尚乘直长、太常寺协律郎、左青道率府长史、广文馆博士、著作郎等。在安史之乱中，郑虔先后被叛军任为兵部郎中和国子司业。在安史之乱被平定后，郑虔因陷伪而获贬台州。至德二年（757年）寒冬腊月，郑虔达到台州，以台州文教为己任，大力发展台州文教。

乾元二年（759年），郑虔病逝于台州官舍，享年六十九岁。