Robert Hardys Vater, Henry Harrison Hardy, war von 1919 bis 1931 Direktor des Cheltenham Colleges, das zu den ersten großen Internatsschulen im viktorianischen England zählt. Robert Hardy studierte zunächst in Oxford bei J. R. R. Tolkien und C. S. Lewis Literaturwissenschaften. Das Studium schloss er als Bachelor of Arts (BA) ab. 1949 begann Hardys Schauspielerkarriere am Shakespeare Memorial Theatre in Stratford-upon-Avon mit klassischen Stücken wie William Shakespeares Henry V.
Einem breiten Publikum bekannt wurde Hardy ab 1978, in der Rolle des Tierarztes Siegfried Farnon in der BBC-Serie All Creatures Great and Small (deutsch Der Doktor und das liebe Vieh, ab 1979 von der ARD ausgestrahlt). Später in seiner Karriere war er als Zaubereiminister Cornelius Fudge in den Harry-Potter-Verfilmungen zu sehen. 2013 beendete er seine Bühnenkarriere, nachdem er sich bei einem Sturz als Darsteller von Winston Churchill bei einer Aufführung des Theaterstücks The Audience von Peter Morgan die Rippen gebrochen hatte.
Neben seiner schauspielerischen Tätigkeit beschäftigte sich Hardy mit mittelalterlicher Kriegsführung, insbesondere mit der Geschichte des Langbogens. Er verfasste zwei Bücher und besaß eine Sammlung historischer Gegenstände zu diesem Thema. Er wurde als Experte bei der Begutachtung der Funde auf der Mary Rose hinzugezogen.
Robert Hardy war von 1952 bis 1956 mit Elizabeth Fox, der Tochter des Pönologen Lionel Wray Fox (1895–1961), verheiratet. Seine zweite Ehe mit der Kostümbildnerin Sally Pearson, einer Tochter der Schauspielerin Gladys Cooper, dauerte von 1961 bis 1986. Aus seinen Ehen gingen drei Kinder hervor. Mit dem Schauspieler Richard Burton war Hardy befreundet.
Hardy starb am 3. August 2017 im Alter von 91 Jahren in Denville Hall, einem Seniorenheim für Schauspieler in London.