Admirador del mundo natural, llegó a reunir una gran colección de animales, que incluía numerosos perros y caballos, un zorro, un loro, un cocodrilo, un tejón, tres gansos, una garza y una cabra con una pata rota. Este pequeño zoo personal a menudo se mantenía dentro de la casa o bien deambulaba libremente por sus propiedades.
Al visitar la mansión de Byron en Italia en 1821, Percy Shelley fue testigo de primera mano de las excentricidades de Byron, como anotó en su diario:
“La casa de Lord B. tiene, además de los sirvientes, diez caballos, ocho enormes perros, tres monos, cinco gatos, un águila, un cuervo y un halcón; y todos, excepto los caballos, se pasean por la casa, que de vez en cuando resuena con sus peleas, como si fueran los dueños de la misma ...
PD: Descubro que mi relación de los animales en este palacio circense era incompleta. Acabo de encontrar en la gran escalera cinco pavos reales, dos gallinas de Guinea y una grulla egipcia”.