En cierto
modo, Fernando constituye una figura muy triste.
Su matrimonio con María II de Portugal había resultado feliz. Los dos formaban una pareja compenetrada y armónica, en la que él no permaneció como un simple "príncipe consorte" sino que asumió el título de Rey. La muerte prematura de María en 1853, al dar a luz a su undécimo hijo, el príncipe Eugenio, que también falleció, le causó una verdadera pesadumbre. María había sido advertida de que no debía embarazarse de nuevo después de sus últimos embarazos, el noveno y el décimo, que produjeron bebés muertos al nacer, llamados Leopoldo y María da Gloria. Pero ella no había hecho caso a los médicos, se había embarazado por undécima vez y el esfuerzo de poner en el mundo a Eugenio, que no sobreviviría, la llevó a la tumba.
Quedaban, no obstante, siete hijos huérfanos: Pedro, el mayor, proclamado rey, necesitaba a su padre en calidad de regente debido a que sólo tenía dieciséis años; Luiz, el segundo varón, duque de Porto y de Viseu, contaba entonces quince años; Joao, tercer varón, duque de Beja, frisaba en los once años; la infanta María Ana tenía diez años; la infanta Antonia tenía ocho años; Fernando, el cuarto varón, tenía siete años y Augusto, el quinto varón, tenía apenas seis años.
Fernando era muy consciente de su significación dinástica y de sus responsabilidades como padre de aquellos siete niños que habían perdido a la madre. Pero no podía evitar ser un espíritu artístico, fascinado por el ocultismo e inclinado a salir de jarana. El jovencísimo rey don Pedro, exageradamente serio y responsable para su edad, protagonizó algunas anécdotas memorables. Se quedaba despierto hasta altas horas de la madrugada, para ser él quien recibiese a don Fernando cuando éste, tras una noche de fiesta, retornaba a palacio. Con amabilidad, explicaba a su padre que no era conveniente que otro excepto él mismo supiese a qué deshoras regresaba a casa el padre del rey.
Cuando Fernando se enamoró de Elise Hensler, el asunto enseguida llegó a conocimiento de sus hijos. Salvo el pequeño Augusto, ninguno batió palmas con las orejas, precisamente. Pedro había estado efímeramente casado con Stephanie de Hohenzollern-Sigmarigen, que había fallecido de fiebre tifoidea unos meses antes de la aparición en escena de Elise. El viudo Pedro no consideraba necesario que su padre volviese a casarse, pero menos aún que pensase en convivir abiertamente con una cantante de ópera suiza madre soltera. Para las infantas María Ana y Antonia fue muy duro. Antonia se enfurecía pensando que las alhajas de su madre acabarían adornando a aquella plebeya que apartaba a su padre de ellos.