Un retrato de Charles...

...y otro de Isabelle de Bourbon:

La suerte de Isabelle, al conseguir un marido escrupulosamente fiel, se debe en gran medida a la pesadumbre que había causado en su tía y suegra Isabel de Portugal la vida amorosa extraconyugal de Philippe Le Bon. Es cierto que Philippe, como ya se había comentado, nunca tuvo en su corte ninguna amante oficial u oficiosa, ninguna favorita que pudiese pavonearse delante de la regia nariz de Isabel de Portugal. Con todo, Isabel de Portugal había sufrido por las infidelidades de Philippe. Charles era un hijo que bebía los vientos por su madre Isabel; la amaba y, más allá de ese amor filial, la veneraba, considerándola un ejemplo de todo lo bueno que podía haber en una mujer. La reacción de Charles ante el sufrimiento que la actitud "liberal" de su padre inflingía en su madre fue mantener las distancias con las mujeres para que nadie pudiese acusarle nunca de ir buscando amantes. De hecho, Charles se mostraba tan firme en mantener distancias que hubo quienes le calumniaron acusándole de no gustar de las mujeres o, lo que es lo mismo, de gustar quizá de hombres.
Isabelle debía ser sencillamente encantadora. Su tío y suegro, Philippe, la adoraba. A tal punto llegaba su adoración por Isabelle que ella fue la única cuya intercesión ante el duque logró un indulto para el bastardo de la Viesville en el año 1456. A Philippe le habían rogado clemencia su esposa Isabel y su hijo legítimo Charolais...en vano. También le habían rogado clemencia su hijo bastardo favorito, Antoine de Borgoña; su apreciado conde de Étampes y su no menos estimado señor de Croy, no obteniendo de ellos éxito alguno. Dónde habían fallado Isabel, Charolais, Antoine de Borgoña, el conde de Étampes y el señor de Croy...triunfó Isabelle, con su graciosa
modestia habitual. Otro signo del favoritismo de Philippe hacia Isabelle lo encontramos en el hecho de que, en las épocas en que Philippe tenía serios problemas en su relación con el hijo Charles, daba instrucciones precisas para mantener todos los miramientos y los honores que le tocaban a su nuera, de
modo que ésta no se viese en absoluto perjudicada por las escaladas de tensión paterno-filiales.
Un clarísimo ejemplo de hasta qué punto podían chocar Philippe de Borgoña y su hijo Charles de Charolais lo encontramos a principios del año 1456. Charles vivía por entonces junto a su esposa Isabelle en el castillo de Gorcum, asistidos, como era preceptivo dado su alto rango, por una especie de corte paralela que duplicaba a menor escala la estructura de la corte ducal. De repente, quedó vacante un puesto significativo en la casa de los Charolais...y surgieron distintos pretendientes a llenar aquel hueco. Un caballero profundamente interesado era Philippe de Croy, señor de Sempy, en tanto que otra posibilidad la encarnaba Antoine Rolin, hijo del canciller de la corte ducal de Borgoña. Charles de Charolais se inclinaba por Antoine Rolin, pese a tener constancia de que su padre Philippe prefería que se beneficiase a Philippe de Croy señor de Sempy. En última instancia, dado que se trataba de la casa de Charolais, Charolais se creyó que podía elegir según su gusto, o sea, a Antoine Rolin. Pero los Croy, un poderoso clan, no se limitaron a rumiar su disgusto, sino que apelaron directamente a Philippe Le Bon.
El 14 de enero de 1457, justo tras asistir a una misa solemne en la capilla del palacio de Bruselas, Philippe y su hijo Charles se enzarzaron en una discusión por aquel asunto. Philippe insistía en que Charles sustituyese a Antonine Rolin por Philippe de Croy, algo a lo que el conde de Charolais se negaba vehementemente. En un momento de la disputa, Philippe, para reafirmar su hegemonía, llegó a empuñar una daga frente a su hijo Charles de Charolais, instante en el que Isabel de Portugal, muy alterada, se lanzó a escena para servirle de escudo protector a su hijo frente a su marido. A continuación, Isabel buscó apoyo en dónde creyó que lo encontraría: en el delfín Louis de Francia, hijo de Charles VII y de Marie de Anjou, que se encontraba por entonces visitando la corte de Borgoña. Philippe, el duque, se sintió doblemente enfurecido por la intervención de su esposa Isabel. El asunto acabó mal: Isabel, considerándose humillada por la forma en que Philippe trataba al único hijo de ambos, se retiraría pocos meses después al castillo de Motte-au-Bois, en el corazón de la floresta de Nieppe.
Cuando se había producido ese incidente lamentable entre Philippe y Charles, Isabelle de Bourbon estaba embarazada. Sus súplicas, unidas a los ruegos del delfín Louis, lograron que Philippe "perdonase" a Charles por haberle exaltado al punto de que él hubiese llegado a esgrimir una daga frente a su heredero. Pero era obvio que entre Philippe y Charles, la situación estaba francamente mal en el momento en que Isabelle dió a luz en Coudenberg el 13 de febrero de 1457.