Tan halagüeñas perspectivas se vieron quebradas en agosto de 1531, cuando Garcilaso se vio envuelto en la boda clandestina entre su sobrino Garcilaso, de 14 años de edad, con Isabel de la Cueva (heredera del duque de Alburquerque, niña de once años). El enlace, secreto, se celebró en la catedral de Ávila, ciudad donde la emperatriz se había trasladado desde Ocaña. Conocedora del matrimonio, la soberana ordenó el interrogatorio de los encubridores, entre ellos Garcilaso. Éste, previsor, se hallaba cerca de la frontera, en Tolosa, camino de Alemania, junto con el duque de Alba, pero no logró eludir el castigo. Se le mandó salir desterrado del reino y le prohibió la entrada en la corte carolina. Garcilaso, en un gesto típico de la nobleza castellana de entonces, había optado por la fortuna y el honor de su linaje, antes que por el servicio real. Cuando Garcilaso y don Fernando Álvarez de Toledo llegaron a Ratisbona para incorporarse al ejército de Carlos V contra los turcos, el emperador no perdonó su deslealtad en Ávila y le ordenó retirarse a una cercana isla del Danubio, cerca de Ratisbona (tal vez Schut). Allí estuvo tres meses y escribió la Canción III. En ella expresaba su melancolía al haber caído en desgracia ante Carlos V. La corte imperial, toda corte, eran ya un sueño imposible para él.
Después de insistentes ruegos del duque de Alba, el César resolvió que Garcilaso marchara a Nápoles con don Pedro de Toledo (marqués de Villafranca y tío del duque), que acababa de ser nombrado virrey de aquel reino. Este destino napolitano cerró definitivamente al poeta las puertas de la corte. Aunque entre 1533 y 1534 el virrey de Nápoles envió en tres ocasiones a Garcilaso como emisario ante el César, con el claro intento de congraciar al monarca con su gentilhombre, los Lasso de Vega se habían mostrado demasiado «libres» para la vida áulica. De nuevo las armas fueron el único camino que permitió a Garcilaso retornar al servicio regio, esta vez gracias a la participación del poeta en la campaña imperial contra la Goleta y Túnez (1535).
En el transcurso del asedio Garcilaso, al lado una vez más del duque de Alba, fue herido. Tras la victoria, Carlos V premió sus servicios con los títulos de maestre de campo y de capitán de un tercio, pero en su elegía epistolar a Boscán asoma su desengaño hacia la vida cortesana y los aduladores que celebraban el triunfo africano de Carlos V como un nuevo Escipión. Un año más tarde, Garcilaso participó en la campaña de la Provenza, contra los franceses. El calor del verano y la falta de vituallas obligó a una retirada, en la que el poeta cayó herido de muerte. Tras haber recibido una postrera visita de Carlos V, en la que, sin duda, Garcilaso le solicitó velara por el futuro de su mujer e hijos de corta edad, falleció en Niza, el 13 ó 14 de octubre de 1536.
