A sus casi cincuenta años, el originario de Jalisco ha tenido dos esposas con las que tiene cinco hijas y un hijo. Su primera mujer fue María Gorola, con quien tuvo sus primeras cuatro hijas a las que bautizó como Anaya, Abigail, Angélica y Baby Rivera; todas son féminas adultas y se dice apoyan al cantante en todo momento.
Su segunda esposa, fue María Mayeli, con ella tuvo a su quinta niña y su único varón. Vale señalar que Lupillo Rivera se divorció de su última mujer porque supuestamente le fue infiel. Actualmente, Giselle Soto es la pareja del “Toro del corrido” y de la que ya se dice se casará con el cantante, pues viven un amor de fantasía.