En una de las casas de la Plaza de la Gavidia, allí donde está la estatua del héroe nacional del 2 de Mayo de 1808, podemos ver esta placa señalando el lugar donde tuvo su casa.
Así lo indica esta placa. Luis Daoíz nació en el seno de una familia aristocrática andaluza. Su padre, Martín Daoíz Quesada, pertenecía al linaje nobiliario de la familia Daoíz que se remontaba a la Edad Media. Esta familia era originaria de la localidad navarra de Aoiz y estuvo muy vinculada a la milicia desde tiempos de la Reconquista.
A mediados del siglo XVII, Joaquín D'Aoiz, natural de Pamplona, se trasladó junto a su familia a Gibraltar para desempeñar el cargo de alguacil mayor y regidor perpetuo hasta su caída en poder de los ingleses, por lo que se vieron obligados a trasladarse a El Puerto de Santa María, donde poseían unas fincas llamadas Espínola; las fincas llamadas Quesada, en Cádiz; Monreal en Medina-Sidonia y otras propiedades en Sanlúcar de Barrameda. Además poseían dos señoríos en Navarra, nueve merindades y la casa principal en Aoiz, junto a sus campos y viñas. A partir del citado Joaquín D'Aoiz, regidor de Gibraltar, el apellido D'Aoiz pasa a ser Daoíz. Don Joaquín era el abuelo paterno de Luis Daoíz.
Su madre fue doña Francisca Torres Ponce de León, hija de los condes de Miraflores de los Ángeles, una rama secundaria de la casa de Arcos.
Contrajeron matrimonio el 2 de febrero de 1766 y residieron temporalmente en el palacio que tenían los padres de doña Francisca en Sevilla.
Durante su infancia vivió en el palacio de su abuela materna en Sevilla y pasó algunos veranos en la casa que ésta tenía en Mairena del Alcor. Estudió en el colegio jesuita de San Hermenegildo, que se ubicaba en el espacio que ocupa la Plaza de la Gavidia.
Allí hay hoy un monumento dedicado a tan insigne personaje.