Actualmente, la Casa Grande es la sede del Área Municipal de Cultura, del Ayuntamiento de Ayamonte, albergando la Biblioteca Municipal "Jiménez Barbieri", varias salas de exposiciones, así como un pequeño auditorio. En la sala de exposiciones permanentes, en la segunda planta, se encuentran expuestas las Tablas Flamencas de Jan Sanders Van Hemessen (1500-1556), considerada como una de las mejores colecciones de pintura flamenca de Andalucía.

El edificio data del siglo XVIII, mandado a construir por don Manuel Rivero siguiendo los cánones de la típica casa colonial burquesa que tenía la gente que hacia negocios con las Indias. Así, la casa servía como centro de operaciones comerciales y a su vez, como vivienda familiar, con múltiples instancias y habitaciones e incluso caballeriza, todo ellos alrededor de un patio que sirve como eje central de todo el complejo.

Las tres plantas de la Casa Grande rodean este patio, de decoración típicamente andaluza, formando cuatro galerías o pórticos, aderezados con arcos y bellas columnas de mármol. Cada planta estaba distribuida según su función, la planta baja como almacenes y dependencias secundarias, la siguiente como oficinas desde donde se controlaba la actividad mercantil y los negocios del propietario de la casa y la tercera como residencia. La fachada es imponente, de sillería de piedra ostionera y con una exquisita cerrajería en ventanas y balcones. Merece la pena verla de noche con la cuidada iluminación que hay en la Plaza del Rosario, pequeño pero muy coqueto rincón de Ayamonte.

Uno de los espacios que más llama la atención en este edificio es la Sala de Tinajas, originariamente utilizadas para almacenar grano, aceite, salazones, etc. Tienen aproximadamente 2,5 m. de altura y se encuentran embutidas bajo tierra. Tras la restauración de la casa estas dependencias se destinaron a exposiciones, organizándose en la misma casi una vieintena de muestras cada año.