Como buen albergue de leyenda que es, nadie sabe la fecha exacta en que fue construida esta casa. Los arquitectos que la restauraron establecieron, por las huellas técnicas que el tiempo dejó en sus muros, que fue levantada en la época de la colonia, aproximadamente hacia 1715.

En sus salones centenarios tuvieron sede la asociación de farmaceutas, cuando las droguerías se llamaban boticas, y las de meseros y camareros. Hubo también aquí un almacén de calzado fino. Fue también pensión e inquilinato. Pero ha sido la poesía la principal habitante de esta casa. En ella vivió sus últimos años José Asunción Silva y murió, a los 30 años de edad de un tiro en el corazón, en el cuarto que está al fondo del corredor de la entrada.

La casa marcada con el número 13 en la época de Silva, era el escenario de tertulia, una de las escasas formas de difusión de la producción literaria, en momentos en que el periodismo parecía más un bando de las campañas políticas justificadoras de las guerras civiles y el libro de autor nacional carecía de circulación.

Uno de los contertulios, Emilio Cuervo Márquez, relató detalladamente la atmósfera del sitio y de la ocasión, en palabras que parecen reanimar a los fantasmas de esta casa: «Aún veo el amplio cuarto de estudio. Discreta luz, anaqueles con libros. Al frente una reproducción de arte de «La Primavera» de Boticelli. En el centro, el amplio escritorio, sobre el cual se veían algunos bronces, el bade de tafilete rojo con el monograma en oro del poeta, revistas extranjeras. Diseminados aquí y allá, sillones en cuero, y gueridones con imponente cantidad de ceniceros, pues quienes allí nos reuníamos, a comenzar por el dueño de la casa, éramos fumadores empedernidos. Después de media hora de charla Silva daba comienzo a la lectura.

Previamente se había graduado la luz de la lámpara y se había puesto a nuestro alcance un velador en el cual invariablemente se veían una caja de cigarrillos egipcios, algunas fuentes con sandwiches, un ventrudo frasco con vino de oporto y tres copas: Silva no bebía nunca vino ni licor; en cambio, fumaba de manera aterradora».

Unas cuantas décadas después de la muerte de Silva, esta casa sirvió de entorno para la creación de otro poeta, Aurelio Arturo, nariñense, quien buscó albergue como estudiante de derecho, cuando era pensión para provincianos pobres. Se cree que fue entre 1930 y 1938. De la Costa Atlántica, en 1939 otro poeta vino a vivir en esta casa: Gregorio Castañeda Aragón.

Durante la primera mitad del siglo XX la casa atravesó por un largo periodo de anonimato y olvido, hasta que en 1943, un amigo de Silva y poeta también, Ismael López, conocido más como Cornelio Hispano, descubrió una placa en la fachada de la casa -la misma que hoy permanece- y Baldomero Sanín Cano, también amigo y contertulio del poeta, pronunció un discurso conmemorativo. Cornelio Hispano tenía, en ese momento, en su poder la mascarilla que se le hizo a Silva en su lecho de muerte.

En 1983 la Corporación La Candelaria adquirió la casa por iniciativa de María Mercedes Carranza y su gerente de entonces, Genoveva de Samper. Los trabajos de restauración duraron nueve meses. Esta se efectuó teniendo en cuenta no solo la estructura colonial y adusta de la casa del siglo XVIII, sino respetando la reforma que se le hizo en una anterior restauración en 1880, de corte republicano, llena de adornos y de yesería de influencia francesa. El restaurador mexicano Rodolfo Vallín se encargó de la yesería de los cielos rasos y de las crestas de las puertas. Raspando con una paciencia infinita se encontró la laminilla de oro original y el color genuino del yeso, que estaban recubiertos por capas de pintura. Aparecieron en su esplendor los mascarones y viñas, los diablos sonrientes en los rincones de la sala, las crestas suntuosas que coronan las puertas y los rosetones del patio que entrelazan conchas de nácar con delfines y tridentes de tritones.