Na primeira metade do século passado, a chácara onde hoje se localiza a Casa de Artes  Paquetá foi adquirida por Ormy Toledo. Além de promover amplas reformas paisagísticas no local, ela foi responsável pelas novas preciosidades arquitetônicas ali construídas, como o Gaudi e o Pagode Chinês. 

Dona Ormy era uma empreendedora cultural e via Paquetá como a Ilha das Artes, acreditando em um projeto turístico voltado para eventos artísticos/musicais. A Chácara da Ormy fazia parte desse projeto e nela aconteceram grandes saraus com os principais músicos do Brasil. Pixinguinha, Orestes Barbosa, Lamartine Babo, Sílvio Caldas, Radamés Gnatalli eram hóspedes e freqüentadores desses encontros regulares, que contavam ainda com a presença da elite política e intelectual da capital Rio de Janeiro. 

Este projeto incluía também a criação de um complexo turístico e a construção de um hotel na chácara  para atender à demanda dos visitantes.  

A beleza natural e arquitetônica do local permitiu que a chácara fosse usada como cenário e locação para diversas filmagens, destacando-se a novela e o filme A Moreninha, baseados no romance homônimo de Joaquim Manoel de Macedo. 

No início da década de 90 a chácara é vendida e parte dela comprada pelos atuais proprietários. Originalmente concebido para residência, o espaço sofre amplo processo de restauração. Em maio de 1999 passa a promover recitais, saraus e exposições - um tributo ao trabalho iniciado por Ormy Toledo. A partir de abril de 2001 o local se transforma definitivamente em Centro Cultural, aberto à visitação e com programação permanente de eventos.

A Casa de Artes Paquetá foi inaugurada em maio de 1999 e vem, desde então, fomentando arte e cultura na Ilha de Paquetá.