Charlevoix é um destino turístico bastante popular por sua localização privilegiada junto ao Rio São Lourenço e às Montanhas Laurentian. Situado em Pointe-au-Pic, agora parte de La Malbaie, está a aproximadamente 150 km a leste da cidade de Quebec. O histórico hotel Manoir Richelieu fica próximo ao casino.
Inaugurado em 24 de junho de 1994, o Casino de Charlevoix foi estabelecido na antiga casa de verão do Manoir Richelieu, nas falésias de Pointe-au-Pic, um local cênico que atrai turistas há mais de um século.
O hotel atual foi construído entre 1928 e 1929, no estilo Châteauesque, pelo arquiteto John Archibald, para substituir a estrutura original de 250 quartos (construída em 1899) que foi destruída por um incêndio.
Originalmente de propriedade das Linhas de Navios a Vapor do Canadá, o hotel foi vendido em 1966 para Warnock Hersey. Em 1971, foi vendido para a estrela do futebol irlandês John Dempsey, depois para o governo provincial em 1975 e para Raymond Malenfant em 1986.
Em 1998, a Loto-Québec se associou aos Hotéis no Pacífico Canadense e ao Fundo de Solidariedade QFL para adquirir o Manoir Richelieu (agora chamado Fairmont Le Manoir Richelieu), renová-lo e expandir o Casino de Charlevoix. Em junho de 1999, o complexo se transformou em um resort de classe mundial.
O Casino de Charlevoix também se tornou o primeiro dos cassinos do Québec a ser conectado a um hotel.