Après la mort de Cabet, la situation de ses fidèles, qui se retrouvaient démunis à Saint-Louis, fut des plus difficiles. Ils se logèrent dans trois grandes maisons au nord de la ville, insuffisantes pour les 170 personnes qui constituaient le groupe. Puis celui-ci déménagea à Cheltenham, à six miles de la ville, dans un ancien établissement de bains situé le long du chemin de fer du Pacifique et contenant une grande maison de vingt pièces et quatre loge house. Les icariens se mirent à la tâche et en quatre ans construisirent des bâtiments et développèrent la communauté sur la base des principes icariens. Mais malgré ces conditions de vie meilleures et les efforts du président Benjamin Mercadier de faire de la communauté de Cheltenham la continuité de l’œuvre de Cabet, cette nouvelle Icarie fut confrontée à d’incessants problèmes.

Dès mai 1858, lors de la révision de la constitution icarienne, un noyau de mécontents se manifestait autour de l’un des gérants, Vogel. Cela aboutira, en mars de l’année suivante, au départ de 44 icariens, soit environ le tiers des effectifs de la communauté. Et puis les conditions matérielles à Cheltenham n’étaient pas si bonnes que les icariens l’avaient espéré. Malgré une amélioration pendant la Guerre de Sécession, la communauté ne fut guère florissante. En 1862, Une dispute éclate entre le gérant du bureau de Paris, Jean-Pierre Béluze, et le président de Cheltenham. En 1863, ils démissionnent tour à tour. Réduite à une vingtaine de personnes, la communauté devenue moribonde se dissout en mars 1864.