C'est à Saint-Martin-de-Ré, en Charente-Maritime, que naît Ernest Cognacq, le 2 octobre 1839. Le décès de son père l'ayant contraint très tôt à gagner sa vie, il devient calicot à La Rochelle et dans d'autres villes de l'ouest de la France.
Au milieu du XIXe siècle, Ernest Cognacq travaille à Paris dans plusieurs grands magasins, notamment à La Nouvelle Héloïse où il rencontre sa future femme, Marie-Louise Jaÿ.
Il s'établit à son compte en 1867, rue de Turbigo, dans une boutique dénommée Au petit bénéfice. De déconvenues en nouveau départ, ses affaires finissent par s'améliorer après l'ouverture en 1870 d'un petit commerce baptisé La Samaritaine.
En 1872, il épouse Marie-Louise Jaÿ, alors acheteuse au rayon confection du Bon Marché, qui l'épaule dans le développement de son affaire. Grâce à leur sens du commerce et de l'économie, la réussite est au rendez-vous.
Ernest Cognacq confie successivement à l'architecte Frantz Jourdain le réaménagement du premier bâtiment, puis la construction du bâtiment numéro deux de la Samaritaine, achevé en 1910 et construit selon des principes novateurs associant une structure métallique apparente et des verrières zénithales. Ce bâtiment sera agrandi par l'architecte Henri Sauvage en 1928, qui donnera naissance à la façade actuelle du magasin, en bord de Seine, face au pont neuf.
En compagnie de son épouse, Ernest Cognacq commence à constituer vers 1895 une très belle collection d'œuvres et d'objets d'art du XVIIIe siècle, dont il fait don à la ville de Paris l'année de son décès, en 1928.
Ayant fait fortune, les époux Cognacq-Jay, qui n'ont pas d'enfants, développent des œuvres de bienfaisance en faveur des plus démunis, s'intéressant en particulier au sort des orphelins, à l'éducation des enfants nécessiteux ou aux difficultés rencontrées par les employés du commerce au moment d'une naissance ou de la vieillesse. C'est dans cette dynamique de solidarité sociale qu'ils donnent naissance à la Fondation Cognacq-Jay.
