В начале XIX века владельцем особняка стал барон Пишон, который предпочел разбить его на квартиры и сдавать внаем. Одним из квартиросъемщиков был поэт Шарль Бодлер. Полагают, что именно здесь были написаны некоторые из стихотворений «Цветов зла». Из окон этого особняка наблюдал поэт, как
...дрожа от холода, заря влачит свой длинный
зелено-красный плащ над Сеною пустынной.
Сохранилось письмо Бодлера к барону Пишону.
«Милостивый государь, — писал поэт квартировладельцу, — я колю дрова в моем салоне и таскаю за волосы свою любовницу. Подобное случается у всех, и я не вижу причин, почему вас это должно беспокоить». Любовницей, о которой шла речь, была знаменитая Жанна Дюваль, «Темнокожая Венера».
В 40-е годы XIX столетия в этом же особняке жил поэт Теофиль Готье.
Отель «Де Лозен» был выстроен по проекту архитектора Луи Ле Во, так же, как и находящийся рядом отель «Ламбер», предназначенный для министра Жана Батиста Ламбера. В XVIII веке одно время отель «Ламбер» принадлежал финансисту Дюпену. В салоне его жены, урожденной Мари-Мадлен де Лафонтен, упоминаемой Руссо в его «Исповеди», собирались лучшие умы Франции века Просвещения. Вольтер даже направил в ее салон камергера прусского короля, чтобы тот полюбовался особняком, который «ему не даст плохого представления о Франции».
Внутри особняк украшен работами художников XVII века Ле Сюера и Ле Брена.
Дружба, связавшая Вольтера с мадам дю Шатле, и случай, позволивший маркизе купить этот особняк, приводят к тому, что в нем на какое-то время поселяется сам Вольтер. Полагают, что его покои находились на втором этаже. Вид на Париж из окон этого особняка философ назвал самым красивым, «достойным самого Константинополя».
В 40-е годы XIX века особняк Ламбер был куплен с торгов женой Адама Чарторыйского, друга и министра Александра I.
Салон княгини Чарторыйской стал центром польской эмиграции в Париже, его посещали Адам Мицкевич, а также Жорж Санд, Эжен Делакруа.
На улице Сен-Луи-ан-л'иль в № 19-бис находится церковь Святого Людовика, строительство которой было начато в 1664 году по проекту Луи Ле Во, работы продолжили архитекторы Габриэль Ле Дюк и Жак Дусе. С троительство закончилось только в 1725 году, так как храм, построенный по ошибке с алтарем на юге, сразу же начали перестраивать с целью вывести алтарную часть на восток.
В этой церкви крестил своего первенца поэт Жан Расин, когда-то живший на острове.
На улице Сен-Луи-ан-л'иль в доме № 9 жил французский историк Ипполит Тэн. Однажды жители этой улицы были поражены неожиданным зрелищем. Под проливным дождем с криками «Виват!» и «Браво!» толпа с тудентов бежала за фиакром, в котором сидел маленький, невзрачный человек в очках, «интеллектуальный бобер острова», как называл себя Ипполит Тэн.
В доме № 28 по улице Ле Реграттье в 1791 году закончил свои дни скульптор Фальконе, создатель «Медного всадника» — конной статуи Петра Великого в Санкт-Петербypre. В доме № 19 по набережной Бурбон жила и работала Камилла Клодель.
На набережной Бурбон, № 45, находится дом, «расположенный на грустном и одиноком повороте», так называемый «дом кентавра», где в начале этого века в салоне Люси Фор-Фавье встречались Пикассо и Аполлинер, Кокто и Макс Жакоб.
В доме № 36 на набережной Бетюн жила Мария Склодовская-Кюри.
Нельзя покинуть остров, не сделав двух вещей: не попробовав мороженого в кафе знаменитого Бертийона (улица Сен-Луи-ан-л'иль, № 31) и не полюбовавшись видом, который открывается на старый Париж с того места, где улица Ле Реграттье выходит на Орлеанскую набережную.