Дворец построил Мелоццо да Форли, известный фресками с музицирующими ангелами, а заказчиком был Джироламо Риарио, то ли сын, то ли племянник папы Сикста IV. Величественный внутренний двор Сангалло-старший с Бальдассаре Перуцци исполнили уже для следующего владельца — фрески в лоджии имитируют беседку сада, полного экзотических плодов, цветов и птиц.
В залах палаццо нашли пристанище шедевры из нескольких важных коллекций — австрийского кардинала Альтемпса, большого знатока древностей и изящных искусств, князей Маттеи, которым принадлежала вилла Челимонтана, и князей Людовизи, чье собрание не знало себе равных во всей Италии. Из него, в частности, происходят «Самоубийство галата», «Арес Людовизи» и так называемый «Трон Людовизи» — греческое кресло V века до н. э. с мраморными барельефами, изображающими рождение Афродиты из пены. Экспонаты расставлены по залам вольготно, так что их можно обойти со всех сторон и обдумать. Отдельное развлечение — угадывать фрагменты, добавленные ренессансными и барочными мастерами.
