1754年、スコットランドの貴族ストアモント卿の息子であるウイリアム・マレー、後の高等法院首席裁判官も勤めた初代マンスフィールド伯爵（1705−1792）がここにあったブット伯爵所有の屋敷を購入、10年後の1764年、スコットランド人の建築家ロバート・アダム（1728−1792）に改装を依頼しました。1779年に改装は終わり、中でもウエッジウッドのようなブルー地に白のデコレーションが施された天井を持つ新古典様式の図書館は、アダムの代表作になっています。

マンスフィールド卿の死後1793年に甥が二つの翼棟を北側のファサードに付け加えました。このハムステッド・ヒースを望む、南向きのファサードの姿は有名で、「ノッティンヒルの恋人」などの映画の撮影にも使われています。

1925年、エドワード・セシル・ギネス（1847−1927）、アイヴァー卿が自分の死後に絵画と共に屋敷を国に寄付するつもりでケンウッド・ハウスと74エーカーの土地を購入しました。2年後に伯爵は亡くなり、翌年1928年「アイヴィ遺産」として、素晴らしい絵画コレクションが一般に公開されることになりました。レンブラントの「自画像」とフェルメールの「ギターを弾く少女」の絵が特に有名です。