История музея начинается с кардинала Федерико Борромео (1564—1631), архиепископа Миланского, который в 1618 году передал Амброзианской библиотеке своё частное собрание из более чем 250 картин, скульптур и рисунков известных ломбардийских, римских и венецианских художников.