Forma parte del denominado "Triángulo del Arte" de Madrid, junto con el Museo Reina Sofía y el Museo Thyssen-Bornemisza. Su origen también se debe a la afición coleccionista de las distintas dinastías que han reinado en España. No se considera un museo enciclopédico porque no tiene obras de todas las épocas y escuelas, aunque desde el siglo XX se han intentado paliar estas ausencias. Ya que realmente muchas de las obras que existen en el museo fueron creadas por encargo.
En el museo existe un inventario de 8600 obras, aunque también cuenta con 950 esculturas, 8200 dibujos, 4200 grabados, 800 objetos de artes decorativas, 900 monedas y 800 medallas.