A assombração em torno do Mercado Modelo começou quando há muitos anos um grupo de escravos foi trancafiado e morto em um local próximo ao atual mercado.
São os espíritos desses trabalhadores que ainda percorrem os cômodos da construção. Os relatos de gritos de socorro vindo do subsolo são frequentes, além disso, correntes se chocando, sussurros e sons de vidros caindo são bem comuns.