Prostory dnešní městské knihovny sloužily v minulosti jako hospodářské zázemí zámku. Nachází se v manýristických křídlech vystavěných v letech 1611-1616 za Ladislava Velena ze Žerotína. Prostory knihovny jsou sklenuty renesanční křížovou klenbou s vytaženými hřebínky. Knihovna je pojmenována po Ladislavu z Boskovic, který ve své době vlastnil velmi rozsáhlou knihovnu, která obsahovala mnoho děl včetně antických filozofů.