Venezia-Spezia, Serie B: una prima di campionato per pochi intimi