Olsen speelde in de jeugd van Alsønderup SG&I en werd in 2012 opgenomen in de opleiding van FC Nordsjælland. Bij die club zou hij later ook zijn professionele debuut maken. In het seizoen 2018-2019 maakte hij 32 doelpunten voor de Deense topclub. Het leverde hem een transfer naar de Italiaanse eersteklasser Bologna op. Na tweeënhalf jaar voetballen bij Bologna maakte Olson de overstap naar Club. Hij zette er zijn handtekening onder een vierjarig contract, tot 2026.
De nauwlettende Rode Duivel-supporter kon Olson misschien al kennen van het EK 2020. Daar speelde de wervelende middenvelder mee in de groepswedstrijd tegen België. In datzelfde EK kreeg hij verder ook tegen Finland speelminuten.