Początki osady sięgają XI wieku. Na jednym ze wzgórz istniała osada zwana Wietrzną Górą, należąca do zakonu benedyktynów. W 1181 roku Kazimierz Sprawiedliwy przekazał osadę norbertankom z podkrakowskiego Zwierzyńca. Norbertanki zmieniły nazwę osady na Kazimierz (imię darczyńcy). Nazwa została odnotowana w kronikach po raz pierwszy w 1249 roku, a przymiotnik "Dolny" został dodany w latach późniejszych, w celu odróżnienia osady (w dolnym biegu rzeki, choć tak naprawdę jest to bieg środkowy) od Kazimierza, założonego pod Krakowem (w górnym biegu rzeki). Po około 150 latach osada i okoliczne wsie stały się dobrami korony. Władysław Łokietek w 1325 r. ufundował kościół parafialny.