鐘樓和鼓樓的區別在於鳴響之物不同:鐘樓掛的是鍾,鼓樓架的是鼓。在古時人們將一晝夜為十二時辰,分別以地支(子醜寅卯)序之,人們為了明確時間而設立鐘鼓樓來報時。
城市中的鐘鼓樓最早為專用的報時建築,古代裡坊制城市實行宵禁,早晚擊鼓為啟閉坊門的訊號,建於明洪武年間的西安鐘鼓樓是現存最古老的例項。此外,唐代寺廟內也設了鍾和鼓,在元、明時期發展為鐘樓、鼓樓。