První zmínka o škole je v miletínské kronice z roku 1586. Stará škola stála u věže a byla ze dřeva a z kamene. Byla přízemní s jednou třídou a bytem pro učitele. Stála na místě, kde je socha sv. Jana Nepomuckého.
1. října 1872 byla škola rozšířena na trojtřídní. Při inspekci v roce 1872 vyzval školní inspektor Fr. Šoffer, aby obec zřídila občanskou školu. Obecní zastupitelstvo dne 8. prosince 1872 věnovalo dům čp. 100 (dnešní pošta) pro občanskou školu.
1. března 1879 byla otevřena 5. třída, tj. 4. třída byla rozdělena na chlapce a dívky, 1. až 3. třídy byly smíšené. Pro nedostatek prostoru ve škole a se svolením hraběnky Marie z Thun Hohensteinu, byly upraveny dolní prostory zámku.
V roce 1892 nařídila okresní C. K. školní rada přestavbu nebo výstavbu nové školy.
V roce 1902 byly předloženy plány nové školy: pro 6 tříd, 1 kreslírnu, 1 tělocvičnu, kabinety, byt (dvoupokojový s příslušenstvím) pro třídního učitele a byt pro školníka. Zároveň bylo zamítnuto školní radou zřízení dvoutřídní školy v Rohoznici.
Dne 16. října 1905 okresní C. K. školní rada jednomyslně schválila místo pro novou školu.
Dne 26. srpna 1910 byly dokončeny stavební práce a sepsán kolaudační protokol, kterým byla nová budova školy uznána a mohlo se po prázdninách začít vyučovat. Slavnostní otevření bylo 8. září 1910 a škola nesla jméno „Jubilejní škola císaře a krále Františka Josefa I.“. V roce 1911 byla dokončena parková úprava kolem budovy.
Dnem 6. dubna 1937 se začal užívat název školy podle miletínského rodáka a spisovatele Karla Jaromíra Erbena.
V roce 1959 bylo přistavěno druhé patro a tím škola získala dalších 5 nových tříd. Bylo také ukončeno střídavé vyučování. Při slavnostním otevření nástavby byla odhalena busta K. J. Erbena.
V roce 1975 byla otevřena školní jídelna se spojovací chodbou.
Čerpáno z Kroniky Miletína, uložené na městském úřadě. O historii školy se dočtete také na jejím webu zde