A ballagás kifejezés a latin eredetű valetans (búcsúzó) szóból származik, maga a szokás pedig a felvidéki Selmecbányáról, ahol az 1870-es években az erdészeti és bányászati akadémia hagyományaként a hallgatók a Ballag már a vén diák kezdetű dal éneklésével búcsúztak el iskolájuktól.
Ezek után az egész országban és minden iskolatípusban elterjedt a ballagás, és a 20. század elejére már általánossá vált. A 1920-as évekre a Ballag már a vén diák kezdetű dalt sok helyen felváltotta az Elmegyek, elmegyek... kezdetű magyar népdal.
Népszerű szokássá vált az is, hogy a ballagás előtti éjszakán a végzős diákok szerenáddal köszöntik tanáraikat. A ballagás napján az iskola zászlóját követve sétálnak végig az iskolai folyosókon a diákok, vállukra akasztva egy kis tarisznyát, amelybe az alsóbb osztályokba járó társaik pogácsát, földet, sót, aprópénzt és egy képet tettek az iskoláról.