Haie scheinen sich vor 400 bis 450 Millionen Jahren, im frühen Devon, aus Fischen entwickelt zu haben. Die frühesten bekannten Haie waren ziemlich klein und maßen nur 12 bis 16 Zoll lang. Sie scheinen in der Nähe oder in der heutigen Antarktis gelebt zu haben.
Vor 360 Millionen Jahren, zu Beginn des Karbons, gab es viele Haiarten, von denen einige den modernen Haien sehr ähnlich waren. Am Ende des Perms, vor etwa 245 Millionen Jahren, wurden viele Haiarten durch ein massives globales Aussterben ausgelöscht. Moderne Haie tauchten zu Beginn der Jurazeit vor etwa 213 Millionen Jahren auf und leben seitdem in den Ozeanen.