Η μακρόχρονη ιστορία του ΗΡΑΚΛΗ αρχίζει από την εποχή των σύγχρονων Ολυμπιακών Aγώνων στην Aθήνα το 1896. Εκείνη την εποχή ονομαζόταν "Όμιλος Φιλομούσων". Το 1908 μετονομάστηκε σε "Μακεδονικός Γυμναστικος Σύλλογος ο Ηρακλής".

Aργότερα από υποχρέωση εφαρμογής των νόμων των νεότουρκων πήρε το όνομα "Οθωμανικός Γυμναστικός Σύλλογος Θεσσαλονίκης ο Ηρακλής". Το 1910 πήρε το τελευταίο του όνομα "Γυμναστικός Σύλλογος ο Ηρακλής"

Οι ιδρυτές του έδωσαν το όνομα "ΗΡΑΚΛΗΣ" γιατί πίστευαν ότι ο ημίθεος Ηρακλής θα σκορπούσε το φόβο και τον τρόμο στους αντιπάλους του. Ο ΗΡΑΚΛΗΣ στο ποδόσφαιρο μέχρι το1928 είχε τα σκήπτρα στην Ελλάδα και ήταν η πρώτη ομάδα που έφερε ξένο προπονητή τον Άγγλο Πήτερ Κόρνικ.

Πρώτος πρόεδρος υπήρξε ο γιατρός Μάλτος (1908-1909) και ακολούθησαν ο εκδότης της εφημερίδας «Νέα Αλήθεια» Ι.Κούσκουρας (1910-1911) , ο Ν.Κασάπης (1912-1916) και ο Δ.Στεφάνου (1917-1920).

Ο πρώτος κανονισμός αποτελούμενος από 36 άρθρα ψηφίστηκε στην γενική συνέλευση στις 29 Νοεμβρίου 1908.

Ο ΗΡΑΚΛΗΣ από το 1959 αγωνίζεται ανελλιπώς στην A' Εθνική κατηγορία με αξιόλογη παρουσία. Το 1980 υποβιβάστηκε στη A' Εθνική λόγω δωροδοκίας. Το 1976 κατέκτησε το κύπελλο Ελλάδας κερδίζοντας τον Ολυμπιακό 6-5 στα πέναλτυ (κανονικός αγώνας 4-4).

Ο ΗΡΑΚΛΗΣ είναι η πρώτη ελληνική ομάδα που έπαιξε στο εξωτερικό στη Γερμανία , την Aυστρία , την Ολλανδία και τη Γιουγκοσλαβία το 1926. Επίσης είναι η πρώτη ομάδα που συμμετείχε στο κύπελλο Διεθνών Εκθέσεων το 1961 (Βοϊβοντίνα , Σαραγόσα). Στο κύπελλο UEFA έπαιξε τέσσερις φορές (Σιόν , Βαλένθια , AΠΟΕΛ, Γκενιόν, Καιζερσλάουτερν) και μία στο Κυπελλούχων το 1976 (AΠΟΕΛ).

Στις 23 Ιουνίου 1986 κατέκτησε το Βαλκανικό κύπελλο κερδίζοντας στον τελικό την Άργκες Πιτέστι με 4-1. Παλιότερα όπως και σήμερα ο ΗΡΑΚΛΗΣ έχει παίκτες του σε όλα τα εθνικά συγκροτήματα. Ο Ναχμίας ή Ναμίας ο αποκαλούμενος "ταξί" υπήρξε ο πρώτος σκόρερ της εθνικής ομάδας. Ο Βασίλης Χατζηπαναγής θεωρείται ο μεγαλύτερος Έλληνας ποδοσφαιριστής όλων των εποχών.

Aπό το 1908 ο ΗΡΑΚΛΗΣ παραμένει άστεγος αν και κατά περιόδους απέκτησε χώρους (Πανεπιστήμιο , Χορτατζήδες , Μίκρα) για να κατασκευάστει γήπεδο χώρις κάτι τέτοιο να σύμβει.

Στις 11 Φεβρουαρίου, άλλαξε το ιδιοκτησιακό καθεστώς, από τον Βαγγέλη Μυτιληναίο μετά από τη 18χρονη αποτυχημένη παρουσία του ακατονόμαστου #1.

Ο Ηρακλής έχει τις ρίζες του βαθιά μέσα στον χρόνο. Είναι το παλιότερο αθλητικό σωματείο σε ολόκληρη την Ελλάδα. Και τα χρώματά του, το γαλάζιο και το λευκό, θυμίζουν έντονα τα χρώματα της Ελλάδας.

Η ιστορία του Ηρακλή ξεκινά από το 1899, όταν ιδρύθηκε ο όμιλος Φιλόμουσων. Ο όμιλος δεν ήταν αθλητικός σύλλογος, αλλά ένα σωματείο γραμμάτων και μουσικής. Το 1903, τα μέλη του ομίλου αποφάσισαν να εντάξουν στις δραστηριότητες τους τον αθλητισμό. Δημιούργησαν ένα γυμναστήριο και ίδρυσαν τμήματα κολύμβησης και ποδηλασίας. Ωστόσο, ήταν το ποδόσφαιρο, ένα νέο άθλημα εκείνης της εποχής που «έκλεψε τις καρδιές» των αθλητών.
Το πρώτο επίσημο παιχνίδι διεξήχθη στις 23 Απριλίου του 1905, αλλά στη συνέχεια ο σύλλογος άρχισε να αντιμετωπίζει οικονομικά προβλήματα. Τρία χρόνια αργότερα, το 1908, ημερομηνία-ορόσημο για τον Ηρακλή, όλα άλλαξαν. Ο σύλλογος συνεργάστηκε με την ομάδα «Ολύμπια» και η συνένωση των δυνάμεων τους είχε ως αποτέλεσμα τη γέννηση του Ηρακλή. Ολόκληρη η ονομασία του ήταν τότε: «Οθωμανικός Ελληνικός Σύλλογος Θεσσαλονίκης "Ο Ηρακλής"». Το τμήμα ποδοσφαίρου ήταν το πρώτο που δημιουργήθηκε. Οι πρώτες επιτυχίες δεν άργησαν να έρθουν.

Το 1914 ο Ηρακλής αντιμετώπιζε προβλήματα στέγασης, καθώς τα έσοδα του συλλόγου ήταν ελάχιστα και προέρχονταν μόνον από συνδρομές μελών. Ωστόσο, ο σύλλογος κατάφερε, χάρη στη δυναμική του, να αντεπεξέλθει στις δυσκολίες και οι εγκαταστάσεις του έγιναν «πυρήνας» αθλητισμού στην πόλη της Θεσσαλονίκης. Ο Ηρακλής είναι άρρηκτα δεμένος με την ιστορία της πόλης και είναι χαρακτηριστικό ότι πάρα πολλοί σπουδαίοι ποδοσφαιριστές και μετέπειτα προσωπικότητες της Θεσσαλονίκης και της χώρας φόρεσαν την ένδοξη φανέλα με τον «ημίθεο» στο στήθος.

Από τότε που ιδρύθηκε ο ποδοσφαιρικός σύλλογος του Ηρακλή, το ποδόσφαιρο άρχισε να γίνεται δημοφιλές σε όλη την Ελλάδα. Στους πρώτους μεταπολεμικούς Πανελλήνιους Αγώνες η «κυανόλευκη» ομάδα πέτυχε πολλές σημαντικές νίκες και αποτέλεσε την ομάδα-πρότυπο της εποχής.

Καθώς τα χρόνια περνούν, ο Ηρακλής εξακολουθεί να συγκαταλέγεται στις κορυφαίες ομάδες ποδοσφαίρου. Η αρχή της δεκαετίας του 1920 σημαδεύτηκε από εθνικά γεγονότα, αλλά αυτό δεν εμπόδισε τον σύλλογο να αναδειχθεί πολυνίκης στους Πανθρακικούς Αγώνες (1923). Την ίδια χρονιά δημιουργούνται τα πρώτα παιδικά τμήματα.

Η ιστορία του Ηρακλή, μετά τον Β' Παγκόσμιο Πόλεμο, περιλαμβάνει τη συμμετοχή σε πέντε τελικούς του Κυπέλλου Ελλάδας (1947, 1975, 1976, 1980, 1987). Το 1976 ήταν η χρονιά που θα μείνει βαθιά χαραγμένη στις μνήμες όλων των φιλάθλων του Ηρακλή. Την 9η Ιουνίου 1976, στη Νέα Φιλαδέλφεια, η αγαπημένη ομάδα όλης της Ελλάδας νίκησε στα πέναλτι τον Ολυμπιακό (6-5, 4-4 στην κανονική διάρκεια και στην παράταση) και κατέκτησε το Κύπελλο Ελλάδας.
Την επόμενη ημέρα, όταν οι «κυανόλευκοι» ποδοσφαιριστές επέστρεψαν στη Θεσσαλονίκη, πάνω από εκατό χιλιάδες φίλαθλοι τους επεφύλαξαν αποθεωτική υποδοχή.

Το 1976 ο Ηρακλής μετέχει στο Κύπελλο Κυπελλούχων Ευρώπης, ενώ επτά φορές έχει λάβει μέρος στην διοργάνωση του Κυπέλλου UEFA (1962, 1964, 1989, 1990, 1996, 2000, 2002). Μάλιστα, κατά την περίοδο 2000-2001, προκρίθηκε για πρώτη φορά στον δεύτερο γύρο της διοργάνωσης.

Το 1985 ο Ηρακλής κατέκτησε το Βαλκανικό Κύπελλο, επικρατώντας στον τελικό της ρουμανικής Arges Pitesti με 4-1.

1928: Ο Ηρακλής κατακτά το πρωτάθλημα ποδοσφαίρου Θεσσαλονίκης
1933: Συμμετέχει σε ημιτελικό κυπέλλου Ελλάδας
1934: Καταλαμβάνει την δεύτερη θέση στο εθνικό πρωτάθλημα
1935: Βαλκανικό κύπελλο στη Σόφια Βουλγαρίας
Σύνθεση Ηρακλή: Σιδερόπουλος, Κατραντζόπουλος, Ρίμπας, Χούμης, Μπαλτάσης, Βικελίδης, Κασιμάτης, Συμεωνίδης, Χριστοδούλου, Μυγιάκης, Κουράντης
Γήπεδο: Γιούνακ
1938: Κατακτά το πρωτάθλημα ποδοσφαίρου Θεσσαλονίκης
1939: Καταλαμβάνει την δεύτερη θέση στο εθνικό πρωτάθλημα
1947: Συμμετέχει στο εθνικό πρωτάθλημα και βγαίνει δεύτερος
1951: Τρίτος στο εθνικό πρωτάθλημα
1957: Συμμετέχει στον τελικό του κυπέλλου Ελλάδας
1958: Συμμετέχει μέχρι τον ημιτελικό του κυπέλλου Ελλάδας
1961: Συμμετέχει μέχρι τον ημιτελικό του κυπέλλου Ελλάδας. Παράλληλα, παίρνει μέρος (πρώτη συμμετοχή ελληνικής ποδοσφαιρικής ομάδας) στο Κύπελλο Εκθέσεων, το σημερινό ΟΥΕΦΑ
1971: Συμμετέχει μέχρι τον ημιτελικό του κυπέλλου Ελλάδας
1975: Συμμετέχει μέχρι τον ημιτελικό του κυπέλλου Ελλάδας
1976: Κατακτά το κύπελλο Ελλάδας
1980: Συμμετέχει στον τελικό του Κυπέλλου Ελλάδας
1985: Κατακτά το Βαλκανικό κύπελλο
1987: Συμμετέχει στον τελικό του κυπέλλου Ελλάδας
1989: Συμμετέχει στο κύπελλο ΟΥΕΦΑ
1990: Συμμετέχει στο κύπελλο ΟΥΕΦΑ
1996: Συμμετέχει στο κύπελλο ΟΥΕΦΑ
1998: Συμμετέχει στην ημιτελική φάση του Κυπέλλου Ελλάδας
2000: Συμμετέχει στο κύπελλο ΟΥΕΦΑ περνώντας για πρώτη φορά στον δεύτερο γύρο της διοργάνωσης αποκλείοντας τη γαλλική Gueugnon.
2001: Κατακτά την πέμπτη θέση του πρωταθλήματος και συμμετέχει στην ημιτελική φάση του Κυπέλλου Ελλάδας.
2002: Συμμετέχει στο κύπελλο ΟΥΕΦΑ.