1904年的5月4日，一群十四五岁的男孩们建立了一个足球俱乐部，起名为威斯特法伦沙尔克（Westfalia Schalke）。八年后，为了获得参加正式的俱乐部比赛资格，威斯特法伦沙尔克与一个体操俱乐部（Turnverein 1877 Schalke）合并。1924年俱乐部中足球与体操分家，正式成立了沙尔克04足球俱乐部（FC Schalke 04），并将俱乐部的颜色从红黄，改成了蓝白。
沙尔克在此时逐渐崛起成为德国最受欢迎的俱乐部，他们在引进苏格兰的快速传递技术的基础上，踢出了优雅流畅的足球，这种风格被称作“沙尔克陀螺”（Schalker Kreisel），它成为了这支天才球星恩斯特·库佐拉（Ernst Kuzorra）所指挥的球队的标志。由于沙尔克与矿业工人紧密的关系，俱乐部获得了“矿工”的亲昵称号（blue-and white Knappen）。
到了1927年沙尔克04——皇家蓝军（The Royal Blues）已经成为一支劲旅，最开始统治鲁尔区，继而获得德国西部的冠军，最终征服整个德国。在1933—1942年间沙尔克共获得9次德国冠军。1933年沙尔克首次闯入德国联赛总决赛，以0：3负于杜塞尔多夫。次年沙尔克再度闯入总决赛，并以2：1战胜纽伦堡，首度夺魁，成为了7座德国联赛总决赛冠军的开端；1935年沙尔克卫冕成功，总决赛6：4击败斯图加特。1937年他们以2：0再次击败纽伦堡，三度夺冠。1939年皇家蓝军迎来了历史上最大的胜利，总决赛9：0击垮对手维也纳艾特米那（Admira Vienna），第四次夺魁。但在1940年他们仅以最小的优势1：0击败对手德累斯顿，五度夺标。在1943年总决赛2：0战胜维也纳快速之后，他们已经6次获得冠军，已然造就了“沙尔克神话”（Schalke legend），这样光辉的战绩将永远使球队保持对下一代球员的吸引力，并且让沙尔克拥有了雄厚的球迷基础。
二战之后皇家蓝军继续保持着很高的竞技水平，并且在不久之后1958年便获得西部顶级联赛冠军，继而在联赛总决赛3：0战胜汉堡获得了第七座德国联赛冠军，也是他们战后惟一的一座联赛冠军。
1963年，德国足球甲级联赛正式成立，沙尔克很自然地成为了16个创始会员之一。但在前10年中，皇家蓝军很大程度上都在为保级而战。说真的，若非当年德甲联赛由16支扩充到18支球队，排名第16的沙尔克早就降入地区联赛了。
在60年代末，以联邦德国传奇右边锋赖因哈特·利布达（Reinhard Libuda）为首，一支年轻而有潜力的球队建立起来。1972年在教练Ivica Horvat的带领下，皇家蓝军获得了德甲联赛亚军和德国杯冠军（决赛5：0击溃凯泽斯劳滕），但球队却卷入了德甲最大的一宗非法操纵比赛丑闻，多名球员被德国足协处罚禁赛。当皇家蓝军1977年再度获得德甲亚军之后，球队的堕落已不可遏止。
在80年代球队坠落到了极点，除去那场传奇的对拜仁慕尼黑6：6的德国杯半决赛，球队乏善可陈，并在1981，1983，1988年三次降入乙级联赛。前两次他们在第二赛季便返回了德甲联赛，但第三次降级后，他们在德乙煎熬了3年之久。尽管球队战绩不佳，但沙尔克依然是德甲联赛中最受欢迎的球队之一，依然拥有庞大的球迷群。他们于1973年迁入能容纳相当多观众的花园球场。
球迷的忠诚得到了回报：1991年沙尔克重返德甲，1994年沙尔克完成董事会改革并清付了200万马克的巨额债务。1997年沙尔克连斩多支欧洲劲旅，获得了球队历史上第一个欧洲冠军：在教练斯蒂文斯的率领下，维尔莫茨的决定性进球确保皇家蓝军两回合点球4：1击败国际米兰。
5分钟冠军的故事不想再说了，所有沙尔克的球迷，拜仁的球迷，乃至所有德甲的球迷永远也不会忘记那一经典，但那却是沙尔克人最痛苦的时刻，粉碎了沙尔克第8座德国联赛冠军的梦想。失落的沙尔克人并未就此消沉，他们在接下来连续两年获得德国杯的冠军，包括粉碎拜尔三冠王的一场德国杯决赛。