Den første apoteker på Jernbane apoteket var C.P.J. Carstensen, som fik sin bevilling d. 16. februar 1918. Han indrettede apoteket i Vestergade 25, og åbnede apoteket, under det nuværende navn Jernbane Apoteket, d. 12 december 1918.
Selve bygningen, apoteket lå i, er fra ca. 1870. Dengang bestod apoteket af et forhus i 3 etager samt en kælder og et sidehus i 2 etager. Apoteket havde både lokaler i sidehuset og i forhuset. I forhuset var der i kælderen laboratorium, i stueetagen var selve butikken, 2 materialkamre og kontor. På 1. sal var der vagtværelse. I sidehuset var der skyllerum, brandfrit rum og flere lagerrum. Resten af bygningen blev brugt til at huse apotekeren og hans familie.
C.P.J. Carstensen var apoteker på Jernbane Apoteket indtil 1. januar 1932, hvor han fik bevilling til Sølvtorvets apotek i København. I sin periode som apoteker for Jernbane apoteket åbnede han i 1925 et håndkøbsudsalg i Langå.

Den næste apoteker var Johannes Poul Anton Harpøth. Han fik bevilling til apoteket 21. august 1931, og overtog det fra Carstensen 1. januar 1932. J.P.A. Harpøth købte varelageret men ikke selve apoteket. Han lejede sig ind i huset for 6700 kr. om året (prisen er opgivet i 1941) og privaten for 1150 kr.
Den nye apoteker lavede ingen moderniseringer på apoteket, da han sandsynligvis, som mange af de daværende landapotekere, havde ambitioner om at få et af de mere økonomisk attraktive apoteker i København. J.P.A. Harpøth var da også kun apoteker på Jernbane apoteket i relativ kort tid, for allerede d. 25 juli 1941 fik han bevilling til Åboulevardens apotek i København.

Aage Jensen var den næste apoteker i rækken. Han købte ejendommen af fru Carstensen og varelageret af Harpøth. Aage Jensen stod for en større modernisering som blev påbegyndt sidst i 1942. Facaden blev ændret, selve butikken, recepturen og materialkammeret blev moderniseret, et nyt lokale til tabletfremstilling blev indrettet og i sidehuset blev installeret et moderne skyllerum. Desuden blev der i hele ejendommen indlagt centralvarme og varmtvandsforsyning. Aage Jensen var ejer af Jernbane apoteket, indtil han d. 24 oktober 1961 ved kgl. resolution fik lov til at opgive bevillingen pr. 1. april 1962. Inden da nåede han at åbne håndkøbsudsalget i Laurbjerg i 1950.

Anders Dencker Christensen købte apoteket for 231.000 kr., og i 1963-1964 satte han endnu en ombygning af apoteket i gang. Sidehuset blev revet ned, og i stedet byggedes ud i haven langs bagfacaden. I tilbygningen var der i stueplan laboratorier, apotekerkontor og frokoststue. I kælderen garderober, skylleri og analytisk laboratorium. Den nye apoteker satte yderligere nogle tiltag i gang.
I 1964 åbnede han apoteksudsalget på Mariagervej og i 1973 endnu et håndkøbsudsalg i Spentrup.

I 1977 fik apoteker Knud Faber bevillingen til at drive Jernbane Apoteket. Ejendommen kostede på det tidspunkt 610.000 kr. og inventaret og varelageret kostede henholdsvis 147.000 kr. og 524.000 kr.
I 1980 blev en ombygning sat i gang. Det af huset som hidtil var blevet benyttet til beboelse blev inddraget, sådan så hele huset nu blev benyttet til apotekervirksomhed. Moderniseringen indebar, at man fik et nyt laboratorium, tabletlaboratoriet blev omdannet til forsendelse, galenisk laboratorium til provisorkontor og frokoststuen blev omdannet til bogholderi. På 1. sal blev der indrettet et tekøkken og frokoststue samt en produktionsafdeling med sluse, laboratorium og påfyldningsafdeling. 2. sal blev lavet om til lager for plastemballage, sygeplejeartikler og andet let materiale. Desuden blev der indrettet et arkiv, et mødelokale og ventilationsrum. Udover moderniseringen blev håndkøbsudsalget i Langå i 1981 lavet om til et apoteksudsalg.
I 1993 blev ekspeditionslokalet ombygget, således at apoteket fik et stort publikumsrum med selvvalg. To år senere, i 1995, blev der bag apoteket anlagt en parkeringsplads.
Knud Faber var apoteker indtil 2002 hvor han gik på pension.

Apoteker Jeanette Abel fik den 11. juli 2002 bevilling til at drive Jernbane apoteket. Den 1. oktober 2002 overtog Jeanette Abel driften af Jernbane Apoteket. Jeanette Abel er den første kvindelige apoteker i Randers.

Apoteksudsalget i Langå flyttede i december 2004 til større,  nyrenoverede lokaler. Her er stort selvvalg og stort publikumsrum.
2004 var også året, hvor apoteket fik endnu et apoteksudsalg og 4 håndkøbsudsalg. I december 2004 overtog Jernbane apoteket apoteksudsalget Glarbjergvej og håndkøbsudsalgene Harridslev, Stevnstrup, Ålum og Øster Velling.