Paul Ehrlich syntyi 14. maaliskuuta 1854 Strehlenissä Saksassa. Jo oppilaana ja lääketieteen opiskelijana hän oli kiinnostunut mikroskooppisten kudosaineiden värjäämisestä. Väitöskirjassaan Leipzigin yliopistossa hän tarttui aiheeseen uudelleen (”Beiträge zur Theorie und Praxis der histologischen Färbung”). Kliinisen koulutuksen ja habilitoinnin (”Das Sauerstoffbedürfnis des Organismus”) jälkeen Berliinin Charitéssa vuonna 1887 hän sai Robert Kochilta kutsun Berliinin infektiotauti-instituuttiin (1891).
Paul Ehrlich voitti tuberkuloositaudin, johon hän sai tartunnan Egyptissä. Sen jälkeen hän työskenteli ystävänsä Emil Adolf von Behringin kanssa osallistuakseen kurkkumätäseerumin kehittämiseen, joka auttaisi tällaisia hengitystiesairauksia vastaan.
Nämä työt olivat innoittajina hänen kuuluisalle sivuketjuteorialleen (Seitenkettentheorie) vuodelta 1897. Tämä teoria selitti seerumin vaikutukset ja mahdollisti antigeenin määrän mittaamisen. Vuonna 1896 Ehrlichistä tuli Steglitziin (Berliini) vastaperustetun kuninkaallisen seerumitutkimus- ja seerumintarkastuslaitoksen (Königlichen Instituts für Serumforschung und Serumprüfung) johtaja. Siellä hän jatkoi immunologiaa ja hemolysiinejä koskevaa työtään; nämä tutkimukset johtivat lopulta hänen immuniteettia koskevaan sivuketju-teoriaansa. Vuonna 1899 instituutti siirrettiin Frankfurtiin (Main) ja sitä laajennettiin kokeellisen hoidon instituutiksi (Institut für experimentelle Therapie). Täällä Ehrlich tutki kemoterapiaa ja tartuntatauteja. Vuonna 1904 Ehrlichistä tuli Göttingenin yliopiston kunniaprofessori.
Paul Ehrlich sai lääketieteen Nobel-palkinnon yhdessä Elie Metschnikoffin kanssa vuonna 1908 immuniteettitutkimuksistaan. Vuonna 1906 hän löysi atoksyylin rakennekaavan, kemiallisen yhdisteen, jonka oli osoitettu voivan hoitaa unitautia. Tämän löydön jälkeen hän yritti luoda lääkkeestä vähemmän myrkyllisen version. Vuonna 1909 hän ja hänen oppilaansa Sahachiro Hata kehittivät Salvarsanin, lääkkeen uniapneaa, syfilistä ja muita epidemioita vastaan.
Preussin hallitus kunnioitti häntä vuonna 1911, kun hänet valittiin salaisen lääketieteellisen neuvoston korkeimpaan ylhäisyyteen. Muutamaa vuotta myöhemmin Ehrilch kuoli 20. elokuuta 1915 61-vuotiaana.
Hänen elämäänsä kuvataan elokuvassa The Magic Bullet, jossa keskityttiin Salvarsan®:een (arsfenamiini, ”yhdiste 606”), hänen syfilislääkkeeseensä. Hänen työnsä lisäsi tietoisuutta veri-aivoesteen olemassaolosta, joka on keskushermoston verisuonten välinen fyysinen este.
”Taikaluoti”-käsite juontaa juurensa 1800-luvun saksalaisten kemistien kokemuksesta kudosten valikoivasta värjäämisestä histologista tutkimusta varten ja erityisesti bakteerien valikoivasta värjäämisestä (Ehrlich oli poikkeuksellisen lahjakas histologian kemisti, ja hän keksi Gram-värjäyksen edeltäjätekniikan). Ehrlich ajatteli, että jos voitaisiin valmistaa yhdiste, joka kohdistuu valikoivasti tautia aiheuttavaan organismiin, valikoivan aineen mukana voitaisiin toimittaa myrkkyä kyseiselle organismille. Näin saataisiin aikaan taikaluoti, joka tappaisi vain kohteena olevan organismin.