Paul Ehrlich blev født den 14. marts 1854 i Strehlen, Tyskland. Allerede som elev og medicinstuderende var han interesseret i at farvelægge mikroskopiske vævssubstanser. I sin afhandling ved universitetet i Leipzig tog han emnet op igen (“Beiträge zur Theorie und Praxis der histologischen Färbung”). Efter sin kliniske uddannelse og habilitering (“Das Sauerstoffbedürfnis des Organismus”) på Charité i Berlin i 1887 modtog han en opfordring fra Robert Koch til at blive ansat på Institut for Infektionssygdomme i Berlin (1891).
Paul Ehrlich overvandt den tuberkulosesygdom, som han blev smittet med i Egypten. Herefter arbejdede han sammen med sin ven Emil Adolf von Behring for at bidrage til udviklingen af difteriserummet, der skulle hjælpe mod sådanne luftvejssygdomme.
Disse arbejder var inspiration til hans berømte sidekædeteori (Seitenkettentheorie) fra 1897. Denne teori forklarede virkningerne af serum og gjorde det muligt at måle mængden af antigen. I 1896 blev Ehrlich direktør for det nyoprettede kongelige institut for serumforskning og -undersøgelse (Königlichen Instituts für Serumforschung und Serumprüfung) i Steglitz (Berlin). Her fortsatte han sit arbejde med immunologi og hæmolysiner; disse undersøgelser førte i sidste ende til hans sidekædeteori om immunitet. I 1899 blev instituttet flyttet til Frankfurt (Main) og udvidet til Institut für experimentelle Therapie (Institut für experimentelle Therapie). Her forskede Ehrlich i kemoterapi og smitsomme sygdomme. I 1904 blev Ehrlich æresprofessor ved universitetet i Göttingen.
Paul Ehrlich modtog Nobelprisen for medicin sammen med Elie Metschnikoff i 1908 for deres forskning i immunitet. I 1906 opdagede han strukturformlen for atoxyl, en kemisk forbindelse, som havde vist sig at kunne behandle sovesyge. Efter denne opdagelse forsøgte han at skabe en mindre giftig version af medicinen. I 1909 udviklede han og hans elev Sahachiro Hata Salvarsan, et lægemiddel mod sovesyge, syfilis og andre epidemiske sygdomme.
Han blev hædret af den preussiske regering i 1911, da han blev valgt til den højeste rang af Excellence i det Privy Medical Council. Få år senere døde Ehrilch den 20. august 1915 i en alder af 61 år.
Hans liv er skildret i filmen The Magic Bullet, som fokuserede på Salvarsan® (arsphenamin, “forbindelse 606”), hans middel mod syfilis. Hans arbejde gjorde opmærksom på eksistensen af blod-hjernebarrieren, en fysisk barriere mellem blodkarrene i centralnervesystemet.
Begrebet “den magiske kugle” stammer fra det 19. århundredes tyske kemikeres erfaringer med selektiv farvning af væv til histologisk undersøgelse og især selektiv farvning af bakterier (Ehrlich var en usædvanlig begavet histologisk kemiker og opfandt forløberteknikken til Gram-farvning af bakterier). Ehrlich mente, at hvis man kunne fremstille et stof, der selektivt var rettet mod en sygdomsfremkaldende organisme, så kunne man levere et toksin mod denne organisme sammen med det selektive middel. Der ville således blive skabt en magisk kugle, som kun dræbte den målrettede organisme.