Ярмольник появился на свет в небольшом дальневосточном городке. У Леонида имеются еврейские корни, но сам он не знает языка и далек от традиций этого народа. Семья Ярмольника была далека от творчества: его отец был офицером, а мать – врачом-лаборанткой. Несмотря на это, Леонид мечтал стать артистом с детства, в школе он посещал драмкружок. После окончания учебы была безуспешная попытка поступить в ЛГИТМиК.
Несмотря на неудачу, Ярмольник не собирался отступать – уже в следующем году стал студентом Щукинского училища. Благодаря легкому характеру молодой человек обзавелся большим количеством друзей, одним из самых близких был Александр Абдулов.
После окончания вуза Леонид работал в Театре на Таганке. Там он познакомился с Владимиром Высоцким. С середины 70-х годов Ярмольник начинает сниматься в кино, что ему с успехом удается. «Тот самый Мюнхгаузен», «Ищите женщину», «Человек с бульвара Капуцинов» - это лишь немногие из картин с его участием.
В какой-то момент мужчина сменил место работы на театр «Современник». Там за ним устойчиво закрепилась слава ловеласа. Известно, что он состоял в отношениях с Еленой Коневой, Зоей Пыльновой. Последняя состояла в браке с Владимиром Ильиным и долгое время не могла определиться, между кем ей выбрать, мужем либо любовником.
Счастье в отношениях Ярмольник нашел с Оксаной Афанасьевой, художницей по профессии. Женщину называют «последней любовью» Высоцкого.
В браке с Леонидом родилась дочь Александра, которая пошла по стопам матери и стала художницей. Сам же актер остепенился и стал примерным семьянином. У артиста уже есть двое внуков. Удачно складывается жизнь и в профессиональном плане, Ярмольник продолжает оставаться востребованным актером.