Янковский родился в Джезказгане (Казахстан). В этот город его отца с семьей сослали заниматься строительными работами. У него было два старших брата. Мама будущего актера мечтала о девочке, поэтому в детстве часто привязывала к белокурым локонам симпатичного сына красные банты.
Олега Ивановича считали аристократом киноиндустрии. Род актера имеет польские и белорусские корни. Его отца, которого до смены имени звали Ян, дважды репрессировали. Первый раз ссылка была связана со службой совместно с Тухачевым, причины второй не называются.
После окончания училища Янковский устроился на службу в саратовский театр и мог бы навсегда застрять в его стенах, если бы не судьбоносный случай. Труппа выехала на гастроли во Львов. В ту пору Владимир Басов отчаянно нуждался в артисте, подходящим на роль Генриха Шварцкопфа. Съемки картины «Щит и меч» оказались на грани срыва, но режиссер заметил идеального кандидата в лице Янковского, которого он сначала принял за филолога или физика. Актера сразу пригласили на пробы и утвердили на роль.
Знаменитость отошел от работы в театре и стал сниматься. Пройдя пробы на фильм «Гонщики», он сообщил партнеру по съемочной площадке Евгению Леонову и режиссеру Игорю Масленникову, что не умеет управлять автомобилем, за рулем которого не сидел ни разу в жизни. Другой артист обязательно бы отказался от работы, но Янковский взял себя в руки, сел в салон машины и стал вести себя словно водитель с многолетним стажем. В актерской игре ему пришлось задействовать все старые воспоминания и наблюдения. Позже он даже взял несколько уроков вождения. Его упорство и смекалка позволили ему стать звездой «Ленкома».
Янковского утвердили на роль в ленте «Тот самый Мюнхаузен», но художественный совет хотел заменить артиста, ссылаясь на его молодость (в тот момент знаменитость успел отпраздновать 35-летие). Ситуация ухудшилась из-за негативного отзыва писателя Григория Горина, выразившего недовольство саратовским акцентом знаменитости, позволяющей себе менять в сценарии реплики. Например, «серьезное лицо» в фразе про признак ума актер заменил на «умное лицо».
Олег Иванович был очень строг и требователен к себе. Образ Петра I в постановке «Шут Балакирев» очень беспокоил звезду. Планировалось наносить минимум грима, а артист не обладал схожей с царем внешностью и телосложением. Его партнерша Александра Захарова позже назвала коллегу, игравшего Петра, громадным и мускулистым человеком.
Однажды Янковский поругался с сорежиссером Михаилом Аграновичем, работавшим над картиной «Приходи на меня посмотреть». Причиной раздора стал отказ актера дать пощечину женщине, которая по сюжету должна была понять следующее: «Бьет – значит любит!» Звезда был настоящим мужчиной и не смог выполнить возложенную на него задачу. В итоге сцену сняли издали, заменив сам удар звуковой обманкой.
Бабушка Янковского в детстве дружила с Владимиром Ульяновым. Однажды ей привезли из заграницы куклу с закрывающимися глазами, а маленький Ленин хотел сломать игрушку, чтобы понять принцип работы механизма. Позже актеру довелось сыграть революционера.
Актер мечтал переснять «Героя нашего времени» на современный лад. По сюжету, Печорин должен был быть 60-летним мужчиной, живущим в наши дни. Главный герой мог рассказать зрителю о переживаниях человека, связанных с взрослением. Написать сценарий к будущему фильму вызвался Михаил Агранович.
Янковский был верующим человеком. После съемок ленты «Царь» Павла Лунгина актер попросил освятить изготовленный для картины нательный крест, дизайн которого скопирован с креста митрополита.