Борцов появился на свет в 1934 году в Оренбурге. Он рано остался без родителей. Отца репрессировали в 1937 году, а мама скончалась от рассеянного склероза. Позже отец вышел на свободу, но был занят исключительно устройством своей личной жизни.
Виктор с детства мечтал быть актером. Его любимым занятием было прослушивать по радио театральные постановки. Он был знаком со всем репертуаром и знал артистов по голосам. Это сыграло роль во время его поступления в Щепкинское училище, куда он попал без проблем. После окончания вуза он устроился работать в Малый театр, где служил до своей тяжелой болезни.
Дебют актера в кино состоялся в 1960-х годах. Самыми запоминающимися ролями стали Савва Игнатьевич в «Покровских воротах» и камердинер Гаврила в «Гардемаринах». Именно последний герой полюбился Виктору Андреевичу.
В личной жизни у Борцова было два брака. В первых отношениях на свет появилась дочь Ольга. Впоследствии она хотела пойти по стопам своего отца, но построить актерскую карьеру ей не удалось. Со второй супругой Стеллой иметь детей не посчастливилось.
Тем не менее, артист был счастлив в браке и доволен карьерой. Все изменилось после того, как в 2006 году у него обнаружили серьезное заболевание – рак кишечника. Борцову сделали операцию, но должного результата она не дала. После этого последовала мучительная борьба за жизнь, которая длилась два года.
До последних минут с Виктором рядом находилась его любимая жена Стелла. Артист очень страдал, жаловался на одышку, боли в животе и в области сердца. Медики скорой, приезжавшие на вызовы, могли лишь облегчать приступы с помощью обезболивающих средств.
20 мая 2008 года Борцов ушел из жизни в 73 года. Артист похоронен на Троекуровском кладбище.