Семья Василия Поленова составила цвет русской интеллигенции. Его отец, дипломат Дмитрий Васильевич, серьёзно занимался историей, археологией и библиографией. Дед — Василий Алексеевич Поленов — был создателем Санкт-Петербургского и Московского главных архивов, академиком Императорской Академии наук. Мать художника — Мария Алексеевна, урожденная Воейкова, — была внучкой известного архитектора Николая Львова, чьим творчеством восхищался Василий Поленов.