в теории - можно. Реально в худшем

Цитата:
Допустим, есть AGP видеокарта с 512МБ памяти и есть матплата, на которой стоит 256 МБ памяти. Можно ли использовать часть видеопамяти как системную память?

в теории - можно. Реально в худшем случае придется переписывать memory management в ядре операционной системы. Напр., как можно рассуждать - у нас есть PM. В нем есть возможность при обращении к отсутствующим страницам памяти вызывать обработчик оного прерывания. Так в нем можно реализовать подгрузку этих самых страниц откуда угодно. В т.ч. и из памяти PCI-у-в. Ну, или откуда угодно :)