Только COM-серверы могут быть зарегистрированы, glut32.dll не является COM-сервером.
Стандартная ошибка заключается в копировании 32-разрядной DLL в c:\windows\system32. Их нужно скопировать в c:\windows\syswow64, а для 32-разрядных исполняемых файлов - для 64-разрядной версии Windws. В общем, конечно, лучше всего избегать, возиться с каталогами Windows - всегда ошибка. Скопируйте DLL в ту же папку, что и EXE. Лучше всего выполнить событие post-build в вашем проекте.
Сделайте это простым, добавьте через графический интерфейс Windows Desktop:
1) Перейдите в "Панель управления" → "Система" → "Расширенная настройка системы".
2) В "Расширенном" TAB нажмите в правом нижнем углу кнопку → "Переменная среды".
3) Добавьте любой путь к переменной "Путь", обязательно поставьте в конец ";".
4) перезапустите компьютер.
Готово :-)
Из строки cmd вы можете просмотреть значения "Путь", набрав:
echo% PATH%
В Windows 8.1 Pro:
xxx.dll
папку c:\windows\System32
regsvr32 c:\windows\system32\xxx.dll