Одиночные кавычки не будут расширять переменные. Вам нужна строка с двойными кавычками, например:
Copy-Item "\\server\share\$hostname.txt" C:\
И вообще вам не нужно указывать строковые аргументы для команды PowerShell, если вам не требуется расширение переменной или в строке есть пробел.