Дженерики не могу быть примитивами, нужно использовать класс-обёртку

Потому что примитив, а не оболочка. Как любой дженерик

Можем, если это массив байтов

Потому что new byte[] {1} != new byte[] {1}. Так же, их метод для получения хеш кода унаследованы от Object'а, что значит что каждый новый массив имеет новый хеш код. Следовательно , когда, мы спросим у хеш мапы значение по ключу new byte[] {1}, то получим null, даже если там есть значение по ключу массива байтов с единичной.