Я сделал пример Мэтта LINQ еще одним шагом для обеспечения чистоты кода:
byte[] rv = a1.Concat(a2).Concat(a3).ToArray();
В моем случае массивы небольшие, поэтому меня не касается производительности.