[Bug] fast_hadamard_transform_12N

[beginlner]

import torch
from fast_hadamard_transform.fast_hadamard_transform_interface import fast_hadamard_transform_cuda
I = torch.eye(12).cuda()
H = fast_hadamard_transform_cuda.fast_hadamard_transform_12N(I, 1.0)
print(H @ H.T)

tensor([[12.,  0.,  0.,  0., -4.,  0.,  0.,  0., -4.,  0.,  0.,  0.],
        [ 0., 12.,  0.,  0.,  0., -4.,  0.,  0.,  0., -4.,  0.,  0.],
        [ 0.,  0., 12.,  0.,  0.,  0., -4.,  0.,  0.,  0., -4.,  0.],
        [ 0.,  0.,  0., 12.,  0.,  0.,  0., -4.,  0.,  0.,  0., -4.],
        [-4.,  0.,  0.,  0., 12.,  0.,  0.,  0., -4.,  0.,  0.,  0.],
        [ 0., -4.,  0.,  0.,  0., 12.,  0.,  0.,  0., -4.,  0.,  0.],
        [ 0.,  0., -4.,  0.,  0.,  0., 12.,  0.,  0.,  0., -4.,  0.],
        [ 0.,  0.,  0., -4.,  0.,  0.,  0., 12.,  0.,  0.,  0., -4.],
        [-4.,  0.,  0.,  0., -4.,  0.,  0.,  0., 12.,  0.,  0.,  0.],
        [ 0., -4.,  0.,  0.,  0., -4.,  0.,  0.,  0., 12.,  0.,  0.],
        [ 0.,  0., -4.,  0.,  0.,  0., -4.,  0.,  0.,  0., 12.,  0.],
        [ 0.,  0.,  0., -4.,  0.,  0.,  0., -4.,  0.,  0.,  0., 12.]],
       device='cuda:0')

Which is not a diagonal matrix.

[hychiang-git]

Testing with larger sizes seems to be correct

import torch
from fast_hadamard_transform.fast_hadamard_transform_interface import hadamard_transform_12N
I = torch.eye(192).cuda()
H = hadamard_transform_12N(I, 1.0)
print(H @ H.T)

Output:

tensor([[192.,   0.,   0.,  ...,   0.,   0.,   0.],
        [  0., 192.,   0.,  ...,   0.,   0.,   0.],
        [  0.,   0., 192.,  ...,   0.,   0.,   0.],
        ...,
        [  0.,   0.,   0.,  ..., 192.,   0.,   0.],
        [  0.,   0.,   0.,  ...,   0., 192.,   0.],
        [  0.,   0.,   0.,  ...,   0.,   0., 192.]], device='cuda:0')

I think the implementation only supports dim % (4 * 12) == 0

fast-hadamard-transform/csrc/fast_hadamard_transform.cpp

Line 137 in d1a56ee

TORCH_CHECK(dim % (4 * 12) == 0, "fast_hadamard_transform_12N only supports hidden dimension divisible by 48 for now");