[furiosa-opt v0.8.1] kernel launch 시 image upload 비용 관련 문의

커스텀 커널 launch 55번을 이어 붙인 파이프라인에서 launch 사이 간격이 전체 시간의 30% 가까이 되어 여쭙습니다. 최소 재현 크레이트 `rngd-image-switch-repro`를 첨부했습니다. Furiosa Opt 0.8.1, RNGD 1칩에서 실측했습니다.

## 관찰 1: 최소 재현

같은 64 KiB 복사 커널에 vector pass 수만 달리해서(N = 1, 32, 128, 256) image 크기만 다르게 만들었습니다. 같은 커널을 이어 launch할 때와 `passes_1`과 번갈아 launch할 때의 host launch wall(30회 중앙값)입니다.

| 커널 | image | 같은 커널 반복 | passes_1과 번갈아 | 차이 |

| — | —: | —: | —: | —: |

| passes_1 | 36,352 B | 12.7 µs | 22.5~23.1 µs | +10 µs |

| passes_32 | 42,752 B | 18.2 µs | 31.8 µs | +13.6 µs |

| passes_128 | 51,712 B | 37.7 µs | 59.6 µs | +21.9 µs |

| passes_256 | 64,000 B | 64.2 µs | 97.2 µs | +33.0 µs |

커널이 바뀔 때마다 launch 하나에 시간이 더 붙고, 그 크기가 image가 클수록 커졌습니다. 같은 커널을 반복할 때는 붙지 않았습니다.

## 관찰 2: 실제 파이프라인

커스텀 커널 launch 55번을 host 개입 없이 이어 돌리는 파이프라인에서, trace의 device counter로 launch 사이 간격을 쟀습니다. 전체 7.95 ms 중 커널 실행(device time)이 5.54 ms, launch 사이 간격이 2.36 ms였습니다.

| 다음 launch | image | launch 앞 간격 |

| — | —: | —: |

| 같은 커널을 이어서 | — | 약 11~17 µs |

| 커널 A (다른 커널 뒤) | 113 KB | 약 38~46 µs |

| 커널 B (다른 커널 뒤) | 173 KB | 약 56~65 µs |

| 커널 C (다른 커널 뒤) | 250 KB | 약 94 µs |

| 커널 D (다른 커널 뒤) | 348 KB | 약 124~128 µs |

커널 D는 11번 들어가는데 다른 커널 뒤에 오는 6번에 매번 약 125 µs가 붙어서, 이것만 약 0.75 ms입니다. 데이터 의존성 때문에 커널 D와 다른 커널이 번갈아 와야 해서 순서를 바꿔 피할 수도 없었습니다.

## 질문

1. 커널이 바뀔 때 붙는 이 시간이 커널 image(명령)를 장치에 다시 올리는 시간이 맞는지, 그렇다면 host에서 PCIe로 매번 보내는 것인지 궁금합니다.

2. 여러 커널의 image를 장치에 함께 올려 두고(상주) 번갈아 launch할 때 다시 올리지 않게 하는 방법이나 설정이 있을까요? 크기 제한이 있다면 얼마인지도 알고 싶습니다.

3. 다음에 launch할 커널을 미리 알고 있을 때, 지금 커널이 도는 동안 다음 image를 미리 올려 두는(prefetch) 방법이 있을까요? 저희 launch는 앞 결과에 의존해서 순서대로 돌지만 다음 커널은 미리 정해져 있습니다.

4. image 크기를 줄이는 방법(compile 옵션, 또는 같은 pass를 반복할 때 명령을 펼치지 않고 반복하는 방법)이 있다면 알려 주시면 감사하겠습니다.

안녕하세요, 각 질문에 먼저 답 드리겠습니다.

  1. Kernel은 load시 NPU HBM에 올라가 있는데, HBM에서 instruction memory의 copy가 inline으로 발생하고 있습니다.
  2. 이 부분은 implementation detail로써 내부적으로 구현이 되어야 하는데, 아직 반영이 안된것에 가깝습니다. 사용자는 신경쓰지 않고 내부적으로 double buffering이 되는 형태입니다. 다음 release에 반영될 예정입니다.
  3. 3의 답변과 같습니다.
  4. 아마 같은 문제로 질문을 주신거 같은데요, 별도로 image 크기를 줄이지 않고도 overhead가 최소화 되도록 반영될 예정입니다. 별개로 image 크기를 줄이는 작업도 진행되고 있으나 이 부분도 사용자에게 노출되진 않는 형태가 될 거 같습니다.

결론적으로 죄송하지만 다음 release까지 조금 기다려주셔야 할 거 같습니다. 최대한 빠르게 반영하고 답변 달아놓겠습니다.