커스텀 커널 launch 55번을 이어 붙인 파이프라인에서 launch 사이 간격이 전체 시간의 30% 가까이 되어 여쭙습니다. 최소 재현 크레이트 `rngd-image-switch-repro`를 첨부했습니다. Furiosa Opt 0.8.1, RNGD 1칩에서 실측했습니다.
## 관찰 1: 최소 재현
같은 64 KiB 복사 커널에 vector pass 수만 달리해서(N = 1, 32, 128, 256) image 크기만 다르게 만들었습니다. 같은 커널을 이어 launch할 때와 `passes_1`과 번갈아 launch할 때의 host launch wall(30회 중앙값)입니다.
| 커널 | image | 같은 커널 반복 | passes_1과 번갈아 | 차이 |
| — | —: | —: | —: | —: |
| passes_1 | 36,352 B | 12.7 µs | 22.5~23.1 µs | +10 µs |
| passes_32 | 42,752 B | 18.2 µs | 31.8 µs | +13.6 µs |
| passes_128 | 51,712 B | 37.7 µs | 59.6 µs | +21.9 µs |
| passes_256 | 64,000 B | 64.2 µs | 97.2 µs | +33.0 µs |
커널이 바뀔 때마다 launch 하나에 시간이 더 붙고, 그 크기가 image가 클수록 커졌습니다. 같은 커널을 반복할 때는 붙지 않았습니다.
## 관찰 2: 실제 파이프라인
커스텀 커널 launch 55번을 host 개입 없이 이어 돌리는 파이프라인에서, trace의 device counter로 launch 사이 간격을 쟀습니다. 전체 7.95 ms 중 커널 실행(device time)이 5.54 ms, launch 사이 간격이 2.36 ms였습니다.
| 다음 launch | image | launch 앞 간격 |
| — | —: | —: |
| 같은 커널을 이어서 | — | 약 11~17 µs |
| 커널 A (다른 커널 뒤) | 113 KB | 약 38~46 µs |
| 커널 B (다른 커널 뒤) | 173 KB | 약 56~65 µs |
| 커널 C (다른 커널 뒤) | 250 KB | 약 94 µs |
| 커널 D (다른 커널 뒤) | 348 KB | 약 124~128 µs |
커널 D는 11번 들어가는데 다른 커널 뒤에 오는 6번에 매번 약 125 µs가 붙어서, 이것만 약 0.75 ms입니다. 데이터 의존성 때문에 커널 D와 다른 커널이 번갈아 와야 해서 순서를 바꿔 피할 수도 없었습니다.
## 질문
1. 커널이 바뀔 때 붙는 이 시간이 커널 image(명령)를 장치에 다시 올리는 시간이 맞는지, 그렇다면 host에서 PCIe로 매번 보내는 것인지 궁금합니다.
2. 여러 커널의 image를 장치에 함께 올려 두고(상주) 번갈아 launch할 때 다시 올리지 않게 하는 방법이나 설정이 있을까요? 크기 제한이 있다면 얼마인지도 알고 싶습니다.
3. 다음에 launch할 커널을 미리 알고 있을 때, 지금 커널이 도는 동안 다음 image를 미리 올려 두는(prefetch) 방법이 있을까요? 저희 launch는 앞 결과에 의존해서 순서대로 돌지만 다음 커널은 미리 정해져 있습니다.
4. image 크기를 줄이는 방법(compile 옵션, 또는 같은 pass를 반복할 때 명령을 펼치지 않고 반복하는 방법)이 있다면 알려 주시면 감사하겠습니다.