[furiosa-opt v0.8.1] launch 제출 시 host CPU 사용 (CPU 2개 환경) 문의

안녕하세요. 커스텀 커널을 queue로 이어 launch하는 파이프라인에서 host CPU 사용에 대해 여쭙습니다. Furiosa Opt 0.8.1(furiosa-opt-std 0.8.1), RNGD 1칩입니다.

CPU 2개가 할당된 환경에서 launch를 연속으로 많이 제출하면, host CPU가 할당량을 채워 throttle이 생기고 launch 사이 간격이 벌어졌습니다. 같은 바이너리를 CPU가 넉넉한 환경에서 돌리면 이 간격이 거의 없습니다.

  • Function::run 뒤 첫 poll에서 응답을 최대 약 200 µs spin하는 것으로 보입니다. 커널이 그보다 길면 launch마다 CPU 약 200 µs가 쓰입니다.
  • runtime의 io_uring poller 스레드가 CPU 하나를 거의 계속 씁니다.

질문

  1. 응답을 기다리지 않고 제출만 하는 공개 API가 있거나, spin 시간을 줄이는 설정이 있을까요?
  2. #469 답변에서 "앞 launch가 도는 동안 다음 launch를 미리 제출할 수 있게 API를 개선하겠다"고 하셨는데, 그 일정과 형태를 알 수 있을까요?

감사합니다.

안녕하세요, 먼저 관찰하신 제약은 현재 구현 제약이고 대부분 다음 release에 해결될 예정입니다.

질문에 답변 드리면,

  1. 현재는 없고, 2에서 준비중인 API가 그 형태입니다. Spin 시간은 현재 상수로 있어서 줄일 수 있는 설정은 없습니다. 불필요하게 busy wait함으로써 생기는 문제 또한 adaptive 하게 poll하도록 수정될 예정입니다.
  2. launch() 가 현재는 inline으로 모든 작업을 수행하는데 launch().submit() 형태로 API가 변경되어 task submission만 먼저 할 수 있도록 변경될 예정입니다. 대략 아래와 같은 API입니다.
let a = launch().submit() 
let b = launch().submit()
// 이 시점에 a와 b는 모두 submit

a.await // 결과가 필요한 시점에 await
b.await

위 변경이 반영될 release는 다음주 초 정도가 예정입니다.

감사합니다.