안녕하세요? 답장이 늦었습니다.
decode_sp 는 위와 같은 정의를 가지고 있습니다. furiosa-llm에서는 증가하는 sequence length나 다양한 batch 를 다루기 위해 bucketization 을 사용합니다. 다시 말해, 메뉴얼한 설정 또는 자동으로 설정되는 batch, sequence 축에 대한 shape들을 기반으로 컴파일 해서 동작합니다. 이런 경우 shape 보다 실제 입력이 작은 경우가 생길 수 있는데요. decode에서 batch, kv cache index 축을 2차원 공간으로 보았을 때 얼마나 많은 past_kv_cache index가 채워진채 실행되었는지를 그 비율을 표현합니다.
prefill_sp는 현재는 사용되지 않는 값이라 무시하셔도 좋을 것 같습니다.