RNGD Hardware profiling 문의

한국어 (Korean) 일반
1

안녕하세요,

RNGD 를 통해 LLM Model performance 및 최적화에 대한 연구를 진행중인 학생입니다.

RNGD 에서 다양한 model 들을 돌려보며 Hardware의 성능 profile 및 최적화 연구를 진행중에 있는데,

제가 현재까지 찾은 방법은 ‘furiosa_smi API’ 를 사용하는것입니다.

이에 아래 사항을 문의드리려 합니다.

  • RNGD 의 HW profile을 위해서 furiosa_smi API 이외에 다른 방법이 있을까요?
    • 현재 Furiosa_smi API를 통해 아래 정보들을 확인중에 있습니다.
      • Core utilization, Powre consumption, Task cycle, Core frequency, Memory frequency, Memory utilization(usage)
  • Furiosa_smi_py API 에서 확인가능한 정보 중, Core utilization의 정확한 정의에 대해 알고싶습니다.
    • PE 내부에 CE, VE, CPU, TDMA 등 다양한 unit 들이 존재하는 것으로 알고있습니다.
    • Core utilization이 이 중 어느 unit의 동작을 나타내는지 궁금합니다.
  • Bottleneck 분석을 위해서는 Bandwidth 정보가 필요한데, 혹시 RNGD 에서 확인이 가능한가요?
    • HBM bandwidth 도 유의미하지만, DM bandwidth / PCIe bandwidth 까지 확인이 가능한지 궁금합니다.

감사합니다.

1 Like