개발자님 안녕하세요?
현재 Furiosa RNGD 2장을 CSP에서 할당받아서 사용하고 있습니다.
llama 3.1 8B instruct 모델과 llama 3.2 3B instruct 모델을 pretraing한 모델을 NPU에서 구동시키려고 합니다.
huggingface에 오픈했었던 모델을 내려받아서 RNGD 환경에서 cpu에서는 작동되는 것을 확인한 상태입니다. npu에서 구동시키기 위하여 onnx로 변환한 후, 모델을 npu에 load해서 추론할 때 에러가 발생하고 있습니다.
그래서 기본으로 돌아가서 furiosa-sdk github에서 소스를 다운로드 받아서 quickstart_example.py를 수행시키는 작업을 아래와 같이 수행하였으나 계속 furiosa-compiler와 furiosa-runtime과 버전 불일치 현상이 발생하고 있습니다. 어떻게 처리해야 할까요?
sudo apt update
sudo apt install build-essential linux-modules-extra-$(uname -r) linux-headers-$(uname -r)
sudo apt install furiosa-driver-rngd furiosa-pert-rngd furiosa-smi
sudo apt install furiosa-firmware-tools-rngd furiosa-firmware-image-rngd
위와 같이 수행한 후
furiosa-smi info를 수행하면 아래와 같은 결과가 나옴
| Index | Arch | Device | Firmware | PERT | Temp. | Power | PCI-BDF |
+-------+------+--------+------------------+------------------+---------+---------+--------------+
| 0 | rngd | npu0 | 2025.1.0+696efad | 2025.2.0+a78ebff | 29.62°C | 35.00 W | 0000:3a:00.0 |
+-------+------+--------+------------------+------------------+---------+---------+--------------+
| 1 | rngd | npu1 | 2025.2.0+d3c908a | 2025.2.0+a78ebff | 25.72°C | 37.00 W | 0000:3b:00.0 |
pip install furiosa-sdk[full]
furiosa-cli 0.10.2
furiosa-common 0.10.2
furiosa-device 0.10.2
furiosa-litmus 0.10.2
furiosa-native-device 0.2.2
furiosa-native-runtime 0.10.5
furiosa-optimizer 0.10.2
furiosa-quantizer 0.10.2
furiosa-quantizer-impl 0.10.1
furiosa-runtime 0.10.2
furiosa-sdk 0.10.2
furiosa-server 0.10.2
furiosa-serving 0.10.2
furiosa-tools 0.10.2
sudo apt install furiosa-compiler
furiosa-compiler v2025.2.0 (c5be5877b 2025-04-23T02:39:42Z)
backend:
- version: 2025.2.0
- revision: c5be5877b
- built_at: 2025-04-23T02:39:42Z
frontend:
- version: 2025.2.0
- revision: f6be11cbc
- built_at: 2025-04-23T02:41:51Z
이 상태에서 quickstart_example.py를 수행시키면 아래와 같은 오류가 발생함
furiosa-compiler의 버전을 맞추려고
sudo apt remove furiosa-compiler
sudo apt install furiosa-compiler=0.10.1
과 같이 수행하면 아래와 같은 오류가 발생합니다.
sudo apt install furiosa-compiler=0.10.1
Reading package lists... Done
Building dependency tree... Done
Reading state information... Done
Package furiosa-compiler is not available, but is referred to by another package.
This may mean that the package is missing, has been obsoleted, or
is only available from another source
E: Version '0.10.1' for 'furiosa-compiler' was not found
참고로 furiosa-compiler 2025.2.0 버전에 맞추려고 하면
관련된 패키지들을 설치하려다가 종속성 해결 이슈가 생기면서 전체 설치가 되지 않습니다.
rngd를 위해서 compiler와 런타임 버전은 어떻게 맞출 수 있는지 절차와 관련된 requirements.txt는 어디서 찾을 수 있는 알려주시면 감사하겠습니다.