Zstandard 라이브러리 오류

[tobewiseys]

안녕하세요?
계속 질문을 드리게 되네요..

클라우드에서 인스턴스 생성시 스토리지 설정이 잘못되어 인스턴스를 재생성하고
RNGD에서 furiosa-llm을 테스트 중입니다.

아래와 같이 가이드에 있는 qickstart.py를 사용해서 인스턴스를 재생성하기 전에는 성공적으로 잘 수행하였습니다.

from furiosa_llm import LLM, SamplingParams

-# Load the Llama 3.1 8B Instruct model
llm = LLM.load_artifact(“furiosa-ai/Llama-3.1-8B-Instruct-FP8”, devices=“npu:0”)

-# You can specify various parameters for text generation
sampling_params = SamplingParams(min_tokens=10, top_p=0.3, top_k=100)

-# Prompt for the model
message = [{“role”: “user”, “content”: “What is the capital of France?”}]
prompt = llm.tokenizer.apply_chat_template(message, tokenize=False)

-# Generate text
response = llm.generate([prompt], sampling_params)

-# Print the output of the model
print(response[0].outputs[0].text)

현재 환경은 아래와 같습니다.

furiosa-compiler v2025.3.0 (4467f6a699 2025-07-25T02:01:49Z)
backend:

• version: 2025.3.0
• revision: 4467f6a699
• built_at: 2025-07-25T02:01:49Z
  frontend:
• version: 2025.3.0
• revision: 2414f915f
• built_at: 2025-07-25T02:05:46Z

furiosa-llm 2025.3.0
furiosa-llm-models 2025.3.0
furiosa-model-compressor 2025.3.0
furiosa-model-compressor-impl 2025.3.0
furiosa-models-lang 2025.3.0
furiosa-native-compiler 2025.3.0
furiosa-native-llm-common 2025.3.0
furiosa-native-runtime 2025.3.0
furiosa-smi-py 2025.3.0
furiosa-torch-ext 2025.3.0
zstandard 0.23.0

그런데 위의 quickstart.py를 수행시키면 아래와 같이 load_artifact에서

llm = LLM.load_artifact(“furiosa-ai/Llama-3.1-8B-Instruct-FP8”, devices=“npu:0”)

아래와 같은 오류가 발생하고 있습니다.

Exception has occurred: ImportError
/home/elicer/anaconda3/envs/llama_ve310/lib/python3.10/site-packages/furiosa/native_runtime.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZSt28__throw_bad_array_new_lengthv
File “/home/elicer/workspace/qickstart.py”, line 2, in
from furiosa_llm import LLM, SamplingParams
ImportError: /home/elicer/anaconda3/envs/llama_ve310/lib/python3.10/site-packages/furiosa/native_runtime.cpython-310-x86_64-linux-gnu.so: undefined symbol: _ZSt28__throw_bad_array_new_lengthv

zstandard 패키지의 버전을 맞춰야 하는 것인지…
어떻게 조치를 해야 하는지 알려주시면 감사하겠습니다.

[jongwook.kim]

안녕하세요, 퓨리오사에이아이 김종욱입니다.

아래 명령어로 나오는 것들 모두 공유주실 수 있을까요?

furiosa-smi info, furiosa-smi version

[tobewiseys]

요청하신 정보는 아래와 같습니다.

(llm_ve310) elicer@20c763a768cd:~/workspace$ furiosa-smi info
±------±-----±-------±-----------------±-----------------±--------±--------±-------------+
| Index | Arch | Device | Firmware | PERT | Temp. | Power | PCI-BDF |
±------±-----±-------±-----------------±-----------------±--------±--------±-------------+
| 0 | rngd | npu0 | 2025.3.0+c097ea0 | 2025.3.0+52e5705 | 31.67°C | 34.56 W | 0000:3a:00.0 |
±------±-----±-------±-----------------±-----------------±--------±--------±-------------+
| 1 | rngd | npu1 | 2025.3.0+c097ea0 | 2025.3.0+52e5705 | 27.95°C | 34.56 W | 0000:3b:00.0 |
±------±-----±-------±-----------------±-----------------±--------±--------±-------------+

(llm_ve310) elicer@20c763a768cd:~/workspace$ furiosa-smi version

• furiosa-smi
  2025.3.0

• device driver
  2025.3.0+7466e01

[jongwook.kim]

@tobewiseys

load_artifact

뭔가 버전이 충돌이 났거나 furiosa-llm패키지가 제대로 설치가 되지 않은 것 같은데 혹시 아래와 같은 순서로 새로운 파이썬 가상환경을 만든 다음에 테스트를 해보실 수 있을까요? 불편함을 드려 죄송합니다.

$ python -m venv .llm
$ . .llm/bin/activate
$ pip install furiosa-llm
$ python qickstart.py

[tobewiseys]

안내 주신 방법대로 수행한 결과입니다.

[jongwook.kim]

우선 가상환경을 (base) 제외하고, (.llm)만 남을 수 있도록 세팅을 하시고 진행하시면 좋을 것 같습니다.

conda인 경우 conda deactivate 이후에 . .llm/bin/activate 실행하시면 되며, 공유주신 문제는 pip 이 너무 예전 버전이라 발생한 문제로 에러 문구에 나온대로 pip install --upgrade pip 후에 설치하시면 됩니다.

[tobewiseys]

달라진 환경을 계속 체크해 보니
이전에 성공했을 때 사용한 minconda에 비해
이번에 새 인스턴스에 설치한 anaconda 버전이 차이가 있고
anaconda 버전이 너무 이전 것이라 문제가 생긴 것으로 보이는데요
지금 환경이 여러 시도로 망가진 것 같아서
처음부터 모든 것을 지우고 테스트하거나
인스턴스를 새로 만들어서 테스트 해 보겠습니다.

[tobewiseys]

일단 모든 anaconda, miniconda를 지우고
venv로 환경을 만든 후에
furiosa-compiler는 2025.3 버전으로 그대로 두고
pip install furiosa-llm zstandard를 설치한 후
수행을 시키니 정상적으로 수행이 되었습니다.

아마도 anaconda 버전을 예전 것을 설치해서 그런 것으로 추정됩니다.
지원 감사드립니다.

[hyunsik]

끝까지 경과를 공유 주셔서 감사합니다.