# Furiosa SDK 0.10.0 업데이트 후 'cannot allocate memory in static TLS block' 에러 문제

**URL:** https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62
**Category:** 일반
**Created:** [August 22, 2023, 7:13am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62 "2023-08-22T07:13:19Z")
**Posts on this page:** 8
**Page:** 1

<div class="post-metadata">

### Author: ![hijko3](https://avatars.discourse-cdn.com/v4/letter/h/85e7bf/32.png) [@hijko3](https://forums.furiosa.ai/u/hijko3)
#### Post date: [August 22, 2023, 7:13am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/1 "2023-08-22T07:13:19Z")

</div>

안녕하세요  
Furiosa SDK 0.10.0 업데이트 후

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/d4c16af6701793f407feac23f1df321e90f98362.png)

File “/home/aination/TEST/npu.py”, line 3, in   
from furiosa.runtime import session  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/furiosa/runtime/ **init**.py”, line 15, in   
raise e from None  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/furiosa/runtime/ **init**.py”, line 13, in   
from furiosa.native\_runtime import \*  
ImportError: /home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/furiosa/native\_runtime.cpython-39-x86\_64-linux-gnu.so: cannot allocate memory in static TLS block

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/8ed0db8b2e518d6661c31442b4f6dd25f337edf6.png)

이라는 에러가 떴고,  
from furiosa.native\_runtime import \* 의 위치를 맨 위로 올리자

File “/home/aination/TEST/npu.py”, line 6, in   
import torch.nn as nn  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/torch/ **init**.py”, line 217, in   
\_load\_global\_deps()  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/torch/ **init**.py”, line 177, in \_load\_global\_deps  
raise err  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/torch/ **init**.py”, line 172, in \_load\_global\_deps  
ctypes.CDLL(lib\_path, mode=ctypes.RTLD\_GLOBAL)  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/ctypes/ **init**.py”, line 382, in **init**  
self.\_handle = \_dlopen(self.\_name, mode)  
OSError: /home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/torch/lib/libgomp-a34b3233.so.1: cannot allocate memory in static TLS block

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/698ad73ea39f51c28ea000c6368805ba121f24e0.png)

로 바뀌어서 떴습니다.

pip install ‘furiosa-sdk[full]’  
export LD\_PRELOAD=$(ldconfig -p | grep libgomp | head -n 1 | grep -Eo “\S+$”)

를 실행시킨후에는

File “/home/aination/TEST/npu.py”, line 8, in   
from utils import utils\_image as util  
File “/home/aination/TEST/utils/utils\_image.py”, line 7, in   
import cv2  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/cv2/ **init**.py”, line 181, in   
bootstrap()  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/cv2/ **init**.py”, line 153, in bootstrap  
native\_module = importlib.import\_module(“cv2”)  
File “/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/importlib/ **init**.py”, line 127, in import\_module  
return \_bootstrap.\_gcd\_import(name[level:], package, level)  
ImportError: /lib/x86\_64-linux-gnu/libGLdispatch.so.0: cannot allocate memory in static TLS block

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/2140a4867369d86df805376634cbdc445b708968.png)

라는 에러가 떴습니다.

export LD\_PRELOAD=/lib/x86\_64-linux-gnu/libGLdispatch.so.0:  
를 하고 나니  
다시

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/77d60edd322694bb8b35573487ce98289cec14df.png)

에러로 바뀌었습니다.

모듈을 import 시키는 위치에 따라서 에러메세지가 달라지는데,  
위현상에 대한 빠른 해결 부탁드립니다.

> [@Furiosa SDK 0.10.0 관련 문의](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0/52/6):
>
> 답변 감사드립니다. 다만 제시해주신 방법으로 TLS block 에러가 해결되지 않아 실행 환경 공유 드립니다. furiosa.runtime.session을 import 시 여전히 에러가 발생하는데 짐작가는 부분이 있으실까요?

과도 연관 있는 문제로 보입니다.

감사합니다.

---

<div class="post-metadata">

### Author: ![jongwook.kim](https://avatars.discourse-cdn.com/v4/letter/j/b5a626/32.png) [@jongwook.kim](https://forums.furiosa.ai/u/jongwook.kim)
#### Post date: [August 22, 2023, 8:18am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/2 "2023-08-22T08:18:56Z")

</div>

안녕하세요, 현재 0.10.0 업데이트 후 `Pytorch`와 함께 `furiosa-sdk`를 사용할 시 해당 에러가 뜨는 것으로 파악하였습니다. 에러의 해결을 위해서 아래와 같이 `LD_PRELOAD`를 지정해줄 필요가 있습니다.

```auto
export LD_PRELOAD= 현재 파이썬 환경에서 Pytorch의 libgomp-a34b3233.so.1 경로

```

파이썬 환경 재시작 후에 아래와 같이 설정해주시면 해결될 것으로 보입니다.

```auto
export LD_PRELOAD=/home/aination/miniconda3/envs/furiosa-3.9/lib/python3.9/site-packages/torch/lib/libgomp-a34b3233.so.1

```

해결이 안되시는 경우 알려주신다면 최대한 도움드리도록 하겠습니다.

---

<div class="post-metadata">

### Author: ![hijko3](https://avatars.discourse-cdn.com/v4/letter/h/85e7bf/32.png) [@hijko3](https://forums.furiosa.ai/u/hijko3)
#### Post date: [August 23, 2023, 2:11am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/3 "2023-08-23T02:11:47Z")

</div>

안녕하세요!! 답변 감사드립니다. 덕분에 기존에 있던 문제는 해결되었습니다.

그런데 이제 다음 문제가 생겼습니다…

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/4e01208930e518ea7d56687137e290f08fb72067.png)

위와같은 코드로 npu 10개 있는 것을 돌리려 하는데

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/c0b865b398293a2e468059ee7bb9935b3972fa4b.png)

runtime.FuriosaRuntimeError: runtime error: Compilation error: Out of instruction memory

와 같은 에러가 발생합니다.  
npu 3장 정도로 시도해보거나

 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/02faa78e404d1ed30c9a9d7058711fe4cb95527c.png)  
위처럼 한장만 쓰는 경우도 같은 에러가 생깁니다

혹시 해결 방법을 알수 있을까요??

---

<div class="post-metadata">

### Author: ![jongwook.kim](https://avatars.discourse-cdn.com/v4/letter/j/b5a626/32.png) [@jongwook.kim](https://forums.furiosa.ai/u/jongwook.kim)
#### Post date: [August 23, 2023, 3:59am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/4 "2023-08-23T03:59:05Z")

</div>

안녕하세요, FuriosaAI 김종욱입니다.

모델에 대한 공유가 가능하시면 문제를 해결하는데 큰 도움이 될 것 같습니다!  
혹시 모델에 대한 공유 가능하신지요? 만약 가능하시다면 jongwook.kim@furiosa.ai 로 공유해주시면 감사드리겠습니다.

---

<div class="post-metadata">

### Author: ![hijko3](https://avatars.discourse-cdn.com/v4/letter/h/85e7bf/32.png) [@hijko3](https://forums.furiosa.ai/u/hijko3)
#### Post date: [August 23, 2023, 5:52am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/5 "2023-08-23T05:52:11Z")

</div>

네, 관련하여 메일보내드렸습니다.

감사합니다.!

---

<div class="post-metadata">

### Author: ![jongwook.kim](https://avatars.discourse-cdn.com/v4/letter/j/b5a626/32.png) [@jongwook.kim](https://forums.furiosa.ai/u/jongwook.kim)
#### Post date: [August 23, 2023, 6:10am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/6 "2023-08-23T06:10:03Z")

</div>

보내주신 파일 확인하였습니다! 우선 해당 문제는 모델의 크기가 너무 커 발생하는 문제로 보이며, onnx 파일 생성시 batch size를 1로 하여 생성한 뒤 테스트 진행 가능 하신지요?

추가적으로 onnx 파일 생성시 opset version이 10으로 설정되어 있는데 13으로 바꾸는 것을 추천드립니다.

---

<div class="post-metadata">

### Author: ![hijko3](https://avatars.discourse-cdn.com/v4/letter/h/85e7bf/32.png) [@hijko3](https://forums.furiosa.ai/u/hijko3)
#### Post date: [August 24, 2023, 1:19am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/7 "2023-08-24T01:19:41Z")

</div>

네, 답변 감사드립니다.  
무사히 실행될수 있게 되었습니다.  
그런데 npu 1개를 썼을때와 npu 10개를 썼을때 속도 차이가 크지 않아서, npu10개를 어떻게 하면 효율적으로 사용할수 있을지 예시를 볼수 있을까요??

---

<div class="post-metadata">

### Author: ![dreameye98](https://yyz1.discourse-cdn.com/flex031/user_avatar/forums.furiosa.ai/dreameye98/32/8_2.png) [@dreameye98](https://forums.furiosa.ai/u/dreameye98)
#### Post date: [August 25, 2023, 1:49am UTC](https://forums.furiosa.ai/t/furiosa-sdk-0-10-0-cannot-allocate-memory-in-static-tls-block/62/8 "2023-08-25T01:49:48Z")

</div>

아래 링크와 같이 가이드를 작성 중입니다. 작성이 완료되면 바로 공유 드리겠습니다. 감사합니다!

> [@Yolov5l 모델을 이용한 객체 탐지 진행 시 FPS 문의](https://forums.furiosa.ai/t/yolov5l-fps/65/4):
>
> 현재 NPU 여러장을 효과적으로 사용하기 위한 가이드를 작성하고 있습니다. 해당 가이드를 통해 더 자세한 설명을 드리겠습니다. 간략하게는 Model Zoo에서 제공되어지는 모델은 NPU의 PE를 fusion 하여 사용하고 있는 모델이기 때문에([자료 참조](https://docs.google.com/presentation/d/1QeucxkMvwS56sNjlrRQXA_NdZqHXc3H9/edit#slide=id.p18) - 32~35p), PE를 나누어서 사용하시고 이미지에 대한 처리를 Multiprocessing 기능을 이용하셔서 병렬로 처리하신다면(PE 당 하나의 프로세스) 더 높은 FPS를 얻으실 수 있습니다. 가이드는 빠르게 작성해서 공유 드리겠습니다.
