# NPU에서의 다중 모델 load, activation에 따른 성능 관련 문의

**URL:** <https://forums.furiosa.ai/t/npu-load-activation/86>\
**Category:** 일반\
**Created:** [September 14, 2023, 1:38am UTC](https://forums.furiosa.ai/t/npu-load-activation/86 "2023-09-14T01:38:35Z")\
**Posts on this page:** 5\
**Page:** 1

<div class="post-metadata">

**Author:** ![smhan](https://avatars.discourse-cdn.com/v4/letter/s/ed655f/32.png) [@smhan](https://forums.furiosa.ai/u/smhan)\
**Post date:** [September 14, 2023, 1:38am UTC](https://forums.furiosa.ai/t/npu-load-activation/86/1 "2023-09-14T01:38:35Z")

</div>

안녕하세요, furiosa npu에서 yolov7모델을 사용한 객체탐지를 진행하고 있습니다.

1. 다중 세션에 대한 커뮤니티의 답변은 확인하여 인지하고 있는데, NuxModel에 대한 load 또한 파티션을 나눠 진행해야 하는지 알고 싶습니다.  
[model.py]  
 ![캡처1](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/911f2b371a3955a0f1701a19ddb818822dd17a77.png)  
[main.py]  
 ![image](https://canada1.discourse-cdn.com/flex031/uploads/furiosa_ai/original/1X/23158e3700a2e92df889de5bf0621f85946e94d8.png)  
[error]  

2. silu activation을 사용한 모델을 quantize하여 사용하고 있는데, int8로 calibration을 진행했을 때, 성능저하가 있을 가능성이 있는지 알고 싶습니다.

---

<div class="post-metadata">

**Author:** ![jongwook.kim](https://avatars.discourse-cdn.com/v4/letter/j/b5a626/32.png) [@jongwook.kim](https://forums.furiosa.ai/u/jongwook.kim)\
**Post date:** [September 14, 2023, 3:05am UTC](https://forums.furiosa.ai/t/npu-load-activation/86/2 "2023-09-14T03:05:25Z")

</div>

안녕하세요, FuriosaAI 김종욱입니다.  
질문 주신 내용에 대하여 답변을 드리면,

1. 에러의 경우 동일한 NPU device에 접근하여서 발생하는 에러입니다. NuxModelConfig 파일에서 npu\_device를 지정해주시면 문제는 해결될 것으로 보입니다. (예를 들어 yolov7\_config 에는 npu\_device=“npu0pe0”, yolov7pose\_config에는 npu\_device=“npu0pe1” 로 PE를 나누어서 실행)

2. 성능 저하 관련한 문제(정확도)는 결과를 보아야 알 수 있을 것 같습니다. 양자화시에 정확도 변동은 발생할 수 밖에 없어 여러 CalibrationMethod들을 사용하여 가장 높은 정확도가 나오는 [Method](https://furiosa-ai.github.io/docs/latest/ko/software/quantization.html)를 사용하시면 될 것 같습니다.

---

<div class="post-metadata">

**Author:** ![smhan](https://avatars.discourse-cdn.com/v4/letter/s/ed655f/32.png) [@smhan](https://forums.furiosa.ai/u/smhan)\
**Post date:** [September 14, 2023, 3:54am UTC](https://forums.furiosa.ai/t/npu-load-activation/86/3 "2023-09-14T03:54:11Z")

</div>

그러면 NPU하나밖에 없는 시스템에서 모델 세 개를 동시에 돌리는 건 불가능한가요?

---

<div class="post-metadata">

**Author:** ![dreameye98](https://yyz1.discourse-cdn.com/flex031/user_avatar/forums.furiosa.ai/dreameye98/32/8_2.png) [@dreameye98](https://forums.furiosa.ai/u/dreameye98)\
**Post date:** [September 15, 2023, 1:04am UTC](https://forums.furiosa.ai/t/npu-load-activation/86/4 "2023-09-15T01:04:05Z")

</div>

넵 현재로선 불가능합니다. 혹시 어떤 회사에 소속되어 계신지 알 수 있을까요?

---

<div class="post-metadata">

**Author:** ![smhan](https://avatars.discourse-cdn.com/v4/letter/s/ed655f/32.png) [@smhan](https://forums.furiosa.ai/u/smhan)\
**Post date:** [September 15, 2023, 5:47am UTC](https://forums.furiosa.ai/t/npu-load-activation/86/5 "2023-09-15T05:47:00Z")

</div>

네 알겠습니다. 넥스리얼입니다 🙂 🙂