Yolo 모델 추론 코드 관련

[Blake]

안녕하세요. KEP 튜토리얼을 따라서 저희 모델(YOLO v9 파인튜닝)을 NPU로 runtime 추론하는 것까지 성공했습니다.

다만, 기존의 서비스 프로덕션 환경에서 Ultralytics 라이브러리로 추론 결과를 활용하는 코드가 다 짜여 있는 상황에서, NPU와 furiosa SDK를 이용해서 같은 작업을 해야합니다.

혹시 이런 식으로 모델의 추론의 결과(bbox 좌표, 이미지, 클래스)를 ultralytics에서 제공하는 방식으로 이용할 수 있도록 짜여진 레퍼런스가 있을까요? 아니면 Furiosa의 방식으로 코드를 다시 짜야할까요? 다시 짜야한다면 팁 부탁드립니다…

[jongwook.kim]

안녕하세요 퓨리오사AI 김종욱입니다. 현재 YOLO 관련하여 작업을 진행중인 프로젝트가 있어 내용 공유드립니다.

현재 YOLO 모든 모델들이 NMS 이전에 anchor의 결과들을 concat하는 연산에서 양자화 이후 정확도 저하가 발생하고 있기 때문에 해당 작업들을 모두 다 postprocessing 으로 작업 진행하였으며, cfg 파일만 수정하여 모델 onnx 변환/양자화를 진행하실 수 있고, 이후 추론 또한 진행할 수 있습니다.

현재 작업물들을 리팩토링하는 작업을 진행중이기 때문에 최종 버전은 refactor_jw 라는 브랜치에 작업이 어느정도 마무리가 되어있으며, 이후 파이썬 패키지로 배포드릴 예정입니다.

코드를 살펴보시다가 궁금한 점이 있으시면 답변드릴 수 있도록 하겠습니다. 감사합니다.