2024.2.1 릴리즈 소식을 전하게 되어 기쁩니다. 2024.2.1은 2024.2.0 에 이은 마이너 릴리즈로 몇 가지 기능 개선을 포함하고 있습니다. 주요한 개선은 32k 컨텍스트 길이 지원으로 Llama 3.1, EXAONE 등에서 활용하실 수 있습니다. 업그레이드 방법은 Upgrading Furiosa Software Stack 에서 찾아보실 수 있습니다.
주요 개선
- Llama 3.1, EXAONE 등 모델에서 최대 32k 컨텍스트 길이 (<= 32768) 까지 지원
pipeline_parallel_size가 런타임 설정으로 변경 되었습니다. 따라서, 한번 컴파일한 아티팩트는tensor_parallelism_size가 같다면 호환 가능합니다.
2024.2.1 릴리즈에 대한 더 자세한 정보는 Release Note of Furiosa SDK 2024.2.1 Beta0 에서 찾아보실 수 있습니다.