내 컴퓨터가 실제로 처리할 수 있는 LLM(로컬 메모리 모델)을 추측하는 것을 멈추세요. llmfit은 몇 초 만에 하드웨어를 분석하여 최적의 로컬 AI 모델을 찾아줍니다. 추신: 15만 명 이상의 엔지니어에게 유용하고 실용적인 AI 자료를 더 공유합니다. codenewsletter.ai/subscribe?ut...… 따라서 모델을 다운로드하고 OOM(메모리 부족) 오류가 발생하는 대신, llmfit은 먼저 RAM, CPU, GPU 및 VRAM을 스캔한 다음 다음 4가지 기준으로 모든 모델을 평가합니다. 1. 품질 - 파라미터 개수, 모델 패밀리, 양자화 페널티 2. 속도 - 사용 중인 백엔드(CUDA, Metal, ROCm)에 대한 예상 tok/s 3. 적합성 - 메모리 사용률 대비 하드웨어 성능 4. 컨텍스트 - 컨텍스트 창 대비 사용 사례 각 모델에는 Perfect / Good / Marginal / Too Tight의 레이블이 부여됩니다.