Pruna AI, een Europese startup die zich richt op compressie-algoritmen voor AI-modellen, heeft zijn optimalisatieframework open source gemaakt. Pruna AI heeft een framework dat verschillende efficiëntiemethoden toepast op AI-modellen gebouwd, zoals caching, pruning, kwantisatie en distillatie. Het bedrijf standaardiseert tevens het opslaan en laden van gecomprimeerde modellen, het combineren van deze compressiemethoden en het evalueren […]