Q4, Q6 или Q8: что меняется при сжатии локальной нейросети
У одной локальной нейросети может быть несколько файлов: Q4_K_M, Q6_K, Q8_0. Они хранят числовые параметры с разной точностью. Более компактный файл экономит место, но выбор затрагивает ещё две...