Инженер запустил Llama 2 под DOS — локально, офлайн и всего за выходные

Программист Йео Кхенг Менг запустил языковую модель Llama 2 в среде MS-DOS. Эксперимент прошёл полностью офлайн и занял всего два дня. Для реализации проекта он использовал библиотеку с открытым исходным кодом, адаптированную под ретро-системы. Основная задача состояла в том, чтобы обеспечить совместимость модели с ограничениями операционной системы DOS, включая малый объём оперативной памяти и устаревшие компиляторы.

Чтобы преодолеть барьер в 640 КБ базовой памяти, программист использовал DOS-расширитель. Также он модифицировал компилятор Open Watcom C, так как исходный код требовал современных языковых конструкций. После настройки окружения была собрана полноценная исполняемая версия модели, способная выполнять инференс на старых машинах.

Тестирование проводилось на ряде устройств, в том числе ноутбуках 1990-х и 2000-х годов. В качестве примера использовались Toshiba Satellite 315CDT и ThinkPad T42. Несмотря на возраст систем, запуск оказался успешным. Более новые машины обеспечили заметно лучшую производительность. В частности, ThinkPad T42 с процессором Pentium M оказался быстрее некоторых современных систем, благодаря оптимальному соотношению архитектуры и ресурсов.

Источник: https://www.techspot.com