Джон Кармак, известный разработчик и основатель стартапа Keen Technologies, предлагает революционную альтернативу традиционному DRAM для инференса нейросетей. Он предполагает использовать оптоволоконные петли для хранения весов моделей, где данные передаются в виде световых импульсов. По его оценкам, скорости передачи в 256 Тб/с на расстоянии 200 км по одномодовому волокну могут достигать 32 ГБ данных «в полёте» при пропускной способности в 32 ТБ/с.
Кармак отметил, что шаблоны обращения к весам полностью предсказуемы во время инференса, что позволяет передавать данные напрямую из оптоволоконного кольца в кэш процессора, потенциально устраняя необходимость в DRAM. Он сравнил это с ранними технологиями компьютерной памяти, такими как ртутные линии задержки.
Хотя для современных моделей с миллиардом параметров потребуется много таких петель, Кармак уверен, что растущая пропускная способность оптоволокна может сделать этот подход жизнеспособным в будущем. В качестве более реалистичной альтернативы он предлагает использовать множество дешевых флеш-чипов при условии создания высокоскоростного интерфейса. На фоне недоступности и роста цен на HBM-память тема поиска новых архитектур памяти становится особенно актуальной.
