Данные
iPhone 17 Pro Max ускорил ИИ на MacBook Pro на 44%: вычисления шли по USB-C
Дата в ленте:
Пользователь Reddit подключил iPhone 17 Pro Max к MacBook Pro на M4 Pro кабелем USB-C и распределил слои модели Qwen3.8-27B между ноутбуком и телефоном. Скорость предзаполнения контекста выросла на 44%.
Модель Qwen3.8-27B требует много видеопамяти и системной памяти, а MacBook Pro с чипом M4 Pro располагает лишь 24 ГБ объединённой памяти, из-за чего страдает скорость предзаполнения контекста (prefill). Как сообщает Wccftech со ссылкой на пользователя Reddit под ником u/StayLameBro, проблему решили нестандартно: iPhone 17 Pro Max подключили к Mac по USB-C, а слои нейросети распределили между двумя устройствами с помощью самописного ПО.
Схема такая: MacBook Pro обрабатывает слои с 1-го по 40-й из каждого батча в 256 токенов и передаёт активации на телефон, а iPhone на чипе A19 Pro считает слои с 41-го по 64-й на своём GPU, пока Mac уже обрабатывает следующий батч. За счёт GPU телефона скорость выросла примерно в 2,4 раза по сравнению с работой без графического ускорения.
В дело пошёл и нейронный движок: старый контекст длиной 16K компилируется в модель для Neural Engine. При контексте 140K время записи одного токена сократилось с 279 до 176 мс. На задаче предзаполнения файла из 2000 токенов при контексте 8K скорость выросла со 132 до 177 токенов/с (плюс 35%), при 16K - со 109 до 157 токенов/с (плюс 44%), при 32K - со 101 до 130 токенов/с (плюс 29%).
Есть и ограничения: при контексте до 64K телефон не ускоряет генерацию текста - её по-прежнему целиком выполняет Mac. ПО выложено в открытый доступ на GitHub под именем backburner. Автор эксперимента также отмечает, что будущий чип A20 Pro в iPhone 18 Pro с двойным 16-ядерным нейронным движком даст ещё больший запас производительности.