Инструменты ИИ, такие как ChatGPT, изменили наш личный и профессиональный мир, и около 52% взрослых американцев регулярно используют большую языковую модель (LLM). Теперь новое исследование подробно описывает огромные экологические издержки наших подсказок, и это может заставить вас дважды подумать о том, какой чат-бот вы используете и как вы его используете.
Исследователи из немецкого университета прикладных наук Hochschule München (HM) рассмотрели 14 различных LLM, от базовых до более сложных баз знаний, и предоставили им всем те же 1000 «эталонных» вопросов. Сколько «токенов», сгенерированных LLM, затем можно перевести в выбросы парниковых газов.
«Влияние опроса обученных LLM на окружающую среду во многом определяется их подходом к рассуждению, при этом явные процессы рассуждения значительно увеличивают потребление энергии и выбросы углерода», — сказал первый автор Максимилиан Даунер, исследователь из HM. «Мы обнаружили, что модели с поддержкой рассуждений производят до 50 раз больше выбросов CO2, чем модели с краткими ответами».
Чтобы понять, как работают LLM и как они в итоге оказываются настолько затратными для окружающей среды, важно рассмотреть токены и параметры. Когда мы вводим подсказку — будь то вопрос или инструкция — мы генерируем токены, которые представляют собой части нашей подсказки. Затем LLM генерирует больше таких токенов по мере того, как приступает к работе. LLM с более интенсивными возможностями расширенного рассуждения создают еще больше токенов. Токены — это, по сути, вычисления (поиск, связывание, оценка), а вычисления требуют энергии. Эта энергия приводит к выбросам CO2.
Когда LLM обучается, он «обучается», настраивая параметры, которые являются числами внутри нейронной сети. И эти параметры управляют тем, как модель предсказывает один токен за другим. Таким образом, модель с меньшим количеством параметров считается более простой и с меньшим количеством «весов» (числа, которое сообщает ИИ, насколько что-то важно, когда он обрабатывает информацию), и будет генерировать меньше токенов, но может быть не такой точной. С другой стороны, модель с большим количеством параметров также будет иметь большое количество весов — и должна иметь более высокую точность, но это не всегда так.
К сожалению, самые сложные и точные степени магистра права являются также и самыми энергозатратными.
Ученые использовали компьютер NVIDIA A100 GPU и фреймворк Perun (который анализирует производительность LLM и требуемую мощность) для оценки потребления энергии, применяя средний коэффициент выбросов 480 гCO₂/кВт·ч. Затем они попросили каждую из 14 моделей ответить на 1000 вопросов викторины, охватывающих философию, мировую историю, международное право, абстрактную алгебру и математику средней школы. Тестируемые LLM представляли собой смесь текстовых и рассуждающих моделей от Meta, Alibaba, Deep Cognito и Deepseek.
«Анализ комбинированных выбросов CO2eq [эквивалент CO2], точности и генерации токенов по всем 1000 вопросам выявляет четкие тенденции и компромиссы между масштабом модели, сложностью рассуждений и воздействием на окружающую среду», — пишут исследователи. «По мере увеличения размера модели точность имеет тенденцию к повышению. Однако этот прирост также связан со значительным ростом как выбросов CO2eq, так и количества сгенерированных токенов».
Они обнаружили, что модели рассуждений создавали в среднем 543,5 токенов «мышления» на вопрос викторины, в то время как текстовые модели в среднем создавали около 37,7 токенов для той же подсказки. Однако, хотя больше токенов означает больше выбросов, исследователи обнаружили, что это не означает, что LLM был более точным — просто более многословным.
Самой точной моделью оказалась одна из протестированных моделей рассуждений LLM, Deep Cogito 70B – 70 миллиардов параметров – с точностью 84,9%. Она выдала в три раза больше выбросов, чем модели LLM аналогичного размера, которые давали более простые ответы.
«В настоящее время мы видим явный компромисс между точностью и устойчивостью, присущий технологиям LLM», — сказал Даунер. «Ни одна из моделей, которые удерживали выбросы ниже 500 граммов эквивалента CO2, не достигла точности выше 80% при правильных ответах на 1000 вопросов».
Модель рассуждений Deepseek R1 70B оказалась самой энергозатратной, вызвав выбросы в размере 2042 г эквивалента CO2, что примерно равно поездке на расстояние 8 миль (15 км) на газовом транспортном средстве. Хотя это может показаться не таким уж большим показателем в небольших масштабах, стоит помнить, что более 130 миллионов американцев регулярно используют какую-либо модель ИИ. И эта модель Deepseek также не была самой правильной, с точностью 78,9%. Исследователи отметили, что если бы эта модель ответила на 600 000 вопросов, выбросы CO2 были бы равны выбросам обратного рейса Лондон-Нью-Йорк.
Модель Qwen 7B от Alibaba оказалась самой энергоэффективной (выбросы CO2-экв. 27,7 г), но ее точность составила всего 31,9%.
«В среднем, модели с поддержкой рассуждений требовали значительно больше токенов на обеих фазах тестирования», — отметили исследователи в исследовании. «В частности, на фазе множественного выбора модели рассуждений часто испытывали трудности с выдачей кратких ответов, несмотря на явные подсказки, предписывающие им возвращать только индекс выбора. Например, Deepseek-R1 7B генерировал до 14 187 токенов на один математический вопрос, в то время как стандартные модели постоянно выдавали минимальные ответы с одним токеном».
Потребление энергии также варьировалось в зависимости от подсказки, причем абстрактная алгебра и философия требовали больше рассуждений, чем более простые вопросы. Также стоит отметить, что это исследование рассматривало только выборку LLM, к которым у нас теперь есть доступ, и не рассматривало некоторых крупных игроков, включая OpenAI ChatGPT, Google Gemini, X Grok и Anthropic Claude.
Хотя LLM, безусловно, останутся и, скорее всего, будут и дальше входить в нашу жизнь, исследователи надеются, что их исследование поможет пользователям делать лучший выбор, переключаясь между моделями в зависимости от поставленной задачи. Они также надеются, что это привлечет внимание к необходимости более энергоэффективных моделей рассуждений в будущем.
«Пользователи могут значительно сократить выбросы, побуждая ИИ генерировать краткие ответы или ограничивая использование мощных моделей задачами, которые действительно требуют этой мощности», — сказал Даунер. «Если пользователи будут знать точную стоимость выбросов CO2 для своих продуктов, созданных ИИ, например, небрежное превращение себя в игрушку, они могут быть более избирательными и вдумчивыми в отношении того, когда и как они используют эти технологии».
Исследование опубликовано в журнале Frontiers in Communication .
