Ekologický dopad AI: Co se děje v pozadí?

Pokaždé, když využíváme – ať pro generování či zpracování textů, obrázků, či videí – spouštíme v pozadí energeticky náročný procesy. Ty mají dopad na spotřebu elektřiny, a dokonce i vody, které jsou využívány přímo, či nepřímo pro chod výpočetních zařízení a jejich chlazení.

Abychom mohli k AI přistupovat zodpovědněji, je nezbytné pochopit, co se děje v pozadí. Díky tomu získáme povědomí nejen o tom, že se nejedná o neomylný zdroj pravdy, ale i že má určitý dopad na životní prostředí.

Pozadí zpracování promptu

Naše interakce s AI modely má značnou závislost na zdrojích. Ale jak přesně naše posílání si zpráv s těmito modely spotřebovává elektřinu, a co víc, vodu? Odpověď leží v několika klíčových frázích a fázích:

Učení modelu

Než je model připraven generovat odpovědi, prochází náročným trénovacím procesem. 

(LLM) se učí pomocí samo-supervizovaného učení. To znamená, že modely nejsou trénovány na datech s explicitními popisky, ale učí se predikovat následující slovo na základě předchozího kontextu. Tento přístup umožňuje modelům efektivně využívat rozsáhlé nestrukturované texty.

Základní architekturou těchto modelů jsou transformery, které umožňují efektivní zpracování sekvencí a zachycení dlouhodobých závislostí v textu. Během tréninku model prochází texty, předpovídá následující slova a na základě chyb upravuje své vnitřní parametry. Tento proces probíhá na rozsáhlých datech zahrnujících texty z internetu, knih, kódu a dalších zdrojů.

Pro efektivní strojové učení jsou klíčové dvě věci: kvalitní data a jejich dostatečné množství. Díky tomu se modely učí imitovat lidskou interakci tím, že předpovídají, jaké slovo by mohlo následovat na základě předchozího kontextu, který si udržují ve své paměti, známé jako kontextové okno.

Environmentální dopad

Trénování je však náročné nejen na energie pro výpočetní techniku, ale i na vodu. Například trénování modelu GPT-3 v datových centrech společnosti Microsoft spotřebovalo přibližně ve formě parních emisí. Toto množství vody odpovídá například spotřebě potřebné k výrobě zhruba.

Tato spotřeba vody je také důsledkem potřeby udržovat servery v datových centrech v optimální teplotě. Chlazení se často realizuje pomocí vodních systémů, kde voda absorbuje teplo generované servery a následně se odpařuje v chladicích věžích. Tento proces je energeticky náročný, což vyvolává obavy o udržitelnost v kontextu rostoucího využívání AI.