Quanto de energia uma IA gasta enquanto não faz nada?
Quanto de energia uma IA gasta enquanto não faz nada? Toda comparação de eficiência energética de IA que aparece por aí vem do mesmo jeito. GPU no talo, batch cheio, tudo saturado, e no fim um número redondo de “tantos TOPS por watt”. Você olha aquilo e acha que tá com a conta na mão. Só que servidor de inferência não vive assim. Ele passa a boa parte do tempo esperando alguém digitar alguma coisa. ...