22.6 C
Lisboa
Segunda-feira, Agosto 8, 2022

Máquinas de IA venceram a lei de Moore na última década, dizem cientistas da computação

Must read



Desde a década de 1990, cientistas da computação têm medido o desempenho dos supercomputadores mais poderosos do mundo usando tarefas de benchmarking. Todos os meses, eles publicam um ranking das 500 melhores máquinas com uma competição acirrada entre as nações para chegar ao topo. A história desse ranking mostra que, ao longo do tempo, o desempenho da supercomputação aumentou de acordo com a Lei de Moore, dobrando aproximadamente a cada 14 meses.

Mas não existe classificação equivalente para sistemas de IA, apesar das técnicas de aprendizado profundo terem levado a uma mudança radical no desempenho computacional. Essas máquinas se tornaram capazes de combinar ou derrotar humanos em tarefas como reconhecimento de objetos, o antigo jogo chinês Go, muitos videogames e uma ampla variedade de tarefas de reconhecimento de padrões.

Para os cientistas da computação, isso levanta a questão de como medir o desempenho desses sistemas de IA, como estudar a taxa de melhoria e se essas melhorias seguiram a Lei de Moore ou a superaram.

Agora temos uma resposta graças ao trabalho de Jaime Sevilla na Universidade de Aberdeen no Reino Unido e colegas que mediram a forma como o poder computacional em sistemas de IA aumentou desde 1959. Esta equipe diz que o desempenho dos sistemas de IA durante os últimos dez anos dobrou a cada seis meses ou mais, superando significativamente a Lei de Moore.

Essa melhora se deu pela convergência de três fatores. A primeira é o desenvolvimento de novas técnicas algorítmicas, amplamente baseadas em deep learning e redes neurais. A segunda é a disponibilidade de grandes conjuntos de dados para treinar essas máquinas. O fator final é o aumento do poder computacional.

Embora as influências de novos conjuntos de dados e o desempenho de algoritmos aprimorados sejam difíceis de medir e classificar, o poder computacional é relativamente fácil de determinar. E isso apontou Sevilla e outros para uma maneira de medir o desempenho dos sistemas de IA.

Sua abordagem é medir a quantidade de poder computacional necessária para treinar um sistema de IA. Sevilla e seus colegas fizeram isso por 123 conquistas marcantes dos sistemas de IA ao longo da história da computação.

Eles dizem que entre 1959 e 2010, a quantidade de poder computacional usado para treinar sistemas de IA dobrou a cada 17 a 29 meses. Eles chamam esse tempo de Era Pré-Aprendizagem Profunda. “A tendência na era pré-Deep Learning corresponde aproximadamente à lei de Moore”, concluem Sevilla e companhia.

A equipe diz que a era moderna do aprendizado profundo costuma ter começado em 2012 com a criação de um sistema de reconhecimento de objetos chamado AlexNet. No entanto, Sevilla e companhia dizem que seus dados sugerem que a melhoria acentuada no desempenho da IA ​​provavelmente começou um pouco mais cedo em 2010.

Isso, dizem eles, marcou o início da Era do Aprendizado Profundo e o progresso desde então tem sido rápido. Entre 2010 e 2022, a taxa de melhoria foi muito maior. “Subseqüentemente, a tendência geral acelera e dobra a cada 4 a 9 meses”, dizem eles.

Isso supera significativamente a Lei de Moore. Mas como isso foi alcançado, já que a melhoria nos próprios chips seguiu a Lei de Moore?

Processamento paralelo

A resposta vem em parte de uma tendência dos sistemas de IA usarem unidades de processamento gráfico (GPUs) em vez de unidades de processamento central. Isso permite que eles calculem mais efetivamente em paralelo.

Esses processadores também podem ser conectados em grande escala. Portanto, outro fator que permitiu que os sistemas de IA superassem a Lei de Moore é a criação de máquinas cada vez maiores que dependem de um número maior de GPUs.

Essa tendência levou ao desenvolvimento de máquinas, como as máquinas AlphaGo e AlphaFold, que quebraram o Go e o dobramento de proteínas, respectivamente. “Esses modelos em grande escala foram treinados por grandes corporações, cujos orçamentos de treinamento maiores presumivelmente lhes permitiram quebrar a tendência anterior”, dizem Sevilla e companhia.

A equipe diz que o desenvolvimento de máquinas em grande escala desde 2015 se tornou uma tendência por si só – a Era da Grande Escala – em paralelo à Era do Deep Learning.

Esse é um trabalho interessante que revela o enorme investimento em IA e seu sucesso na última década. Sevilla e companhia não são o único grupo a estudar o desempenho da IA ​​dessa maneira e, de fato, vários grupos diferem em algumas de suas taxas de melhoria medidas.

No entanto, a abordagem comum sugere que deveria ser possível medir o desempenho da IA ​​continuamente, talvez de uma maneira que produza uma classificação das máquinas mais poderosas do mundo, assim como o ranking TOP500 de supercomputadores.

A corrida para construir as máquinas de IA mais poderosas já começou. Mês passado, A proprietária do Facebook, Meta, anunciou que construiu o supercomputador mais poderoso do mundo dedicado à IA. A posição exata de acordo com a medida do Sevilla e companhia não está clara, mas certamente não demorará muito para que um concorrente desafie essa posição. Talvez seja hora dos cientistas da computação juntarem suas cabeças para colaborar em um sistema de classificação que ajudará a manter o registro correto.


Ref: Tendências de computação em três eras de aprendizado de máquina: arxiv.org/abs/2202.05924



Fonte original deste artigo

- Advertisement -spot_img

More articles

DEIXE UMA RESPOSTA

Please enter your comment!
Please enter your name here

- Advertisement -spot_img

Latest article