{"id":27645,"date":"2025-06-30T15:00:00","date_gmt":"2025-06-30T18:00:00","guid":{"rendered":"https:\/\/www.solucoesindustriais.com.br\/news\/?p=27645"},"modified":"2025-06-30T13:45:07","modified_gmt":"2025-06-30T16:45:07","slug":"ernie-4-5","status":"publish","type":"post","link":"https:\/\/www.solucoesindustriais.com.br\/news\/tecnologia-e-inovacoes\/ernie-4-5\/","title":{"rendered":"Descubra o potencial do ERNIE 4.5 com c\u00f3digo aberto"},"content":{"rendered":"

O ERNIE 4.5 se destaca por suas inova\u00e7\u00f5es em pr\u00e9-treinamento MoE e infraestrutura eficiente. Ele supera modelos maiores em benchmarks de desempenho, especialmente em tarefas de racioc\u00ednio e conhecimento, e \u00e9 compat\u00edvel com PaddlePaddle e PyTorch, oferecendo ferramentas para ajuste fino e implanta\u00e7\u00e3o eficiente.<\/h3>\n

O ERNIE 4.5<\/strong> foi lan\u00e7ado como c\u00f3digo aberto, revolucionando o campo dos modelos multimodais com suas inova\u00e7\u00f5es. Este lan\u00e7amento inclui modelos de grande escala que capturam nuances de informa\u00e7\u00f5es multimodais, melhorando o desempenho em tarefas de compreens\u00e3o de texto e imagem. As inova\u00e7\u00f5es do ERNIE 4.5 prometem impulsionar a pesquisa e o desenvolvimento na \u00e1rea.<\/p>\n

Introdu\u00e7\u00e3o ao ERNIE 4.5<\/h2>\n

O ERNIE 4.5<\/strong> \u00e9 uma fam\u00edlia de modelos multimodais em larga escala que foi recentemente disponibilizada como c\u00f3digo aberto.<\/p>\n

Composta por 10 variantes distintas, essa fam\u00edlia de modelos utiliza a arquitetura Mixture-of-Experts (MoE)<\/em>, apresentando modelos com 47B e 3B par\u00e2metros ativos, al\u00e9m de um modelo denso de 0.3B par\u00e2metros.<\/p>\n

A inova\u00e7\u00e3o do ERNIE 4.5 reside em sua estrutura de modalidade heterog\u00eanea, que permite o compartilhamento de par\u00e2metros entre modalidades, enquanto mant\u00e9m par\u00e2metros dedicados para cada modalidade individual.<\/p>\n

Essa abordagem garante uma compreens\u00e3o multimodal aprimorada sem comprometer o desempenho em tarefas relacionadas a texto.<\/p>\n

Os modelos ERNIE 4.5 s\u00e3o treinados com efici\u00eancia ideal utilizando o framework de aprendizado profundo PaddlePaddle, o que tamb\u00e9m possibilita infer\u00eancia de alto desempenho e implanta\u00e7\u00e3o simplificada.<\/p>\n

Destaques do ERNIE 4.5<\/h2>\n

O ERNIE 4.5<\/strong> se destaca por suas inova\u00e7\u00f5es em tr\u00eas \u00e1reas principais, que tornam essa fam\u00edlia de modelos \u00fanica no campo dos modelos multimodais.<\/p>\n

Primeiro, a Pr\u00e9-treinamento Multimodal Heterog\u00eaneo MoE<\/strong> permite um treinamento conjunto em modalidades textuais e visuais.<\/p>\n

Isso melhora a captura de nuances de informa\u00e7\u00f5es multimodais e aprimora o desempenho em tarefas de compreens\u00e3o e gera\u00e7\u00e3o de texto, entendimento de imagens e racioc\u00ednio cruzado entre modalidades.<\/p>\n

Para alcan\u00e7ar isso sem que uma modalidade prejudique a aprendizagem da outra, foi projetada uma estrutura MoE heterog\u00eanea, incorporando roteamento isolado por modalidade e perdas ortogonais de roteador e token equilibrado multimodal.<\/p>\n

Essas escolhas arquitet\u00f4nicas garantem que ambas as modalidades sejam efetivamente representadas, permitindo refor\u00e7o m\u00fatuo durante o treinamento.<\/p>\n

Em segundo lugar, a Infraestrutura de Escalonamento Eficiente<\/strong> prop\u00f5e uma nova paraleliza\u00e7\u00e3o h\u00edbrida heterog\u00eanea e uma estrat\u00e9gia de balanceamento de carga hier\u00e1rquico para o treinamento eficiente dos modelos ERNIE 4.5.<\/p>\n

Com uso de paralelismo de especialistas intra-n\u00f3, agendamento de pipeline eficiente em mem\u00f3ria, treinamento de precis\u00e3o mista FP8 e m\u00e9todos de recomputa\u00e7\u00e3o refinados, alcan\u00e7amos uma not\u00e1vel taxa de transfer\u00eancia de pr\u00e9-treinamento.<\/p>\n

Para infer\u00eancia, m\u00e9todos de colabora\u00e7\u00e3o paralela multi-especialista e algoritmos de quantiza\u00e7\u00e3o de c\u00f3digo convolucional s\u00e3o propostos para alcan\u00e7ar quantiza\u00e7\u00e3o sem perdas de 4 bits\/2 bits.<\/p>\n

Al\u00e9m disso, foi introduzido a desagrega\u00e7\u00e3o PD com troca din\u00e2mica de pap\u00e9is para utiliza\u00e7\u00e3o eficaz de recursos, melhorando o desempenho de infer\u00eancia dos modelos MoE do ERNIE 4.5.<\/p>\n

Por \u00faltimo, o P\u00f3s-treinamento Espec\u00edfico para Modalidade<\/strong> atende aos diversos requisitos de aplica\u00e7\u00f5es do mundo real, com variantes do modelo pr\u00e9-treinado otimizadas para modalidades espec\u00edficas.<\/p>\n

Resultados de desempenho e benchmark<\/h2>\n

Os modelos da fam\u00edlia ERNIE 4.5<\/strong> demonstram um desempenho excepcional em diversos benchmarks, destacando-se em tarefas de generaliza\u00e7\u00e3o, racioc\u00ednio e conhecimento intensivo.<\/p>\n

O modelo ERNIE-4.5-300B-A47B-Base supera o DeepSeek-V3-671B-A37B-Base em 22 de 28 benchmarks, mostrando melhorias significativas em todas as categorias principais de capacidade.<\/p>\n

Isso ressalta os avan\u00e7os substanciais em generaliza\u00e7\u00e3o e racioc\u00ednio, al\u00e9m de tarefas intensivas em conhecimento, obtidos ao escalar o modelo ERNIE-4.5-Base em rela\u00e7\u00e3o a outros modelos grandes de ponta.<\/p>\n

Com um tamanho total de par\u00e2metro de 21B (aproximadamente 70% do Qwen3-30B), o ERNIE-4.5-21B-A3B-Base supera o Qwen3-30B-A3B-Base em v\u00e1rios benchmarks de matem\u00e1tica e racioc\u00ednio, incluindo BBH e CMATH.<\/p>\n

O ERNIE-4.5-21B-A3B-Base permanece altamente competitivo, dado seu tamanho de modelo significativamente menor, demonstrando not\u00e1vel efici\u00eancia de par\u00e2metros e compensa\u00e7\u00f5es de desempenho favor\u00e1veis.<\/p>\n

O modelo p\u00f3s-treinado ERNIE-4.5-300B-A47B mostra for\u00e7as significativas em seguimento de instru\u00e7\u00f5es e tarefas de conhecimento, conforme evidenciado por pontua\u00e7\u00f5es de ponta em benchmarks como IFEval, Multi-IF, SimpleQA e ChineseSimpleQA.<\/p>\n

O modelo leve ERNIE-4.5-21B-A3B atinge desempenho competitivo em compara\u00e7\u00e3o com o Qwen3-30B-A3B, apesar de ter aproximadamente 30% menos par\u00e2metros totais.<\/p>\n

No modo n\u00e3o-pensante, o ERNIE-4.5-VL exibe profici\u00eancia not\u00e1vel em percep\u00e7\u00e3o visual, compreens\u00e3o de documentos e gr\u00e1ficos, e conhecimento visual, obtendo resultados fortes em uma variedade de benchmarks estabelecidos.<\/p>\n

Sob o modo pensante, o ERNIE-4.5-VL n\u00e3o apenas demonstra habilidades de racioc\u00ednio aprimoradas em compara\u00e7\u00e3o com o modo n\u00e3o-pensante, mas tamb\u00e9m mant\u00e9m as fortes capacidades de percep\u00e7\u00e3o deste \u00faltimo.<\/p>\n

O ERNIE-4.5-VL-424B-A47B oferece resultados consistentemente fortes em v\u00e1rios benchmarks de avalia\u00e7\u00e3o multimodal.<\/p>\n

Seu modo pensante oferece uma vantagem distinta em benchmarks desafiadores como MathVista, MMMU e VisualPuzzle, enquanto mant\u00e9m desempenho competitivo em conjuntos de dados focados em percep\u00e7\u00e3o como CV-Bench e RealWorldQA.<\/p>\n

O modelo leve de vis\u00e3o-linguagem ERNIE-4.5-28B-A3B alcan\u00e7a desempenho competitivo ou at\u00e9 superior em compara\u00e7\u00e3o com Qwen2.5-VL-7B e Qwen2.5-VL-32B na maioria dos benchmarks, apesar de usar significativamente menos par\u00e2metros de ativa\u00e7\u00e3o.<\/p>\n

Notavelmente, nosso modelo leve tamb\u00e9m suporta modos de pensamento e n\u00e3o-pensamento, oferecendo funcionalidades consistentes com o ERNIE-4.5-VL-424B-A47B.<\/p>\n<\/div>","protected":false},"excerpt":{"rendered":"

ERNIE 4.5 \u00e9 lan\u00e7ado como c\u00f3digo aberto, trazendo inova\u00e7\u00f5es para modelos multimodais.<\/p>\n","protected":false},"author":6,"featured_media":27644,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[20],"tags":[],"class_list":["post-27645","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-tecnologia-e-inovacoes"],"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts\/27645","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/users\/6"}],"replies":[{"embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/comments?post=27645"}],"version-history":[{"count":1,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts\/27645\/revisions"}],"predecessor-version":[{"id":27690,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/posts\/27645\/revisions\/27690"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/media\/27644"}],"wp:attachment":[{"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/media?parent=27645"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/categories?post=27645"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.solucoesindustriais.com.br\/news\/wp-json\/wp\/v2\/tags?post=27645"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}