MoE Architektur

Die MoE-Archi­tek­tur (Mix­tu­re of Experts) ist ein Ansatz im maschi­nel­len Ler­nen, bei dem ein gro­ßes Modell in meh­re­re spe­zia­li­sier­te Teil­mo­del­le – soge­nann­te Exper­ten – unter­teilt wird. Ein Gating-Netz­werk ent­schei­det dyna­misch, wel­che Exper­ten für eine bestimm­te Ein­ga­be akti­viert wer­den. Dadurch wird nur ein Bruch­teil der Modell­pa­ra­me­ter genutzt, was die Rechen­kos­ten senkt und die Ska­lier­bar­keit erhöht. MoE ermög­licht so extrem gro­ße Model­le mit hoher Effi­zi­enz und Spe­zia­li­sie­rung bei kom­ple­xen Auf­ga­ben.