Året for AI 2023 – De store trends

Vinteren er over os og december måned indbyder til refleksion over et år, der har budt på bemærkelsesværdige fremskridt inden for kunstig intelligens.
2023 var ikke blot et år præget af fremskridt, det var et vildt år! Et år, hvor grænserne for, hvad AI kan opnå, vi fandt ud hvad AI er, og det blev gentagne gange rykket og omformet. Fra banebrydende udviklinger i kapaciteterne af store sprogmodeller til fremkomsten af autonome agenter, der kunne navigere og interagere med verden som aldrig før, var året et vidnesbyrd om den grænseløse potentiale af denne transformative teknologi.

AI-tendenser i 2023

I denne omfattende artikel vil vi dykke ned i de otte nøgletendenser, der definerede 2023 inden for AI, og afdække de innovationer, der er med til at omforme industrier og lover at revolutionere vores fremtid. Så spænd sikkerhedsbæltet AI-entusiaster, da vi begiver os ud på en rejse gennem et år, der for altid vil være indgraveret i den teknologiske historie.

Big tech træder ind i LLM kampen

Efter ChatGPT‘s succes begyndte store teknologivirksomheder som Google, Amazon og xAI, sammen med Googles banebrydende LLM-projekt Gemini, at udvikle deres egne in-house LLM’er. Bemærkelsesværdige eksempler inkluderer:

• Grok (xAI): Endnu et produkt fra Elon Musk. Designet til at forklarer og være gennemsigtige, tilbyder Grok brugerne indsigt i begrundelsen bag dets outputs. Dette giver brugerne mulighed for at forstå rationalet bag Groks beslutninger, hvilket fremmer tillid og tillidsfuld brug af dets beslutningstagende processer.
• Q (Amazon): Denne LLM lægger vægt på hastighed og effektivitet, hvilket gør den egnet til opgaver, der kræver hurtige svartider og høj gennemstrømning. Q integreres problemfrit med Amazons eksisterende cloud-infrastruktur og tjenester og tilbyder en tilgængelig og skalerbar løsning til forskellige applikationer.
• Gemini (Google): Efterfølgeren til LaMDA og PaLM, hævdes denne LLM at overgå GPT-4 i 30 ud af 32 benchmark tests. Den driver Googles chatbot Bard og er tilgængelig i tre versioner: Ultra, Pro og Nano.

Stor fremgang i Open Source AI

Som reaktion på den stigende tendens, hvor store teknologivirksomheder privatiserer forskning og modeller inden for LLM-området, oplevede 2023 en bemærkelsesværdig genoplivning af open source-bevægelsen. Dette fællesskabsdrevne initiativ frembragte adskillige bemærkelsesværdige projekter, der fremmer samarbejde og demokratiserer adgangen til denne kraftfulde teknologi.

Open source basismodeller til forskellige anvendelser

• Llama 2: Betragtet som benchmark-basismodellen til forskellige anvendelser, tilbyder Llama 2 ekstraordinær kraft og alsidighed. Denne fundament giver udviklere mulighed for at bygge videre på og forbedre LLM-kapaciteter på tværs af forskellige domæner.
• BLOOM: Med fokus på flersproget kapaciteter understøtter BLOOM over 46 sprog, hvilket gør den til et ideelt valg for projekter, der kræver global rækkevidde og forskelligartet sprogbehandling.
• Falcon: Trænet på 40 milliarder parametre og en trillion tokens, tilbyder Falcon imponerende præstationer på tværs af NLP-opgaver og en gennemsigtig licensmodel, hvilket gør den til et kraftfuldt og tilgængeligt valg for forskere og udviklere.

Demokratisering af adgangen til LLM-teknologi

• GPT4All: Dette brugervenlige interface giver forskere og udviklere med begrænsede computermæssige ressourcer mulighed for at udnytte kraften i LLM’er lokalt på egen computer. Dette sænker væsentligt barrieren for indtræden, fremmer bredere adoption og udforskning.
• Lit-GPT: Dette omfattende repository fungerer som en skattekiste af præ-trænede LLM’er, der er umiddelbart tilgængelige til finjustering og udforskning. Dette fremskynder udviklingen og implementeringen af downstream-applikationer, hvilket bringer fordelene ved LLM’er til virkelige scenarier hurtigere.

Forbedring af LLM-kapaciteter

• LlamaIndex: Dette værktøjssæt frigør potentialet i retrieval-augmented generation med LLM’er. Denne innovative tilgang giver udviklere mulighed for at skabe mere nøjagtige og informative outputs, hvilket markant forbedrer LLM-kapaciteter i forskellige opgaver, der kræver faktuel nøjagtighed og kontekstuel forståelse.
• Megatron-Turing NLG: Udviklet af Microsoft Research og NVIDIA, udmærker denne kraftfulde model sig i tekstgenereringsopgaver og tilbyder udviklere et robust værktøj til at skabe kreative og informative outputs.

Autonome agenter

2023 viste sig at være et skelsættende år for autonome agenter, med markante fremskridt, der udvider grænserne for deres kapaciteter. Disse AI-drevne enheder er i stand til selvstændigt at navigere i komplekse miljøer, træffe informerede beslutninger og interagere med den fysiske verden. Flere nøgleudviklinger har drevet denne fremgang:

Robotnavigation

Ruteplanlægning: Forbedrede algoritmer til ruteplanlægning gjorde det muligt for robotter at navigere komplekse terræner og forhindringer med øget effektivitet og smidighed. Disse algoritmer inkorporerede realtidsdata fra sensorer til dynamisk at justere ruter og undgå uforudsete farer.

Sensorfusion: Avancerede algoritmer til sensorfusion gjorde det muligt for robotter at integrere data fra forskellige kilder, såsom kameraer, LiDAR og distance målere (odometer), hvilket førte til mere nøjagtig og robust navigation i dynamiske og rodede miljøer.

Beslutningstagning

Multi-agent-systemer: Forskning i multi-agent-systemer faciliterede samarbejde og kommunikation mellem flere autonome agenter. Dette gjorde det muligt for dem at kollektivt håndtere komplekse opgaver og koordinere deres handlinger for optimale resultater.

Forstærkningslæring: Fremskridt i algoritmer til forstærkningslæring gjorde det muligt for robotter at lære og tilpasse sig nye miljøer uden eksplicit programmering. Dette tillod dem at træffe optimale beslutninger i realtid baseret på deres erfaringer og observationer.

Menneske til robot interaktion

Natural Language Processing (NLP): Fremskridt inden for NLP gjorde det muligt for robotter at forstå og reagere på naturlige sprogkommandoer og forespørgsler mere effektivt. Dette lettede naturlige og intuitive interaktioner mellem mennesker og robotter.

Computersyn: Udviklinger inden for computersyn gjorde det muligt for robotter at opfatte og fortolke deres omgivelser med større nøjagtighed. Dette gjorde det muligt for dem at genkende objekter, spore menneskelige bevægelser og reagere passende på forskellige sociale signaler.

Disse bemærkelsesværdige fremskridt inden for autonome agenter bringer os tættere på en fremtid, hvor intelligente maskiner problemfrit samarbejder med mennesker i forskellige domæner. Denne teknologi har et enormt potentiale for at revolutionere sektorer som fremstilling, sundhedspleje og transport, og i sidste ende forme en fremtid, hvor mennesker og maskiner arbejder sammen om at opnå en bedre i morgen.

RLHF og DPO finjustering i 2023

2023 bød på betydelig fremgang i forbedringen af de store sprogmodellers (LLM) evne til at forstå og opfylde brugerens intentioner. To centrale tilgange kom frem i dette år:

Forstærkningslæring med menneskelig feedback: Engelsk: Reinforcement Learning with Human Feedback (RLHF).
Denne metode anvender menneskelig feedback til at guide LLM’ens læringsproces, hvilket muliggør løbende forbedring og tilpasning til skiftende brugerbehov og -præferencer. Denne interaktive tilgang letter LLM’ens udvikling af nuanceret forståelse og beslutningstagningsevner, især i komplekse eller subjektive områder.

Direkte præference optimering: Engelsk: Direct Preference Optimization (DPO) er et simplere alternativ, der direkte optimerer for brugerpræferencer uden behov for eksplicitte forstærkningssignaler. Denne tilgang prioriterer effektivitet og skalerbarhed, hvilket gør den ideel til applikationer, der kræver hurtigere tilpasning og udrulning. Dens strømlinede natur gør det muligt for udviklere hurtigt at justere LLM-adfærd baseret på brugerfeedback, hvilket sikrer overensstemmelse med udviklende præferencer.

Mens RLHF og DPO repræsenterer betydelige fremskridt i LLM-udviklingen, supplerer de snarere end erstatter eksisterende finjusteringsmetoder:

• Multi-task-læring: Træning af en LLM på flere opgaver samtidigt, hvilket giver den mulighed for at lære delte repræsentationer og forbedre præstationen i hver opgave.
• Finjustering: Yderligere træning af en LLM på en specifik opgave eller datasæt, tilpasser dens evner til et bestemt domæne eller anvendelse.
• Pretræning: Træning af en LLM på et massivt datasæt af tekst og kode, der giver den mulighed for at lære generelle sprogforståelsesevner.

Multimodale LLM’er

Et af de mest spændende udviklinger i 2023 var fremkomsten af Multimodale LLM‘er (MLM’er), der er i stand til at forstå og behandle forskellige datamodaliteter, herunder tekst, billeder, lyd og video. Denne fremskridt åbner nye muligheder for AI-applikationer inden for områder som:

• Multimodal søgning: MLM’er kan behandle forespørgsler på tværs af forskellige modaliteter, hvilket giver brugerne mulighed for at søge efter information ved hjælp af tekstbeskrivelser, billeder eller endda talekommandoer.
• Personlige grænseflader: MLM’er kan tilpasse sig individuelle brugerpræferencer ved at forstå deres multimodale interaktioner, hvilket fører til mere intuitive og engagerende brugeroplevelser.
• Tværmodal generering: MLM’er kan generere kreative outputs som musik, videoer og digte, der tager inspiration fra prompts, billeder eller andre modaliteter.

Effektivitetsudfordringer i de store sprogmodeller:

I takt med at kapaciteterne af de store sprogmodeller (LLM) øges, er computermæssige og ressourcemæssige begrænsninger blevet et væsentligt anliggende. Derfor fokuserede forskningen i 2023 på at forbedre effektiviteten af LLM’er, hvilket førte til udviklingen af teknikker som:

FlashAttention: Denne nye opmærksomhedsmekanisme reducerer betydeligt de computermæssige omkostninger ved LLM’er. Det muliggør hurtigere inferens og træning, hvilket gør LLM’er mere gennemførlige i ressource begrænsede miljøer og letter deres integration i virkelige applikationer.

LoRA og QLoRA: Teknikker som LoRA og QLoRA, der også blev introduceret i 2023, tilbyder en letvægts- og effektiv måde at finjustere LLM’er til specifikke opgaver. Disse metoder er baseret på adaptere, som er små moduler, der tilføjes til en eksisterende LLM-arkitektur, hvilket tillader tilpasning uden at skulle genoplære hele modellen. Dette fører til betydelige effektivitetsgevinster, hurtigere udrulningstider og forbedret tilpasningsevne til forskellige opgaver.
Du kender måske LoRA fra bla. ComfyUI.

Disse fremskridt adresserer det voksende behov for effektive LLM’er og bane vejen for deres bredere anvendelse i forskellige domæner, hvilket i sidste ende demokratiserer adgangen til denne kraftfulde teknologi.

Retrieval Augmented Generation (RAG) i fremgang:

Selvom rene store sprogmodeller (LLM) tilbyder enormt potentiale, forbliver bekymringerne omkring deres nøjagtighed og faktuelle grundlag vedvarende. Retrieval Augmented Generation (RAG) dukkede op som en lovende løsning, der adresserer disse bekymringer ved at kombinere LLM’er med eksisterende data- eller videnbaser. Du kender det måske fra custom GPTs vi ser hos OpenAI. Denne hybridtilgang tilbyder flere fordele:

• Lavere omkostninger: Brugen af eksisterende vidensressourcer reducerer de computermæssige omkostninger forbundet med træning og drift af LLM’er.
• Færre fejl: Ved at inkorporere faktuelle informationer fra eksterne kilder kan RAG-modeller generere mere nøjagtige og pålidelige outputs.
• Forbedret skalerbarhed: RAG-modeller kan anvendes på store datasæt uden behovet for de massive træningsressourcer, som rene LLM’er kræver.

Disse fordele har positioneret RAG som et værdifuldt værktøj til forskellige anvendelser, herunder søgemaskiner, chatbots og indholdsgenerering.

Kunstig intelligens (AI) i 2023

Da 2023 nærmer sig sin afslutning, er AI’s landskab malet med de levende nuancer af innovation og fremskridt. Vi har været vidner til bemærkelsesværdige fremskridt på tværs af forskellige områder, der hver især skubber til grænserne for, hvad AI kan opnå. Fra de hidtil usete kapaciteter af LLM’er til fremkomsten af autonome agenter og multimodal intelligens, har året været et vidnesbyrd om den grænseløse potentiale af denne transformative teknologi.

Men året er ikke slut endnu. Der er stadig nogen dage tilbage hvor der stadig vil komme flere gennembrud inden for AI der kan folde sig ud.
Potentialet for yderligere fremskridt inden for områder som ansvarlig AI-udvikling og integration med menneske-computer-interaktion forbliver enormt. Som vi står på tærsklen til 2024, fyldes luften med en følelse af spænding og forventning.

Må det kommende år være fyldt med endnu flere banebrydende opdagelser, og må vi fortsætte med at bruge AI til det gode!