Sparse autoenkodere beskrives som en bro mellom nevrale og symbolske systemer.
Fra et informasjonskompresjonsperspektiv i kunstlig intelligens (KI) forklares at symbolske systemer og nevrale nettverk komprimerer verden på fundamentalt forskjellige måter: symbolske systemer opptrer som høyfrekvente filtre som diskretiserer erfaring i skarpe symboler og regler, mens nevrale nettverk fungerer som lavfrekvente filtre som jevner ut lokale variasjoner og skaper glatte latente manifolder. Konsekvensen er at symbolske tilnærminger gir høy tolkningsbarhet men har dekningshull, mens nevrale modeller er adaptive men entangled og mindre tolkbare, med ulike feilmønstre (manglende fakta versus utsmoothed/hallusinerte fakta). Skalering av håndbygde ontologier i åpne domener er en utfordring, og sparse autoenkodere (SAE) fremheves i kilden fordi de faktoriserer skjulte tilstander i et stort sett sparsomme funksjoner; hver funksjon kan reagere på bestemte mønstre, være ofte mennesketolkbar og oppføre seg som en diskret enhet som kan slås av eller på, noe som kan redusere behovet for ekspertskapt symbolsett.
Relevans for Norge: Temaet berører kombinasjonen av regelbaserte og data-drevne representasjoner og er av interesse for AI Norge og de som følger AI-nyheter.
Kilde: https://towardsdatascience.com/neuro-symbolic-systems-the-art-of-compromise-2 | Sammendraget er KI-generert med OpenAI API og kvalitetssikret av redaksjonen i Ainy.no
