# 59 - Llama 3.1, CrowdStrike, OpenAI Structured Outputs, Kaspers Fullstack Projekt

I denne episode af Verbos podcast vender Jonas og Kasper tilbage efter sommeren og diskuterer aktuelle emner inden for tech og AI. De taler om OpenAI's nye Structured Outputs funktion, en hændelse med Crowdstrike's sikkerhedssoftware, og Kaspers erfaringer med at bygge et job board. Værterne diskuterer Llama 3.1 405B og spekulere over hvliken betydning den vil have for open source i AI-verdenen. De taler brugen af OpenAI's API til strukturerede outputs og diskuterer fordele ved forskellige udviklingsværktøjer og frameworks. Episoden afsluttes med en opdatering om AI Jobs-projektet og en opfordring til lytterne om at følge med på sociale medier. Kapitler 00:00 Velkommen tilbage fra sommerferien 03:05 Kaspers erfaringer med at bygge et job board 08:03 Betydningen af open source i AI-verdenen 11:19 Konsekvenserne af store sprogmodeller som GPT-4 16:12 Den danske vinkel på brugen af store sprogmodeller 25:52 CrowdStrike: En katastrofal fejl i sikkerhedssoftware 41:05 OpenAI's API: Strukturerede outputs og nye anvendelser 48:38 Brug af JSON-schema og Pydantic-modeller 57:25 Træning af modeller til specifikke use cases 01:00:55 Erfaringer med udvikling af fuldstack-applikationer 01:04:53 Anbefaling af open-source-template til applikationsudvikling 01:08:37 At finde balancen mellem eksisterende værktøjer og egen kode Takeaways - OpenAI har udgivet Lama 3.1, en opdateret version af deres store sprogmodeller. - OpenAI's Structured Outputs er en ny funktionalitet, der viser en trend i brugen af store sprogmodeller. - Kasper har bygget et job board og har erfaret udfordringerne ved at arbejde med store sprogmodeller og full stack-udvikling. - Open source spiller en vigtig rolle i AI-verdenen, og Meta (tidligere Facebook) har valgt at open source deres store sprogmodeller. - Brugen af store sprogmodeller som GPT-4 rejser spørgsmål om lovlighed, dataetik og muligheden for at bruge modellerne lokalt. Softwaretestning er afgørende for at undgå katastrofale fejl som den med CrowdStrike - OpenAI's API understøtter nu strukturerede outputs i form af JSON-data, hvilket åbner op for nye anvendelser - Store sprogmodeller som OpenAI's kan distilleres til mindre klassiske klassifikatorer Brug af JSON-schema og Pydantic-modeller kan hjælpe med at strukturere og validere data i OpenAI's API. - Frameworks som FastAPI og Next.js kan være nyttige til at udvikle fuldstack-applikationer. - Open-source-templates som FastAPI Fullstack Template kan være en god start for udviklere, der ønsker at bygge deres egne applikationer. - AI Jobs-projektet er under udvikling, og Kasper deler sine erfaringer og udfordringer med at bygge applikationen. - Det er vigtigt at finde den rette balance mellem at bruge eksisterende værktøjer og skrive sin egen kode, når man udvikler softwareprojekter.