Databricks onderzoek: ‘een gouden eeuw van data en AI is aangebroken’

In het halfjaar na de lancering van ChatGPT is de wereld wakker geschud wat betreft de enorme potentie van AI. En bedrijven hebben zich massaal op deze nieuwe technologie gestort. Zo is het gebruik van API’s van online LLM’s zoals ChatGPT met 1310% gestegen tussen november 2022 en mei 2023. Het is een van de inzichten uit het nieuwe onderzoeksrapport van Databricks, The State of Data and AI 2023. Nog een inzicht: we staan aan het begin van een gouden eeuw van data en AI.

Explosieve groei van AI-gebruik na de lancering van ChatGPT

Voor dit onderzoek analyseerde Databricks geanonimiseerde gebruiksdata van ruim 9000 klanten om trends in data- en AI-gebruik te ontdekken. Uit de analyse blijkt een gestage stijging in AI-gebruik vanaf februari 2022, met een explosie na de lancering van ChatGPT. 

Naast LLM-gebruik ziet Databricks ook dat natuurlijke taalverwerking (NLP) populairder is geworden: zo’n 49% van het gebruik van Python data science libraries is bestemd voor deze technologie. Ook transformer-modellen worden nog altijd veel gebruikt, hoewel het gebruik ‘slechts’ met 82% steeg tussen november 2022 en mei 2023.

Al dit AI-gebruik heeft als resultaat dat organisaties meer modellen in gebruik nemen  dan ooit. Het aantal in gebruik genomen machine learning-modellen steeg met 411% jaar op jaar, en het aantal machine learning-experimenten steeg met 54% jaar op jaar.

Open source baant de weg voor data en AI

Open source-software is ontzettend populair in de wereld van data en AI. 8 van de 10 meest gebruikte data- en AI-producten zijn gebaseerd op open source. De snelstgroeiende adoptie ziet Databricks bij dbt, een tool voor datatransformatie, gevolgd door Fivetran en Informatica (de enige twee enterprise software-oplossingen op de lijst). De meest gebruikte oplossingen in absolute aantallen zijn Microsoft Power BI, Plotly en Tableau.

Tot slot stappen steeds meer bedrijven over op een Lakehouse oplossing. Zo groeide het datavolume in Delta Lake met 304% jaar op jaar. 61% van de nieuwe Lakehouse gebruikers migreerde vanuit on-prem en cloud-based datawarehouses.