Standaardiseren van Python applicaties

[Tomeriko96]

Beste CEDA team,

Wij hebben in de eerste fase gebruik gemaakt van streamlit als applicatie laag voor enkele van onze producten. Het werkte super voor snel prototypen!

De vraag is hoe verder. We merken dat streamlit toch net te kort komt voor grotere applicaties en niet goeg schaalt. Zelf heb ik niet veel ervaring met andere frameworks. Django heb ik de afgelopen dagen voorbij horen komen.

Laten we in deze discussie draad kijken naar mogelijkheden.

Doel is uiteraard een standaard te hebben voor al onze data producten ten behoeve van makkelijk opstarten en uiteraard branding!

[CorneeldH]

Ik denk zelf in 3 stappen.

1. mvp

• alles in 1 repo, vaak wel met nadruk op iets (preparatie, modellering, visualisatie)
• code zoveel mogelijk in functies
• synthetische data aanwezig
• interactie basis via quarto of streamlit (eventueel shiny in R?)

Bij enthousiaste reactie doelgroep:

2. modulaire repo

• code volledig in functies als package (met daarmee ook validatie methodes)
• synthetische data blijft
  • interactie basis via quarto of streamlit (eventueel shiny in R?) blijft ook, zodat we gemakkelijk binnen repo kunnen doorontwikkelen en het ook echt stand-alone te gebruiken is.

3. complete app

• hele pipeline van ruwe data naar allerlei inzichten
• via packages kunnen we functies uit andere repositories inladen
• dit moet admin-mode hebben en eindgebruiker, authenticatie etc
• dit kunnen we ook dmv Kubernetes hosten op SURF Developer Platform

Die 3 hebben we nu nog compleet niet en kan sowieso niet in streamlit. Ik vind Streamlit wel een mooie 'praktische' beperking om de modulaire repo's niet te groot te maken.

Een andere optie is per repository te deployen, maar dan wordt integratie meer ingewikkeld kwam @oinkspook achter. Vandaar dat we nu deze optie willen proberen.

[Tomeriko96]

@Muhammet369 @aslamht Ik geloof dat wij ook een aantal zaken hadden bedacht ;)

[Muhammet369]

Ik ben het inderdaad mee eens dat streamlit handig is als we experimenteel aan de slag gaan en snel willen starten. Ver kom je er idd niet mee.

Denk dat het handig is als we Django gebruiken want:

• Hiermee kunnen we de nadruk leggen op eindgebruikers
• Komt met ingebouwde authenticatie en rollen verdeling
• Makkelijk schaalbaar
• Gebruik van app kan via 'admin paneel' gemonitored worden
• We kunnen dan ook werken aan branding

Als je experimenteel aan de slag wilt gaan, is Django niet meteen waar je mee wilt starten.
Het is meer dat je een bewezen data oplossing wilt tillen naar next level.

Ik kan hier eventueel een start mee maken

[CorneeldH]

Dank voor de input iedereen!

Zie de nieuwe standaarden: https://github.com/cedanl/.github/tree/main/standards, met daarin iets over standaard repo's. Onderscheid tussen specifieke modulaire repo's (met UI voor snelle interactie) EN enkele 'integratie-repo's, die hele pipeline integreren en dus meer complex zijn (dat is nog niet uitgewerkt).

Nieuwe ideeën en updates kunnen in de repo worden besproken via issues en pull requests.