En ML-konkurranse for NTNU TDT4173
Som en avlegger av Appends arbeid med Hydro Aluminium ønsket vi flere øyne på et reelt prognoseproblem fra smelteverket. Jeg designet og ledet en konkurranse i Kaggle-stil for NTNU-kurset TDT4173 («Modern Machine Learning in Practice»). Studentene bygde modeller, Hydro-ingeniørene benchmarket, og scoringsmetrikken målte det forretningen faktisk brydde seg om.
Prognoseoppgaven
Hver råvare har en rm_id og en historikk av leveranser frem til
slutten av 2024. Gitt en hvilken som helst sluttdato mellom 1. januar og
31. mai 2025, skal modellen forutsi den akkumulerte innkommende
vekten av hver råvare fra 1. januar og frem til den datoen.
Datasettet ble delt i en obligatorisk kjerne (receivals.csv,
sales_orders.csv) og valgfrie utvidelser (materialmetadata,
leverandører, transport). Anonymisert, men ekte.
Metrikken: asymmetrisk kvantil-loss
Loss per råvare på 0,8-kvantilen:
QuantileLoss_0.8(F, A) = max( 0.8·(A − F), 0.2·(F − A) )gjennomsnittet over alle råvarer. Asymmetrien er bevisst: å undervurdere tilgjengelig råvare er billig (smelteverket bruker bare det som er tilgjengelig), mens overvurdering er dyrt (du planlegger en smelting som ikke kan fullføres). Å straffe overestimat fire ganger så hardt som underestimat presser modellene mot forsiktige prognoser, som er det driftsteamet faktisk vil ha.
Metrikken ble implementert og enhetstestet som en Jupyter-notebook slik at deltakerne kunne reprodusere leaderboard-scoren lokalt.
Hva jeg bygde og ledet
- Oppgavetekst. En kursklar oppgavebeskrivelse med motivasjon, datadefinisjoner og metrikk, skrevet både for NTNU-studenter og Hydro-ingeniører. Godkjent på begge sider.
- Datasett. Et kuratert utsnitt av reelle driftsdata, med et holdt-tilbake testsett deltakerne aldri fikk se.
- Scoringskode. Kvantil-metrikken, i Python, pakket slik at hvem som helst kunne regne ut sin egen leaderboard-score før innlevering.
- Regler og innleveringer. Hvem som kunne levere hva, hvor ofte, og hvordan lekkasjer ble forhindret.
- Koordinering med Hydros domeneeksperter, NTNUs kursstab, og Appends team. Den tekniske jobben var den minste delen.
Hva det lærte meg
Å designe en konkurranse er en nyttig motsats til å delta i en. Du lærer veldig fort hvilke deler av en ML-oppgave som er tvetydige, fordi tvetydigheten kommer rett tilbake som hundre studentspørsmål i løpet av første uke. Og scoringsmetrikken er hele prosjektet. Hvis den ikke belønner det du faktisk vil ha, finner leaderboardet seg fram til feil svar på et par dager (Goodharts lov i full effekt).
Kursmateriell
Oppgaveteksten studentene fikk, og dokumentasjonen av datatabellene, ligger i repoet: