mboost-dp1
Skolestyrelsen
leverandøren af systemet er @venture i Viby, Århus. Det ændrer naturligvis ikke på at det er COWIs ansvar at det Venture laver er ordentligt.
Skal siges at det her blot er en af mange undersystemer i skoletest systemet og de andre fungerer til UG.
http://www.ventures.dk/sidevis.asp?undermenu=25&am...
Skal siges at det her blot er en af mange undersystemer i skoletest systemet og de andre fungerer til UG.
http://www.ventures.dk/sidevis.asp?undermenu=25&am...
Man fristes til at spørge (igen): "Hvor svært kan det lige være at lave??"Et system med en så høj belastning som kun kan måles og testes 1-2 gange om året (alm. stress tests køres naturligvis også, det giver dog kun en indikation af om det fungerer). Forestil dig billetlugen kun solgte billetter 1-2 gange om året og overvej så hvor tit de ville have nedbrud :P
Det er ikke et fåtal af brugere der er på, på en gang i de her systemet.
Det er firmaer som Cowi der gør at IT i skolerne bliver sænket så meget, det er sku klar at lærere og pædagoger ikke gider det når de kun får dårlige erfaringer. Det system var dødsdømt da det fejlede første gang, men danske politikere har ikke nosser til at indrømme at de har købt noget lort.
Enhver der har arbejdet med de her områder ved, at det ikke er lige til at få så stort et system op at køre. Fejlen kan ligge mange steder, det kan være lærerorganisationen der ikke har formuleret kravende ordentligt, det kan være COWI der har formidlet dem dårligt og det kan være @venture der ikke har tolket dem rigtigt, sidst kan det også være en ukendt faktor på skolerne. Højst sandsynligt er nok at man har sparet på systemanalysen, hvilken næsten altid er årsagen til den her slags problemer. Hvis @venture var dårlige til at udvikle, ville det være helt andre fejl.
#5
Og netop fordi de ved præcis hvor mange elever der skal til eksamen på det præcise klokkeslet, mener jeg stadig det er for dårligt.
Det er jo ikke fordi at siden viser sig at være populær og man har fejlvurderet antallet af besøgende. De har navn, adresse, cpr og alle andre oplysninger på alle eleverne og ved præcis hvornår de skal i gang. Den eneste fejlmargin de har er elever som er syg eller ikke møder op (som kun gør belastningen mindre).
Jeg arbejder selv inden for området. Dog primært med intranetsider til virksomheder med store databaser (+10 GB. Gerne 50 GB), som skal have rapporter fra deres økonomisystemer, energidata og meget andet.
Jo vi mærker ikke presset fra mange besøgende, men jeg kender alt til pres på databaser, som de sikkert også mærker i dette tilfælde.
Så jeg vil give #9 ret. Fejlen kan ligge mange steder. Men det ændre stadig ikke på at med et så præcis besøgstal, har de ingen undskyldning for langsomme svartider.
[edit]
Og når man får 100 mill (eller hvad de nu har fået), for at lave et system, så kan man godt sætte et par server farme op rundt omkring i danmark for at stressteste. De kunne for den sags skyld køre rundt til 50 udvalgte skoler og sætte en server op der, også bede alle servere om at logge ind 1.000 gange samtidig.
Og netop fordi de ved præcis hvor mange elever der skal til eksamen på det præcise klokkeslet, mener jeg stadig det er for dårligt.
Det er jo ikke fordi at siden viser sig at være populær og man har fejlvurderet antallet af besøgende. De har navn, adresse, cpr og alle andre oplysninger på alle eleverne og ved præcis hvornår de skal i gang. Den eneste fejlmargin de har er elever som er syg eller ikke møder op (som kun gør belastningen mindre).
Jeg arbejder selv inden for området. Dog primært med intranetsider til virksomheder med store databaser (+10 GB. Gerne 50 GB), som skal have rapporter fra deres økonomisystemer, energidata og meget andet.
Jo vi mærker ikke presset fra mange besøgende, men jeg kender alt til pres på databaser, som de sikkert også mærker i dette tilfælde.
Så jeg vil give #9 ret. Fejlen kan ligge mange steder. Men det ændre stadig ikke på at med et så præcis besøgstal, har de ingen undskyldning for langsomme svartider.
[edit]
Og når man får 100 mill (eller hvad de nu har fået), for at lave et system, så kan man godt sætte et par server farme op rundt omkring i danmark for at stressteste. De kunne for den sags skyld køre rundt til 50 udvalgte skoler og sætte en server op der, også bede alle servere om at logge ind 1.000 gange samtidig.
ghostface (5) skrev:Et system med en så høj belastning som kun kan måles og testes 1-2 gange om året (alm. stress tests køres naturligvis også, det giver dog kun en indikation af om det fungerer). Forestil dig billetlugen kun solgte billetter 1-2 gange om året og overvej så hvor tit de ville have nedbrud :P
Det er ikke et fåtal af brugere der er på, på en gang i de her systemet.
Hvad er det for en vandet undskyldning. Ethvert firma der udvikler et system af den skala, må og skal kunne udvikle et system til den belastning der kræves, uanset hvornår den kræves.
Desuden er det ikke svært at regne ud hvor belastningen er. Der er jo kun et finit antal elever i danmark der vil bruge en sådan test samtidig, i den mest belastede periode. Du designer systemet primært til det at kunne klare sig i den mest belastende periode. ISÆR når det er et så vigtigt element i systemet som dette her!
For dårligt. Amatør. Fyr dem før de modtager flere ufortjente penge. (Okay, for grovt måske, men de har haft lignende problemer sidste gang, så man måtte da kunne forvente at de har gjort noget ved det)
For 6 år siden forsøgte man et lignende tiltag med adaptive test i Norge.
Nordmændene opgav efter års spildt tid og jeg mener det kostede den norske stat 3 milliarder n.kr..
Det nytter efter min mening ikke at komme med tekniske undskyldninger. Forestil jer, at Boeing argumenterede med at deres fly fløj ganske problemfrit uden passagerer - det var først da turisterne gik ombord problemerne begyndte (??).
COWI har nu gennem de seneste år bevist, at de ikke magter opgaven til den pris staten vil give. Free willy - det holder ikke.
Nordmændene opgav efter års spildt tid og jeg mener det kostede den norske stat 3 milliarder n.kr..
Det nytter efter min mening ikke at komme med tekniske undskyldninger. Forestil jer, at Boeing argumenterede med at deres fly fløj ganske problemfrit uden passagerer - det var først da turisterne gik ombord problemerne begyndte (??).
COWI har nu gennem de seneste år bevist, at de ikke magter opgaven til den pris staten vil give. Free willy - det holder ikke.
#14 nu har passagererne i et boeing fly så markant mindre indflydelse på flyets evne til at flyve, og de har muligheder for at stille strenge restriktioner for hvor mange der må gå om bord - der er ingen der undrer sig hvis et fly falder ned fordi man stopper 3 gange så mange passagerer ombord og de beslutter sig for at hoppe i takt, og ingen ville give boeing skylden...
Men i software skal man bygge sit produkt så det kan holde til brugere der er alt fra uvidende til direkte destruktive i deres adfærd og hvis der kommer 3 gange så mange brugere som planlagt så har man planlagt forkert og man får skylden - og brugerens interface til softwaren er typisk mere komplekst end pilotens interfacve er i et fly...
Men i software skal man bygge sit produkt så det kan holde til brugere der er alt fra uvidende til direkte destruktive i deres adfærd og hvis der kommer 3 gange så mange brugere som planlagt så har man planlagt forkert og man får skylden - og brugerens interface til softwaren er typisk mere komplekst end pilotens interfacve er i et fly...
De har kun haft hvad.. 4 år til at udvikle det nu?
Og de har stadigvæk ikke fattet at lave et system der kan holde til det nødvendige antal brugere, til trods for at de kan få et HELT PRÆCIST nummer af antal brugere, på forhold.
Man undres over at de ikke har lavet en cloud-løsning som kunne skalere ordenligt op.
Og de har stadigvæk ikke fattet at lave et system der kan holde til det nødvendige antal brugere, til trods for at de kan få et HELT PRÆCIST nummer af antal brugere, på forhold.
Man undres over at de ikke har lavet en cloud-løsning som kunne skalere ordenligt op.
fennec (3) skrev:
Statens evner til IT: 0
Statens IT fail: 999.999.999
Har du misset at staten har udliciteret denne opgave til nogle firmaer i den private sektor?
Hvis man skulle konkludere noget var det vel at staten ikke skulle udlicitere og selv lavde det, da det private erhversliv tilsyneladende ikke kan klare opgaven.
#21
Måske fordi at de (Staten) har været for dumme til at forstå at COWI var for inkompetenter til at løfte opgaven, efter over 4 års tekniske problemer.
Det grundlæggende system var færdig og blev testet for 4 år siden, men de har forsøgt at løse performanceproblemerne siden.
Utroligt nok, taget i betragtning at det bare er en simpel ASP.NET webløsning. COWI har bare ikke fattet at balancere det store (lille?) antal brugere ordenligt.
Måske fordi at de (Staten) har været for dumme til at forstå at COWI var for inkompetenter til at løfte opgaven, efter over 4 års tekniske problemer.
Det grundlæggende system var færdig og blev testet for 4 år siden, men de har forsøgt at løse performanceproblemerne siden.
Utroligt nok, taget i betragtning at det bare er en simpel ASP.NET webløsning. COWI har bare ikke fattet at balancere det store (lille?) antal brugere ordenligt.
# 15.....
Rent teknisk, så åbner systemet for et præcist - på forhånd - defineret antal brugere, der kan tage testen på samme tid. Så der er ingen usikkerhedsgrad omkring antallet af brugere per test-vindue.
Jeg vil sige det sådan. Hvis det her var sket for Mærsk eller en anden stor privat virksomhed, så var COWI forlængst ude af klappen.
fordi man stopper 3 gange så mange passagerer ombord....
Rent teknisk, så åbner systemet for et præcist - på forhånd - defineret antal brugere, der kan tage testen på samme tid. Så der er ingen usikkerhedsgrad omkring antallet af brugere per test-vindue.
Jeg vil sige det sådan. Hvis det her var sket for Mærsk eller en anden stor privat virksomhed, så var COWI forlængst ude af klappen.
ghostface (5) skrev:Et system med en så høj belastning som kun kan måles og testes 1-2 gange om året (alm. stress tests køres naturligvis også, det giver dog kun en indikation af om det fungerer).
ghostface (5) skrev:Det er ikke et fåtal af brugere der er på, på en gang i de her systemet.
En årgang skolelever må vel være 60000-75000 brugere. Langtfra et uløseligt problem.
LordMike (6) skrev:Smid det i skyen!!
Det ville løse et "centralt server hardware omkostnings problem". men jeg har ikke set nogen steder at problemet er, at man ikke vil betale for et stort antal boxe som kun skal bruges få gange om året. Derudover ville det jo rejse nogle nye problemer.
dx (9) skrev:Højst sandsynligt er nok at man har sparet på systemanalysen, hvilken næsten altid er årsagen til den her slags problemer.
Hvis en leverandør byder på en opgave, så har de jo accepteret input. Fejl de kan de ikke bagefter kome og sige at input var fra dårligt.
Iøvrigt mener jeg ikke at performance problematikken er specielt kompleks. Man kender antal elever. Man kender opgaven og ved hvor mange gange der skal gemmes.
dx (9) skrev:Hvis @venture var dårlige til at udvikle, ville det være helt andre fejl.
Performance problemer er typisk for dårlig arkitektur.
Men hvordan kan det så være at de ikke har løst opgaven endnu?arne_v (27) skrev:Iøvrigt mener jeg ikke at performance problematikken er specielt kompleks. Man kender antal elever. Man kender opgaven og ved hvor mange gange der skal gemmes.
Det virker komplet urealitisk at for 100 millioner og 4 år til at teste systemet stadigvæk ikke kan kører et stabilt system når man netop kender den præcise input belastning.
Der kan umulig være en anden undskyldning end inkompetancer bag dette her.
Regus (13) skrev:men hvis de ligesom dig betragter en DB på 50 GB som værende stor så begynder jeg at forstå hvorfor det går galt...
50 GB er ikke nogen stor database idag.
Men jeg tror faktisk ikke at databasen i dette tilfælde er større. En årgang med 100 multiple choice spørgsmål skal vil ikke indsætte mere end ca. 30 MB data. Det bør kunne ligge i et hjørne af RAID controllerns cache.
Windcape (29) skrev:Men hvordan kan det så være at de ikke har løst opgaven endnu?
Det virker komplet urealitisk at for 100 millioner og 4 år til at teste systemet stadigvæk ikke kan kører et stabilt system når man netop kender den præcise input belastning.
Der kan umulig være en anden undskyldning end inkompetancer bag dette her.
COWI må enten selv have folk der kan løse opgaven eller kunne finde eksterne folk som kan løse opgaven.
Men det koster normalt mange penge at lave gode løsninger.
Og hvofor skulle de bekoste en god løsning, hvis de får deres penge for at levere noget skrammel der er billigere at producere.
Det er ikke realistisk at forvente kvalitet, hvis man leverandøren ved at der er 99% sandsynlighed for at få sine penge selvom det er noget skrammel det leveres.
Hvis det havde konsekvenser f.eks. at COWI betalte dagbøder indtil systemet performede, så ville der nok ske noget.
Regus (15) skrev:#14 nu har passagererne i et boeing fly så markant mindre indflydelse på flyets evne til at flyve, og de har muligheder for at stille strenge restriktioner for hvor mange der må gå om bord - der er ingen der undrer sig hvis et fly falder ned fordi man stopper 3 gange så mange passagerer ombord og de beslutter sig for at hoppe i takt, og ingen ville give boeing skylden...
Men i software skal man bygge sit produkt så det kan holde til brugere der er alt fra uvidende til direkte destruktive i deres adfærd og hvis der kommer 3 gange så mange brugere som planlagt så har man planlagt forkert og man får skylden - og brugerens interface til softwaren er typisk mere komplekst end pilotens interfacve er i et fly...
Selvfølgelig er der lidt forskel på fly og software.
Men jeg vil vove at påstå at forskellen på tilgangsvinklen er større end forskellen i kravene.
Dette citat stammer fra en rapport fra en rapport lavet af Danmarks Pædagogiske Universitetsforlag & Dansk Clearinghouse
for Uddannelsesforskning (publiceret den 27/4/09):
Det omhandler tilsvarende test, der blev kørt (eller crashed) i Norge i 2002-2004.
Der er intet nyt i den manglende succes.
for Uddannelsesforskning (publiceret den 27/4/09):
Lie mfl. (2005) konkluderede, at testsystemet som helhed
havde så store mangler, at man burde stoppe de nationale
test i det efterfølgende år, så man kunne bruge tid til at udvikle
og konsolidere systemet.
Det omhandler tilsvarende test, der blev kørt (eller crashed) i Norge i 2002-2004.
Der er intet nyt i den manglende succes.
arne_v (30) skrev:Men jeg tror faktisk ikke at databasen i dette tilfælde er større. En årgang med 100 multiple choice spørgsmål skal vil ikke indsætte mere end ca. 30 MB data.
Det tror jeg somend heller ikke, men hvis ens erfaring rækker til at betragte en 50 GB database som stor så vil jeg være meget bekymret for at sætte samme person til at udvikle et system der skal håndtere 70k samtidige brugere.
Men det mest fjollede her at at opgaven er helt usansynlig nem at løse - de _eneste_ delte data i systemet er read only, brugerne skal ikke komunikere eller på anden vis udveksle data med hinanden, et forum med 1000 samtidige brugere er sværere at løse end den her opgave, hver enkelt elevs prøve kan jo afvikles 100% uafhængigt af alle de andres prøver, det er skalering 101 det her.
ghostface (5) skrev:Forestil dig billetlugen kun solgte billetter 1-2 gange om året og overvej så hvor tit de ville have nedbrud :P
0.
Forestil dig nu at billetlugen solgte billeter alle dage, men 2 gange om året er det noget mega populært. Hvor mange gange går det ned? To gange.
Kan du se forskellen? I det ene tilfældet er man klar over at det er x antal elever online på et givent tidspunkt. Man kan sikre sig, at det virker. I det andet tilfælde er systemet online hele tiden, men pludselig overbelastes systemet.
COWI skal ikke lave noget der virker 24/7 365 dage, de skal bare lave noget der virker i et par timer. Det er tale om danske elever (begrænset antal). Andre internationale systemer plejer at virke på launch dagen, hvor systemet belastes af flere millioner.
Min viden om dette emne er svært begrænset, men sådan som jeg ser det, burde det være en relativt simpel sag, at lave en system til danske elever her i 2010.
Jeg er bestemt ikke ekspert i databaser, men det jeg tror COWI bøvler med er, at testene er adaptive. Når en elev svarer forkert, får eleven et nemmere spørgsmål som det næste - det samme princip gælder ved rigtige svar, dog selvfølgelig med den forskel, at spørgsmålet bliver vanskeligere.
Det må vel kræve noget beregning på database-niveau, og belaste hastigheden - eller hvad?
Det burde stadig kunne løses. Jeg tænker, at når spil - som er mega adaptive - kan afviles på den måde, så må en test også kunne, eller hvad?
COWI skulle måske slå sig sammen med EA :)
Det må vel kræve noget beregning på database-niveau, og belaste hastigheden - eller hvad?
Det burde stadig kunne løses. Jeg tænker, at når spil - som er mega adaptive - kan afviles på den måde, så må en test også kunne, eller hvad?
COWI skulle måske slå sig sammen med EA :)
@ventures side er skrevet i ASP classic (og bruger iframes lol).. det siger vidst det hele.. Jeg ved ikke noget om skoletest systemet, men jeg håber da ikke at det også er lavet med stenalder teknologi..
Hmm desuden er @ventures side sårbar overfor SQL injection (De escaper ihvertfald ikke farlige chars og de sørger heller ikke for at inputtet er hvad de forventer (f.eks int når det er et artikel id).. endnu en grund til at de aldrig skulle have haft opgaven..
Hvem tør lave en query alá DROP DATABASE db_name() :D ?
Hvem tør lave en query alá DROP DATABASE db_name() :D ?
Og flere:Windcape (23) skrev:Utroligt nok, taget i betragtning at det bare er en simpel ASP.NET webløsning. COWI har bare ikke fattet at balancere det store (lille?) antal brugere ordenligt.
Jeg går ikke udfra at nogen af jer med på projektet, så hvorfra ved i at opgaven er så simpel? Jeg er bare nysgerrig - for i min verden, hvis det var så simpelt, så havde Cowi vel fundet nogen til at løse problemet og sparket @ventures ud.
#hvorfor-kører-de-ikke-tests
Nu ved jeg (er ikke selv med inde over projektet men man hører jo om det alligevel) ikke præcis hvor stor en del af systemet vores load tests på arbejdet dækker, men der bliver kørt mange tests op til, imellem, og efter prøverne.
arne_v (31) skrev:Hvis det havde konsekvenser f.eks. at COWI betalte dagbøder indtil systemet performede, så ville der nok ske noget.
Der blev betalt dagbøder sidste sommer..
…
Magten (40) skrev:Jeg går ikke udfra at nogen af jer med på projektet, så hvorfra ved i at opgaven er så simpel?
Der er formentligt ingen som har set kravene.
Men de fleste har prøvet diverse tests og har en forståelse for de involverede data.
Og de fleste ved også at der er web sites som håndterer mange flere brugere end denne her løsning.
Men strengt taget er det ligegyldigt om opgaven er simpel eller kompleks.
Siger man ja til at løse en opgave, så skal den løses. Og man bør undersøge kompleksiteten af en opgave inden man byder på den.
Det er ikke en god undskyldning at opgaven er kompleks.
Og det fremgår jo iøvrigt at COWI har flere års erfaring med opgaven.
Magten (40) skrev:hvis det var så simpelt, så havde Cowi vel fundet nogen til at løse problemet og sparket @ventures ud.
Hvorfor. De tjener jo stadigvæk penge på opgaven.
Magten (40) skrev:Der blev betalt dagbøder sidste sommer..
Interessant.
Men 15000 om dagen er nok ikke nok til at få COWI til at gå i panik ved tanken om at skulle betale.
Magten (40) skrev:Jeg går ikke udfra at nogen af jer med på projektet, så hvorfra ved i at opgaven er så simpel?
At cowi har valgt at løse opgaven på en kompleks/dårlig måde, ændrer ikke det faktum, at opgaven er at konstruere en online skoletest til danske skoleelever. En relativ simpel opgave.
Helt enig, det ikke acceptabelt, og jeg prøver heller ikke at forsvare det.arne_v (41) skrev:Siger man ja til at løse en opgave, så skal den løses. Og man bør undersøge kompleksiteten af en opgave inden man byder på den.
Jeg undrer mig bare over at der tilsyneladende sker så mange fejl i simple projekter, når de er så simple. Newz brugerne er jo nærmest i stand til at løse ethvert problem 100 gange hurtigere, 100 gange billigere og 100 gange bedre, end et firma som har erfaring med den type systemer, og endda til langt flere brugere.
Mht. test: http://www.folkeskolen.dk/ObjectShow.aspx?ObjectId...
Magten (44) skrev:Jeg undrer mig bare over at der tilsyneladende sker så mange fejl i simple projekter, når de er så simple. Newz brugerne er jo nærmest i stand til at løse ethvert problem 100 gange hurtigere, 100 gange billigere og 100 gange bedre, end et firma som har erfaring med den type systemer, og endda til langt flere brugere.
Der findes et udtryk for det på udenbysk: armchair quarterback.
Magten (45) skrev:Mon det virkelig kan betale sig at lade være med at løse 'simple' fejl og få ekstremt dårlig omtale overalt, i forhold til bare løse det hvis man kan?
Undervisningsministeriet er stadig kunde.
Og jeg gætter på at newz.dk læserne køber for præcis 0 kr. per år hos COWI.
Newz brugerne er jo nærmest i stand til at løse ethvert problem 100 gange hurtigere, 100 gange billigere og 100 gange bedre, end et firma som har erfaring med den type systemer, og endda til langt flere brugere.
Det er nok de færreste newz-brugere der reelt er istand til at løse denne her opgave fornuftigt. Uden at nævne navne ved jeg dog at der er et par stykker der blander sig i den her debat, som jeg er ret sikker på har langt størrer erfaring med udvikling af store fler-bruger systemer end COWI fomentlig har :-)
Det er ikke alle newz-brugere der er studerende :-)
Og ja, jeg tilhører nok også gruppen af folk der mener dette her burde være en relativ simpel opgave for folk med erfaring på området og at det ikke burde koste i nærheden af 100 mio. kr at udvikle.
Magten (44) skrev:Jeg undrer mig bare over at der tilsyneladende sker så mange fejl i simple projekter, når de er så simple. Newz brugerne er jo nærmest i stand til at løse ethvert problem 100 gange hurtigere, 100 gange billigere og 100 gange bedre, end et firma som har erfaring med den type systemer, og endda til langt flere brugere.
Giv mig spørgsmålene og hundrede millioner kr. så skal jeg lave et system der virker.
Jeg køber en printer og en helvedes masse papir: Det er testet før og det er aldrig fajlet - man kan heller ikke slå resultaterne op ved at se kildekoden som man kunne ved sidste års 9. klasses prøve og er dermed også en mere sikker måde at gøre det på, når man kigger på snyd.
Ingen databaseproblemer, medmindre læreren er dement - men så er det sgu nok heller ikke ham der skal rette fejlene.
Ingen netværksflaskehals. Ingen "ryk de fejlende computeres elever ud af lokalet og giv dem net-testen på print" - den er allerede på pair og fuldstændigt uafhængig af andre faktorer end papireret.
...og så tror jeg endda jeg ville have en ganske klækkeligt overskud efterfølgende.
Regus (13) skrev:#11 ikke for at sige du ikke er dygtig til dit job, men hvis de ligesom dig betragter en DB på 50 GB som værende stor så begynder jeg at forstå hvorfor det går galt...
Du glemte at læse videre "økonomisystemer, energidata".
Et økonomisystem på 50 GB er ganske stort i min optik.
Opret dig som bruger i dag
Det er gratis, og du binder dig ikke til noget.
Når du er oprettet som bruger, får du adgang til en lang række af sidens andre muligheder, såsom at udforme siden efter eget ønske og deltage i diskussionerne.
- Forside
- ⟨
- Forum
- ⟨
- Nyheder
Gå til bund