Nasjonale prøver på kartet

De siste par ukene har jeg satt av litt tid hver kveld til å lage en liten tjeneste som viser resultatene fra de nasjonale prøvene geografisk på en skikkelig oversiktelig måte. Siden dette er en uformell øvelse i datadreven borgerjournalistikk tenkte jeg selve prosessen kunne være interessant å dokumentere for meg selv og muligens også for andre.

Det tok 15 kvelder og én arbeidsdag. Gitt at jeg har to små barn hvor den yngste gjerne skal bæres en timer hver kveld og den eldste våkner i 0600-tiden kan jeg umulig tenke meg at jeg har klart å bruke mer enn 2 timer i snitt per dag. Så rundt regnet gikk det en arbeidsuke.

Tjenesten står nå live på skoleporten.bengler.no.

Merk: Dette er ikke en spisset, gjennomarbeidet tekst, men heller en slumsete prosjektdagbok

Kveld 1

Skoleporten skal kjøre på:

  • Sinatra – Minirammeverk skrevet i Ruby
  • MongoDB – NoSQL database
  • JQuery – Fint Javascript hjelpebibliotek
  • CSS3 / HTML5

Jeg har ikke brukt noe av dette før så jeg leser dokumentasjon og setter opp prosjektet med Sinatra og MongoDB, en ny og artig database som kjører Javascript (wot). Til slutt spar jeg dataene fra excel-arket til Dagbladet inn i MongoDB.

Kveld 2

Så, hvor ligger disse skolene? Sånn på kartet.

Skoleporten har en asp.net løsning (i 2010, omg) som noen nisser har bygd for de. Den er så langt unna REST man kommer og når du søker etter Kampen Skole får du en URL på formen:


http://skoleporten.utdanningsdirektoratet.no/skolesoktreff.aspx?sokestreng=a2FtcGVu0&url=http://skoleporten.utdanningsdirektoratet.no/skolesoktreff.aspx%3fsokestreng%3d%26url%3dhttp://skoleporten.utdanningsdirektoratet.no/enhet.aspx%3fenhetsid%3d974589788%26vurderingsomrade%3dResultatoversikt%26skoletype%3d0%26enhetsid%3d974589788&enhetsid=974589788

OMG

Det er sikkert mulig baklengsengineere javascriptene deres for å finne ut hvordan de lager disse kaudervelske søkestrengene. Men hei, vi betaler for disse skolene. Noen må da kunne fortelle oss hvor de er.

Joda, på den superhjelpsomme portalen norge.no finner jeg dette i FAQen:

Hvor finner jeg adresser til skoler og barnehager?

Adresser til barnehager, grunnskoler og andre skoleslag finner du på Pedlex Norsk Skoleinformasjon

Så bra! Jeg tar meg en tur dit.

Fett, men hei, vent. Ser ikke adressen litt annerledes ut? Nei! Neeei! NEEEEEI! De har rendret teksten som grafikk. Men hvorfor?! Ah, selvfølgelig. De har en bok til salgs til kroner 215,- som de har lyst til å selge oss. Prisen for dette produkt i digital form må jeg maile de for å få. Bra saker. Takk norge.no for at dere lenket meg til denne uselviske og nyttige kilden.

Kanskje jeg skal skrape disse bildene ut av sidene til PedLex og kjøre OCR på de. Så hvordan får jeg kjørt OCR da? Hm, Tesseract, en urgammel open source OCR-maskin finnes i macports. Google finansierte open sourcingen av den for et par år siden så den er sikkert ikke helt ute. Om man gjør bildene litt likere innscannede dokumenter ved å skalere bildene til det tredobbelte, thresholde de og kjører Tesseract med en norsk treningsfil så ser det faktisk ut som det funker relativt bra. Men vent, det må være en bedre måte enn å gjøre tegngjenkjenning på 3000 GIFer.

Hva med Google Places? Som et ledd i sin katalogisering av det norske samfunnet vet jo Google faktisk hvor disse skolene er. Faktisk.

Så hvordan ser Places APIet ut? Det viser seg at Google har begynt å stramme inn litt i APIene sine og krever her at man er en slags ‘kunde’ av Google og søker om å få tilgang hvorpå man må skrive under på blant annet:

  • All developers wishing to use the service must already have an Adsense account, or must create one prior to applying.
  • Applications that wish to use the API must only issue queries in response to end user actions.
  • The results of every search made by applications using this API must be shown to a user.
  • Applications may not reorder or manipulate Search results.
  • Applications may not store any Place data permanently except References and IDs.
  • Place information collected using this API, or any data derived from it, such as Place location corrections, can not be distributed in any way, such as through an API, without the express permission of Google.

Så kanskje ikke det, siden jeg bryter mot 90% av vilkårene. Jeg kunne alltids skrapt det ut av Place-søkene, men det er garantert et brudd på de samme vilkårene det også. Vi vet heller ikke om Places vet om absolutt alle skolene.

Ok, en annen strategi. Hva med Google-søk på skolenavn avgrenset til skoleporten.utdanningsdirektoratet.no, oppslag i skoleporten med påfølgende skraping av adresse som vi slår opp i Googles geokoder? Det er skjøre saker og om noen bestemmer seg for å endre noe på skoleporten eller slenge disse sidene i robots.txt går det i dass, men er kanskje hakket bedre enn å OCRe 3000 GIFer. Får vi treff? Jada=. Holla!

Kveld 3 – Skrap skrap

Det første forsøket ser slik ut:

puts "\nGeocoding #{School.count} schools. Plz wait.\n\n"
School.find(:all)[0..1].each do |s|
puts "-- #{s.name} / #{s.county} / #{s.municipality} (#{s.normalized_tests.length} tests)"
url = "http://www.google.no/search?hl=en&q=" + CGI.escape("site:skoleporten.utdanningsdirektoratet.no -oversikt \"#{s.name}\"")
doc = Nokogiri::HTML(open(url))
address = doc.css('#ires .s')[0].text.match(/.*?\.(.*?\..*?)\./)[1].strip.gsub('.',',')
puts "School address: #{address}"
bounds = Geokit::Geocoders::GoogleGeocoder.geocode(s.municipality, :bias => 'no').suggested_bounds
res = Geokit::Geocoders::GoogleGeocoder.geocode("#{address}", :bias => bounds)
puts res.inspect
puts "\n\n"
sleep 0.8
end

Og visst gir det oss ikke:

-- Holla ungdomsskole / Telemark / Nome (3 tests)
School address: Kirkebakken 18, 3830 ULEFOSS
Provider: google
Street: Kirkebakken 18
City: Ulefoss
State: Telemark
Zip: 3830
Latitude: 59.2793002
Longitude: 9.2633128
Country: NO
Success: true

Holla! Bare 1 av de 5 første feiler. Nå på en enkodingsfeil i geokodingsbiblioteket jeg brukte for å gjøre livet mitt litt enklere. Herlig. Det er litt gammelt og har noen problemer relatert til Ruby 1.9 og Unicode. Som gode internettborgere rapporterer vi feilen, forker koden på github og legger inn de bittesmå fiksene våre.

Det er selvfølgelig noen flere små snags, men med litt taktisk wrangling er det stort sett bare skoler som:

  1. BELGIUMSHAPE International School Norwegian Sec / Utland / Utland (6 tests)
  2. BELGIUM – Scandinavian school in Brussels (Ecole R / Utland / Utland (6 tests)
  3. BOLIVIA – Colegio Noruego / Utland / Utland (6 tests)

som feiler og det ser ut som det er under 1% som ikke får noen adresse. Bolivia! Disse kan vi håndslå i excel etterpå om vi gidder. Fest!

Kveld 4 – Geokodeagogo

Dette gikk jo ganske bra. Det er sansynligvis et TOS-brudd å gjøre disse søkene og Google sperrer meg etter rundt 256 søk (noen hos Google må ha estetisk sans for 2^n). Det er noen skoler med utenlandsadresser og noen navn med stor diskrepans mellom navnet i nasjonale prøver og i den nåværende versjonen av SKoleporten. Men det er fortsatt ikke mer enn 50 etter å ha kjørt de første 2100 skolene. I tillegg feiler Google en del på adresser av typen Sandshamn, 6089 SANDSHAMN. Disse virker fint på maps.google.com, men feiler i APIet. Kanskje jeg får noe om jeg har en fallback som bare bruker stedsnavn. Det er virkelig stas å sjekke treffene jeg får. Ofte står det en skole plantet midt i satelittbildet. For småsteder mangler skoleporten gateadresser. Kanskje kommer posten fram uansett, men jeg får litt dårlig treff. Det får vi leve med.

Man får tårer i øynene av å tenke på at den danske staten leverer geokoding som en tjeneste på lik linje med ferskt vann i springen, mens vi her i landet må lene oss på Google eller aktører vi må skrive kontrakter med oppsigelsestid for å finne ut hvor en adresse er.

Mens jeg venter på en av-svartelisting fra Google bygger jeg en liten eksport til CSV slik at jeg kan gi dere disse dataene tilbake på Google Spreadsheet så snart det er ferdig.

Kveld 5 – Jern i skapet

Alle har rett noe de kan kalle et eget hjem. Vi har en urgammel maskin (2.6Ghz Xeon / 2 cores) som det for tiden ikke kjører noe tungt på. Den sitter i skapet sitt på coloc-rommet til snill snille Domeneshop nede ved Akerselva. Det står i andre enden av en fiber som går rett til NIX. Det bør holde. Eneste problemet er at den ikke har vært brukt til noe nytt på evigheter og kjørte inntil ikveld Ubuntu Hardy Heron 8.04 . For å brukes til noe nyttig må den oppgraderes til en moderne Ubuntu.

Det går med tre kvarter mens Ubuntu tålmodig river ifra hverandre og setter sammen et system bestående av en en bunke pakker og deres utallige avhengigheter. Med ett grep bygger den det om slik det står og presenterer det i ny støpning. Millioner av kodelinjer, et utall ørsmå tannhjul som griper inn i hverandre. Resten av kvelden går dermed med til å oppgradere og avknekke ting som faller i gulvet i prosessen.

Kveld 6 – These are not the schools you are looking for.

Kjære dagbok. M har trent i kveld. Begge barna gråt hele tiden. Nå sover alle sammen. Titter litt på resultatene fra geokodingen. 10 sprø verdier. Rundt 90 mangler ellers. Det er bare to som er store: Max Tau og Steinern i Oslo. Resten ligger i Bolivia eller på små nes langs kysten. Jeg forsøkte å geokode 10 av de manuelt og det er en royal rumpesmerte. Mange av de finnes hverken av Google Places, 1881.no eller andre kilder. Man ender opp med å søke etter kommunene eller stedsnavnene og det hele blir heller omtrentlig. Lurer på om jeg skal la disse ligge.

Kveld 7 – Tidlig i seng

Tidlig i seng, men stod opp klokken 0200 og la til alle markørene på et Google-kart.

Kveld 8 – Første pass GUI

Mens jeg får det minste barnet til å sove leser jeg meg opp på:

  • AJAX med JQuery siden jeg stort sett har brukt Prototype før
  • Canvas tegning av GMaps markører siden jeg skal rendre disse programmatisk

Jobber litt med stiling. Drar opp GMaps til fullskjerm og ser på CSS3.

Kveld 9 – Markører over AJAX I

Kikker på Google Table Fusion etter å ha kommet over denne sørgelige anvendelsen? hos the Guardian. Tenker det er et fint verktøy for noen, men knapt komplett for oss med tanke på at jeg ikke har ensartede markører og trenger å tegne fine markører for skolene. Det er synd, siden det er superfint at Google kan rendre digre datamengder som overlays på GMaps for oss med to linjer kode. Sikkert nyttig til noe annet.

Man kan tross alt ikke hente 2980 markers til Google maps så det må skrives noe javascript AJAX for å hente markører når man drar på kartet. Bruker litt tid på å finne ut av Geo2D within søket til Mongodb og banke dette inn i jQuery sitt getJSON kall.

Tror jeg trenger elevantall på hver skole. For det vil jeg vel visuelt indikere? Ser at Google har et JSON-kall som jeg kan bruke istedenfor denne skrapingen av googlesøk med Nokogiri. Det ser lurt ut. Siden Google sikkert ikke er like illsinte på svartelisting i et offisielt API.

Kveld 10 – PLZ WAIT, OK – Normalizing test results.

Nå begynner det å bli relevant å se på de faktiske testdataene. Jeg normaliserer de på en skala fra 0 til 1 i forhold til årstrinn (5. klasse løper fra 1-3, mens 8. løper fra 1-5) slik at vi kan slå sammen resultater for skoler som både er ungdomsskoler og barneskoler. I tillegg skriver jeg snittverdien inn i hver skole, kommune og fylke. Takket være en del kål med Mongoid, MongoDB-abstraksjonen for Ruby som jeg har valgt å bruke, tar dette 2 timer istedenfor 0.5. Kildekoden må ingen lese.

Kveld 11 – Size of school, size of problem may be.

Vi trenger å finne ut hvor store skolene er. Det å gjøre vanlige Google søk fikk meg svartelistet rundt hvert 256. kall hvorpå det tok rundt en halvtime for Google å tillate søk igjen. Ser derfor på JSON-APIet isteden. Ser fint ut. De viser seg imildertid at skoleporten AJAXer inn tabellen med elevantall. Gaargh. Who are these people? Må derfor Google, gjøre oppslag på skoleporten, finne tak i AJAX-kallet, hente HTML-fragmentet fra URLen den bruker og parse ut verdien av tabbelen i den siste cellen på andre linje. Takkskarruha.

Det virker, men tar litt tid. Med en del feilsøking og presisering av søket er det alt som blir gjort ikveld. Det er grenser for hvor nøyaktige det blir på denne måten. Om noe blir denne prosessen et slags langtrukkent argument for å sette APIer på offentlige tjenester.

Kveld 12 – Markører over AJAX II – The Revenge of Front End

Vi kan ikke hente 2930 kartmarkører og sette de på kartet. Det er altfor tungt. Vi kan bare vise de som er innenfor kartet til enhver tid. For utzoomede bilder må vi vise kommuner og fylker. Dette krever at Google Maps må snakke med serveren hver gang du flytter på kartet. Vi må også fjerne markører som detter utenfor delen av kartet vi ser på. Gmaps har en del fine funksjoner som forenkler dette, men vi må fortsatt skrive en liten MarkerManager som holder orden på markørene vi har satt.

Kveld 12 – Tegne kartmarkører med HTML5 canvas

Starter med en modifisert utgave av dette eksempelet. På kort tid har jeg for første gang fargelagte små infoboller for hver skole. Begynner med en mapping i HSL-fargerommet. Skolene legges i farge mellom rødt og grønt. De som ligger midt på treet blir gulbrune. I tillegg legger jeg på en sigmoid-kurve av dette slaget for å aksentuere forskjellene. Lurer på om ikke blått til oransj hadde vært en like effektiv, og litt mindre rotete fremstillingen av resultatene.

Kveld 13 – Estetisk frobbing av markører og kart.

Fjerner gradientene på markørene og legger til skalering på elevantall. Sørger for at markørene faktisk er sentrerte koordinatene sine. Elevantallet er ganske random vise seg. Det er små skoler i distriktene som dukker opp med 500 elever presumptivt fordi jeg har sanket tall fra hele kommunen eller fylket de ligger i. Håper utdanningsdirektoratet kan gi meg en fin liste over hvor store disse skolene er.

Markørene på kartet må bli tydeligere. Forsøker meg på å få tak i DOM-elementet som holder selve kart-flakene til Google for å gjøre de transparente mot en mørk bakgrunn. Viser seg å være mulig, men litt involvert og flaky om Google skulle oppdatere måten kartkomponenten er pakket på. Men hei, Google har laget stiling av kartene. Jeg har nesten ikke sett dette i bruk selv om det har vært live i månedsvis. Man kan skru av og på innholdstyper og bestemmer fargene deres helt etter eget forgodtbefinnende. Stas. Kartet blir mørkt og nattklubbaktig for å vise fram markørene. Går over og gjør markørene enda mer Walter Gropius-aktige.

Legger også ut prosjektet offentlig på Github. Koden, databasedumper, grunnlagsdataene, alt sammen.

Kveld 14 – Klargjøring av prodmiljø, visning av kommuner, twitter

Aftenposten ledet med nasjonale prøver i dag. Saken handlet om hvordan Oslo-skolene unntar de svakeste elevene fra prøvene for å heve resultatene. Det hadde vært interessant å se denne informasjnen sammen med prøveresultatene, men det får vente.

Klargjør produksjonsmiljøet med rvm og riktig ruby versjon (1.9.2) og ser på måter å kjøre sinatra sammen med lighttpd. Ser greit ut.

Når noen zoomer ut må vi gå over til å vise kommuner istedenfor skoler. Skriver støtte for dette. Tar en halvtime.

Oppretter en twitterkontoen @skoleporten. :)

Kveld 15 – Visning av resultater fra enkeltskoler i popups

Setter opp henting av data med JSON over AJAX for hver skole. Interessant informasjondesignsoppgave. Hva er den enkleste måten å vse informasjonen på. Gruppering, klare hierarkier og fargekoder som overenstemmer med hovedvisningen er sikkert klokt. Hey, JQuery har en liten templating engine så jeg kan kjøre JSON rett over i templates jeg har skrevet i HAML. Boggle.

Dag 16 – 3. november 2010

Setter av et par tre timer på jobben til å ferdigstille stiling av popups og skrive en about-tekst. Noier ut da jeg ser at ruby på serveren bruker rundt 200ms på serveren på å pakke 400 markører i JSON. Bruker en time på å se etter optimeringsforslag og roer meg ned da Alex foreslår et JSON-bibliotek med det poetiske navnet Yajl (yeah, Yet Another Json Library – om det hadde stått som et onematopoetikon i en tegneserie hadde det vært dødsralling) som kutter tiden ned til mellom 1/2 og 1/3 på benchmarkene. Laptopen min gjør dette på 1/5 av tiden forresten. Som før nevnt, gammel hardware.

Anways, vi står nå live på skoleporten.bengler.no.

Webdagene 2010

Onsdag 29. september 2010 kl. 09.00 til fredag 1. oktober 2010 16.00, Radisson Blu Plaza Oslo

Norges største og viktigste webkonferanse, i år med et eget track om offentlige data (se programmet for torsdag 30. september)

Webdagene 2010

Onsdag 29. september 2010, Radisson Blu Plaza Oslo

Norges største og viktigste webkonferanse, i år med et eget track om offentlige data (se programmet for torsdag 30. september)

• Underteikna skal sitje i panel som skal diskuterere “Er jeg meg på nett?” på Nordiske Mediedagar i Grieghallen i mai. Eg meiner at du aldri kan representere berre deg sjølv på nettet. Er du ueinig? Eg vil gjerne ha innspel til debatten her. • mediebruket.no

Ivar Johansens blogg

Da er bloggen min på plass her på Origo.

Vil du være med på laget?
Gå til bloggen

Kartlegging av offentlig sektors data

Håper det er interesse blant medlemmene av denne sonen for et prosjekt jeg jobber med ved Infomedia, Univ. i Bergen: Vi forsøker å kartlegge situasjonen for frigivelse av offentlig sektors data. Spørsmålene vi ser på er:

- hvilke datakilder finnes faktisk i de ulike virksomhetene, og i hvilken grad og på hvilke måter gjøres disse dataene tilgjengelig?
- hvilke planer har offentlige virksomheter på dette feltet framover?
- hva er de viktigste hindrene mot at offentlige virksomheter opplyser om og frigir data de disponerer?

Vi har også en prosjektblogg kalt Fakta først, der vi også tar opp debatter og ideer rundt hvordan data kan brukes. Bidrag ønskes – også til selve kartleggingsarbeidet!

Geodataloven (Inspire) på høring til 15 februar

Det offentlighetsloven gjorde for PSI gjør geodataloven for Inspire (direktivet som PDF). Inspire har som sitt viktigste formål sørge for samordning og tilgjengelighet for geodata og geografisk metadata i EU. For det offentliges del har denne prosessen kommet langt i Norge takket være Norge digitalt, men Inspire skal ha konsekvenser for den generelle tilgjengeligheten av geodata også også. Så da må man jo se lit nærmere på det.

Jeg har bare fått tid til å svært raskt skumme høringsnotatet. Et interessante begynner på s.34: 8.4 Regler om allmennhetens tilgang til infrastrukturen

Tjenestene som medlemslandene skal etablere, skal også være tilgjengelig for allmennheten. Søketjenestene skal være gratis. Visningstjenestene kan det tas betalt for, men dette må begrunnes konkret i forhold til det direktivet gir adgang til. Øvrige tjenester kan det tas betalt for.

Det er en lang og sikker forvaltningspraksis for at det offentlige kartgrunnlaget er åpent og tilgjengelig for publikum, slik at det i prinsippet ikke skulle være nødvendig å lovfeste tilgang til offentlige geodata. Det er imidlertid lite konkrete regler i lov om dette.

Departementet mener derfor at man bør lovfeste dette som en rettighet for borgerne uavhengig av om dette rent juridisk er å betrakte som en slik rettighet.

Departementet legger til grunn at direktivet ikke er til hinder for å benytte ordninger med en særskilt dedikert formidler som sikrer tilgangen til tjenestene for allmennheten så vel som kommersielle brukere, særlig siden de lett kan oppfylle kravet om å ha e- handelstjenester tilgjengelig. Det forutsetter at allmennheten får tilgang til alle data og tjenester, og ikke bare det formidleren ser seg kommersielt tjent med å tilby. Departementet har ikke vurdert i hvilken grad viderebruksdirektivet har betydning for denne type ordninger, men viser til pågående utredninger om dette spørsmålet.

Videre på s.39 under Begrensninger i tilgang og deling

Et av unntakene i artikkel 13 er av en annen art enn de øvrige. Det gjelder adgangen til å begrense offentlig tilgang når slik tilgang kan skade mulighetene for myndighetene til å hevde sine immaterielle rettigheter til databaser og dataprodukter. I dette tilfellet er det egentlige formålet ikke å begrense adgangen til informasjonen, men mer å sette vilkår slik at det er mulig å gjennomføre en ønsket prispolitikk. Se nærmere om dette i kapittel 10.3.

La oss lese den ene setning igjen:

I dette tilfellet er det egentlige formålet ikke å begrense adgangen til informasjonen, men mer å sette vilkår slik at det er mulig å gjennomføre en ønsket prispolitikk.

Uansett i 10.3 kan vi kan lese:

10.3 Betaling for geodata
Direktivet har begrenset betydning for pris- og finansieringspolitikken for geodata i Norge. Direktivet påvirker ikke anvendelsen av viderebruksdirektivet. Den nye offentlighetsloven som implementerer viderebruksdirektivet i Norge, legger heller ikke opp til endringer i gjeldende finansieringsordning og prispolitikk for geodata.

Direktivets regler
Prising av tjenestene er regulert i artikkel 14. Artikkel 14 nr. 1 slår fast at søketjenestene skal være gratis tilgjengelig. I utgangspunktet skal det også gjelde for visningstjenestene, men myndighetene kan kreve betaling «når slik betaling sikrer vedlikeholdet av geodatasett og tilhørende datatjenester, særlig i tilfeller som involverer svært store volumer av data som oppdateres ofte». Data som gjøres tilgjengelig via visningstjenestene, kan ha en form som hindrer viderebruk for kommersielle formål. For de andre tjenestene er det fritt opp til landene å kreve betaling innenfor viderebruksdirektivets rammer. Myndighetene kan altså ta betaling og kreve lisens for tredjeparts nedlasting av geodata via nedlastingstjenenestene. Det må i så fall foreligge e-handelstjenester for dette. Artikkel 17 nr. 3 gir anledning til å ta betaling for data og tjenester mellom offentlige myndigheter. Slik betaling skal være «fullt ut forenlig med det overordnede målet om å forenkle delingen av geodatasett og -tjenester mellom offentlige myndigheter. Når betaling blir krevd, skal betalingen holdes på det laveste nivå som kreves for å sikre nødvendig kvalitet og forsyning av geodatasett og -tjenester til sammen med en rimelig avkastning på investert kapital, samtidig som krav om selvfinansiering for offentlige myndigheter som leverer geodatasett og -tjenester, anerkjennes når dette er relevant».

(min utheving)

Dette er i prinsippet helt tilsvarende de krav viderebruksdirektivet setter til prising av offentlig informasjon. I prinsippet vil derfor en nasjonal prisingspolitikk som er i samsvar med viderebruksdirektivet, også være i samsvar med Inspire-direktivet. Det skal ikke kreves noen form for betaling for geodatasett og -tjenester som medlemsstatene leverer til fellesskapsinstitusjoner for å oppfylle sine rapporteringsforpliktelser etter EUs miljølovgivning. De administrative og rettslige rammene for fellesskapsinstitusjonenes tilgang vil bli nærmere regulert i gjennomføringsbestemmelser, jf. omtale i kapittel 5.3.2, men disse vil ikke inneholde noen nærmere bestemmelser om betaling.

Norsk prispolitikk
Gjeldende norsk prispolitikk for offentlige geodata ved utlevering til tredjepart, kan grovt sett deles i tre:
- data eller tjenester som distribueres gratis (f.eks. visning av data fra matrikkelen og
N50-kartdata)
- data eller tjenester som det kreves betalt for med hjemmel i offentlighetsloven eller
særlov (f.eks. nedlasting av data fra matrikkelen)
- data eller tjenester som det enkelte organ krever betaling for etter beslutning i organet
eller etter instruks fra overordnet organ (f.eks. nedlasting av N50-kartdata)
Det understrekes at salg av data finansierer en mindre, men ikke ubetydelig, del av den totale geodatavirksomheten. Den viktigste finansieringsformen er ordinære bevilgninger over offentlige budsjetter, jf. kapittel 7.2. For kommunene spiller også inntekter i form av lovregulerte gebyrer i forbindelse med eiendomsoppmåling en vesentlig rolle. Miljøinformasjon og annen temainformasjon stilles i regelen gratis til disposisjon, mens det som regel er en eller annet form for betalingsregime for tilgang til basis geodata. Departementet mener at den form for årlig betaling basert på langsiktige avtaler mellom offentlige myndigheter som Norge digitalt er basert på, er i samsvar med vilkårene i direktivet for slik betaling.
Når det gjelder kravet om gratis bruk av søke- og visningstjenester for allmennheten, vil det i hovedsak være i tråd med gjeldende ordninger med enkelte forbehold. Det ene forbeholdet er av mer praktisk art ved at visningstjenestene i Norge digitalt enda ikke er
fullt utbygd til å dekke alle aktuelle geodatasett. Denne hindringen vil bli overvunnet etter hvert som Norge bygger ut de tjenestene som er forutsatt i direktivet.
Det andre forbeholdet er av mer prinsipiell art ved at visningstjenestene i Norge digitalt for basis geodata er avgrenset til de innsynsløsningene som ligger i den nasjonale geoportalen til Statens kartverk. Allmennheten har således ikke gratis tilgang til de egentlige WMS-tjenestene, jf. omtale i kapittel 5.3.3. Dersom visningstjenestene i Inspire defineres til å omfatte WMS, må Norge på dette punktet endre gjeldende prispolitikk. Det må også knyttes et forbehold til hvordan den rett direktivet etablerer for allmennhetens tilgang til geodata skal forstås i forhold til innsynsretten etter den nye offentlighetsloven. Den nye offentlighetsloven slår fast at informasjon som det er gitt tilgang til etter lovgivning som gir allmennheten rett til innsyn i offentlig virksomhet, kan brukes til ethvert formål dersom ikke annen lovgivning eller retten til tredjeperson er til hinder for det, jf. § 7 første ledd.
Salg av offentlige geodata er i dag basert på lisenser som gjør det mulig å tilpasse prispolitikken til forskjellige typer bruk og ulike brukerbehov. Dersom geodata som det i dag tas betaling for, skal kunne brukes til ethvert formål, vil dagens prispolitikk ikke kunne videreføres. En fri rett til viderebruk vil overstyre lisensene og undergrave mulighetene for å føre en fornuftig og fleksibel prispolitikk.
For å kunne videreføre gjeldende prispolitikk må derfor offentlig tilgang til geodata etter direktivet ikke forstås som rett til innsyn i offentlig virksomhet. Det bør presiseres at offentlig tilgang ikke gir rett til å viderebruke geodata til kommersielle formål uten etter avtale med offentlige rettighetshavere. Direktivet selv påvirker ikke eksistensen eller rekkevidden av offentlige myndigheters anledning til å benytte lisensiering i sin prispolitikk (art. 2 nr. 2).
Noen kommuner har valgt å etablere sine søke- og visningstjenester med krav om betaling. I noen tilfeller gjelder det også informasjon som faller inn under miljøinformasjonsloven. Kommunen viser til at de oppfyller lovens krav om tilgang til informasjon ved skriftlige henvendelse eller personlig oppmøte i kommunens lokaler. Direktivets krav om at det skal foreligge digitale tjenester, kan gjøre at dette ikke er tilstrekkelig.

For meg ser det ved første øyekast ut som dette har mest å si for publikums tilgang til å gjøre søk og se kartbilder i kartverkets egne løsninger, uten at det legges bedre føringer for hvordan mediene skal få tilgang på bedre kart i sine egne løsninger.

Jeg har også tatt en rask kikk på Inspire og de bruker ganske relativt sett mye mer plass på dataenes tilgjengelighet igjennom e-handelsløsninger:

4. Where public authorities levy charges for the services referred to in points (b), © or (e) of Article 11(1), Member States shall ensure that e-commerce services are available. Such services may be covered by disclaimers, click-licences or, where necessary,
licences.

hvor Art. 11 spesifiserer følgende tjenester:

1. Member States shall establish and operate a network of the following services for the spatial data sets and ser vices for which metadata have been created in accordance with this Directive:
(a) discovery services making it possible to search for spatial
data sets and services on the basis of the content of the
corresponding metadata and to display the content of the
metadata;
(b) view services making it possible, as a minimum, to display, navigate, zoom in/out, pan, or overlay viewable spatial data sets and to display legend information and any relevant content of metadata;
© download services, enabling copies of spatial data sets, or parts of such sets, to be downloaded and, where practicable, accessed directly;
(d) transformation services, enabling spatial data sets to be transformed with a view to achieving interoperability;
(e) services allowing spatial data services to be invoked.

Noe som faktisk er en reell forbedring. Det virker som om EU ser for seg en (inter)nasjonal geoportal hvor man skal kunne dra visakortet sitt og laste ned datasett med clickwrap-avtaler på. Dette er langt bedre enn den nåværende situasjonen hvor man, om man ønsker en så banal tjeneste som geokoding, kan bli bedt om å avtale et møte, skrive en ettårskontrakt og så integrere mot et halvfungerende API. Dette er interessant i forhold til offentlighetsloven og PSI hvor intensjonen i direktivet helt klart er at “public sector bodies” skal forvalte informasjonen sin selv i forhold til det private, ikke gjøre den tilgjengelig igjennom diverse forhandlernettverk.

Dette punktet fra Inspire finner man igjen i høringsnotatet her:

For geodata og tjenester det skal tas betaling for vil betalingstjenestene kunne samordnes med betalingstjenestene for kommersielle brukere av geodata.

og:

Myndighetene kan altså ta betaling og kreve lisens for tredjeparts nedlasting av geodata via nedlastingstjenenestene. Det må i så fall foreligge e-handelstjenester for dette

(min utheving)

Merk den passive formen. Her mener jeg at det notatet legger opp til går kortere (ved å beskrive det som en mulighet, og avgrense det til et nedlastingscenario for tredjeparter, enn det som er naturlig å forvente seg av Inspire hvor formuleringen rett og slett krever e-handelsløsninger om det i det hele tatt skal tas betalt for kartdata.

Etter det påfallende fraværet av endringer i distribusjonsstrukturen til Statens Kartverk etter offentlighetsloven vil det ikke forbause meg om man forsøkte å beholde denne igjennom enda en lovendring.

• Forbilledlig statslevert dansk geokodingstjeneste • aws.oio.dk

Offentlighetsloven / Eksklusivitet / Kartverket

Offentlighetsloven § 6. Forbod mot forskjellsbehandling

Ved behandling av saker etter lova her eller i andre tilfelle der det blir gitt tilgang til informasjon, er det ikkje høve til noka slags forskjellsbehandling mellom samanliknbare tilfelle eller til å avtale at nokon skal ha einerett på tilgang til informasjon. At ein førespurnad er sett fram av ei offentleg eller offentleg tilknytt verksemd, gir ikkje høve til forskjellsbehandling når formålet med førespurnaden ikkje har samanheng med dei offentlege gjeremåla til verksemda.

Forbodet i første ledd er ikkje til hinder for at det kan gjerast avtalar om einerett dersom det er nødvendig for å levere ei teneste i ålmenta si interesse. Det skal gjerast ei ny vurdering av grunngivinga for å gjere slike avtalar kvart tredje år. Avtalar om einerett som blir gjorde i medhald av leddet her, skal vere offentlege. Det kan ikkje gjerast avtalar om einerett til tilgang til informasjon som ålmenta etter føresegner i lov eller forskrift har eit rettskrav på å få innsyn i.

Den eksklusive relasjonen mellom Statens kartverk, Norsk eiendomsinformasjon og forhandlernettverket hviler tydeligvis på en argumentasjon om at dette er i ålmenta si interesse. Jeg har i dag gjort første forsøk på å skaffe denne argumentasjonen vil veie, men siden den ene personen som kan svare på det hos Statens Kartverk er ute av huset i dag må jeg vente til mandag i tolvtiden. Stay tuned.

En løsning på hvem som er hvem

Picture 2

I forhold til arbeidet med Origo har vi jobbet mye med navn og identitet. Igjennom mobilregistrering søker vi å holde identitetene til folk stabile slik at de ikke kan dukke opp i samtaler som flere personer samtidig. Vi ser behovet for pseudonymitet i noen sammenhenger, men kan konstatere at dette som oftest brukes til uansvarlig oppførsel og ikke verdifull varsling.

For de som vil, tilbyr vi å gjøre et oppslag mot telefonkatalogen for å verifisere at de ikke går under falskt navn. Denne mekanismen vil imidlertid aldri virke for alle ettersom mange har mobilttelefon fra arbeidsgiver som ikke er oppført. Vi har derfor de siste seks månedene jobbet med å få til en bedre måte å verifisere identiteten til de brukerne som vil skilte at de går under sitt eget navn. Christian hos oss har ringt til Lindorff (dyrt, tilbyr bare verfisering på fødselsdato), skatteetaten (snakket med 7-10 ansatte, men ingen kunne hjelpe), banker og andre, men ingen har kunnet fortelle oss hvem vi skulle henvende oss til. Vi fikk et lite gjennombrudd da vi isteden gikk igjennom EDB Infobank som tilbyr koblingen til folkeregisteret. De kunne informere om at man måtte søke Sentralkontoret for folkeregistrering og at det var strengt behovsprøvd. Det viser seg at EDB Infobank tilbyr en kobling til folkeregisteret hvor vi slipper å holde personsensitive data om folk, men bare kan sende videre f.eks navn og personnummer og få tilbake om de er i overenstemmelse. Oppslaget koster 50 øre. I dag fikk vi svaret på søknaden og den ble innvilget.

Igjen viser det seg at mekanismene eksisterer, både som teknologi og som saksbehandling, men krever kunnskap om hvor man skal gå og hvem man skal snakke med.

Offentlig informasjon

Følges av 55 medlemmer.

Vi ser på gjenbruk av informasjon fra det offentlige i journalistisk praksis. Dette byr ofte på en del praktiske utfordringer ettersom denne informasjonen ikke alltid er like offentlig. Mer om sonen

Origo Offentlig informasjon er en sone på Origo. Les mer
Annonse