Statistics Finland opened a GitHub repository

The Open Knowledge Festival in Helsinki has been so far inspiring experience. There would be many new ideas to be reported and shared, but in short time I want to share one.

The Statistics Finland (national statistics authority) have started to share open source code in github! I met the developer Jussi Arpalahti who works for the statistics authority and he explained to me that the idea is to share code that facilitates the usage of already open statistical data. Statistics Finland is supporting this years Apps4Finland innovation contest. With published open source code examples and other tools they want to support the participants of the Apps4Finland as well as all other users of statistical data – says Arpalahti.

As far as I know this is the first time that some Finnish public sector body sets up a github repository and starts building a open source community. I would love to see more this kind of activity. It is not only about publishing open data, but also helping the people to put the data into action (see the theme of the OKfest – Open Knowledge in Action )

The first published python code anables easy access to the data resources that have been published and lisenced openly by Statistics Finland. At the moment those data sets are available only in PX -format, but soon there will be XDF (XML based standard for statistical information) and CSV -formats available. Available Data sets are also linked to the fi.datahub.org catalogue.

Futere plans are to enter more open code examples that use statistical data to the github repository. For example code that would do searches on the statistical data would certainly be useful. Arpalahti says: “I will provide some examples, but I would be happy to collaborate with others who are interested in using statistical data – the data is saved in multidimensional tables (multidimensional observation matrix) which are slightly more complex to handle”.

Links:

Advertisements

Call for cases related to postal code data?

Kuva: frollein2007 (Flickr)

I am looking for international links / case studies / etc. related to opening the postal coda data. Please, if you know wny relevant resources add them to the comments and if you don’t know, but might know someone who knows, pass her the link of this blog post.

The reason why I am asking is that the Finnish Ministry of Transportation and communications has set up a working group to improve the transparency and openness of the postal code- and address registry systems (see the translated ministry press release below) and I hope to be able to support the working group with relevant information from elsewhere.

Example of resources that I found:

Please send me more! Also older and from different countries, doesn’t need to involve any law suits… also easy cases (if those exist) on how postal code data got opened are wellcome.


Improving the transparency and openess of the Finnish postal code- and address registry systems

Original press release of the ministry (in Finnish)
Working group is set for the period: 01.06.2012-15.02.2013
Working group members

Role of the working group is to find out, how the transparency of postal code system and address registry, could be improved. Its role is to determine how the transparency of these registries can be improved so that the databases could be used for example in the development of new services.

The working group must assess whether it would be appropriate to transfer the maintenance of the postal zip code system away from the publicly own postal company to the Communications Regulatory Authority and the financial implications and necessary legislative actions of such change. The working will make proposals on how to improve the transparency of the postal- and address registries and propose related legislative and other needed actions. The working group will also review the possible effects of proposals to the different stakeholders.

The working group’s mandate is based on the Katainen’s (current prime minister) Government programme, which states that “information resources produced using public funding will be opened up for public and corporate access”. The postal code system and the address register are two key information systems for the society, the possibilities for more open exploitaiton of these systems will be explore by the working group. The aim is that the systems would serve better, for example, new players and operators.

Salamyhkäinen työryhmä pohtii postinumerojärjestelmän avaamista

Kuva: frollein2007 (Flickr)

Liikenne- ja viestintäministeriö on asettanut 28.5.2012 työryhmän selvittämään, kuinka yhteiskunnan kahden perustietojärjestelmän, postinumerojärjestelmän ja osoiterekisterin, avoimuutta voitaisiin parantaa. Loistava juttu, että tätä äärimmäisen tärkeää asiaa vihdoinkin pohditaan!

Tieto siitä, mikä osoite on milläkin postinumeroalueella ja postinumeroalueiden rajat ovat äärimmäisen monikäyttöiden ja taloudellisen toiminnan kannalta tärkeä tietovaranto, joka pitäisi ehdottomasti olla kaikkien vapaasti käytettävissä. Yhteiskuntataloudellisesti katsottuna postinumerodata kärsii nykyisin kroonisesta vajaakäytöstä, koska se on maksullista (ks. Itella postinumerotuotteet). Väärien osoitetietojen takia hukkaantuu valtava määrä ihmisten ja yritysten aikaa ja rahaa puhumattakaan siitä, mitkä kaikki postinumeroiden luovemmat käyttötarkoitukset jäävät toteutumatta.

Tieto työryhmästä tuli itselleni sähköpostitse keskellä kuuminta kesälomakautta noin kuukausi asettamispäätöksen jälkeen! Pikaisella googlettamisella työryhmästä ei löydy enempää tietoa, kuten esimerkiksi ryhmän kokoonpano, eikä sitä ole mainittu LVM:n työryhmät, tai postitoiminta -sivuillakaan. Sähköpostin saatteessa sentään toivotaan, että viestiä jaettaisiin eri toimijoille ja foorumeille, jotka voisivat olla kiinnostuneita asiasta, joten teen nyt työtä käskettyä.

Hei,

Liikenne- ja viestintäministeriö on asettanut 28.5.2012 työryhmän selvittämään, kuinka yhteiskunnan kahden perustietojärjestelmän, postinumerojärjestelmän ja osoiterekisterin, avoimuutta voitaisiin parantaa.

Työryhmän toimeksianto pohjautuu hallituksen hallitusohjelmassa tekemään linjaukseen, jonka mukaan julkisin varoin tuotettuja tietovarantoja avataan kansalaisten ja yritysten käyttöön. Postinumerojärjestelmä ja osoiterekisteri ovat yhteiskunnan keskeisiä tietovarantojärjestelmiä, joiden avoimempaa hyödynnettävyyttä pyritään nyt kartoittamaan.

Työryhmän tehtävänä on selvittää, miten postinumerojärjestelmän ja osoiterekisterin avoimuutta voidaan parantaa siten, että järjestelmiä koskevia tietokantoja voitaisiin hyödyntää esimerkiksi uusia palveluja kehitettäessä. Tavoitteena on, että järjestelmät palvelisivat paremmin esimerkiksi uusia toimijoita ja operaattoreita.

Työryhmän on arvioitava, olisiko tarkoituksenmukaista siirtää postinumerojärjestelmän ylläpito postiyritykseltä Viestintävirastolle ja sen aiheuttamia taloudellisia vaikutuksia sekä tarvittavia lainsäädäntötoimia. Työryhmän on tehtävä ehdotukset postinumero- ja osoitetietorekisterin avoimuuden parantamiseksi ja niihin liittyvistä lainsäädäntö- ja muista tarvittavista toimista. Työryhmän on arvioitava myös postinumerojärjestelmän siirron ja avoimuuden parantamista koskevien ehdotusten mahdollisia vaikutuksia eri toimijoille.

Työryhmän toimikausi päättyy 15.2.2013. Väliraportti postinumerojärjestelmän mahdollisesti siirrosta Viestintävirastoon on annettava 30.11.2012 mennessä.

Työryhmä on kiinnostunut kuulemaan,

1) millaisia tarpeita eri toimijoilla on postinumerojärjestelmän ja osoiterekisterin hyödyntämiseksi;
2) onko toimijoilla ollut ongelmia sen vuoksi, että järjestelmät eivät ole olleet riittävällä tavalla hyödynnettävissä;
3) mahdollisia kehittämisehdotuksia siitä, kuinka järjestelmien avoimuutta voitaisiin kehittää;
4) millainen merkitys järjestelmillä on eri toimijoille ja millainen merkitys niiden avoimemmalla hyödynnettävyydella on / voisi olla toimijoille.

Vastaukset pyydetään toimittamaan 15.8. mennessä osoitteeseen elina.thorstrom[a]lvm.fi (puh. 0295 342 393).

Työryhmä kuulee alkusyksystä eri toimijoita asian tiimoilta. Jos teillä on halukkuutta tulla kertomaan tarkemmin näkemyksiänne työryhmälle, kiinnostuneet voivat olla yhteydessä myös tältä osin allekirjoittaneeseen. Tätä viestiä voi jakaa eteenpäin kaikille, jotka voisivat olla kiinnostuneita kertomaan työryhmälle näkemyksiään.

Kommentteja julkishallinnon tietoluovutusten periaatteisiin

Kommentoidaan kollektiivisesti Valtiovarainministeriön julkaisema Julkishallinnon tietoluovutusten periaatteet ja käytännöt -dokumentti. Lyhyt osoite Google Docsissa kommentoitavana olevaan dokumenttiin: http://bit.ly/avoindata_periaatteet_vm (tätä saa levittää!) Täällä myös kommentointiin ja aiheeseen liittyvä Facebook-keskustelu.

Valtiovarainministeriö julkaisi 9.2.2012 kaksivuotisen työryhmätyön tuloksena dokumentin "Julkishallinnon tietoluovutusten periaatteet ja käytännöt "

Ajatuksena on koostaa Finnish Open Data Ecosystem (Facebook) ja #avoindata (Twitter) seuraajien ja muiden kiinnostuneiden porukalla kommentit Julkishallinnon tietoluovutusten periaatteet ja käytännöt -dokumenttiin (PDF 88 sivua).

Dokumentti on alunperin julkaistu vain PDF -muodossa ja siitä on avattu keskustelu otakantaa.fi -alustalla (kts. VM tiedote 9.2.2012 ). Otakantaa.fi -alusta soveltuu kuitenkin heikosti tekstidokumenttien kommentointiin ja yhteisölliseen kannanmuodostukseen. Tein 12.2.2012 Valtiovarainministeriölle tietopyynnön dokumentin saamiseksi avoimessa tiedostomuodossa ja muutamaa päivää myöhemmin se toimitettiin muodossa, jonka pystyi laittamaan Google Docsiin kommentoitavaksi.

Prosessi
Lausunnot tulee jättää viimeistään 15.3.2012 mennessä (silloin sulkeutuu Otakantaa.fi kysely aiheesta). Prosessi etenee siten, että tähän Google Docsiin kuka tahansa voi kommentoida. Kertyneiden kommenttien pohjalta muotoillaan yhteenveto, joka toimitetaan määräaikaan mennessä Valtiovarainministeriöön. Kaikki halukkaat saavat olla yhteenvedon allekirjoittajina.

Valtiovarainministeriön kannustus kommentoijille

“Saaduista kommenteista ja lausunnoista tehdään raportin rinnalle oma yhteenveto VM:n päätöksenteon lisätueksi ja jatkokehittämistä varten. Nyt julkaistu raportti on työryhmän ehdotus, jota ei enää ole tarkoitus muuttaa, sillä työryhmäkin on lopettanut työskentelynsä.”

Tosi hienoa, jos saamme kommenttinne joko otakantaa.fi:ssä tai suoraan. Uskon että saamme niistä hyvää aineistoa jatkoon.

Victory!! – Finnish map data and aerial photographs will be opened

Last week I reported about at the time ongoing “to open or not to open” -battle about the Finnish National Land Survey (NLS) data. NLS wanted to mage a huge data opening, but the ministry of Finance oppsed it.

Today the story got positive ending, the mapping data will be free of charge!

Below quick and partial translation from the press release 21/12/2011 of the Ministry of Agriculture and Forestry (see the Google translated version of the original press release).

The ministry of Agriculture and Forestry has issued a new regulation today 21/12/2011 about the National Land Survey charges for the year 2012. Aerial photographs and laser scanning data, as well as the terrain database becomes free of charge next year. The new regulation is expected to significantly boost the use of map data, and it will come into force on first of May 2012.

The most important datasets in this opening are the terrain database and the aerial photos and elevation models which are used to maintain the terrain database. The Terrain Database is comprehensive data describing the Finnish terrain. It includes information such as transport corridors, buildings, administrative boundaries, name data (places), hydrology and topography.

The biggest national newspaper Helsingin Sanomat reported the case immediately. According to the newspaper: “The case was greatly influenced by the fact that open data advocates made big noise about the issue.”. I agree that without publicity the end result might have been totally different. Big thanks for all who participated in “making the big noise”.

Petri Kola and Antti Poikola celebrating the year of Open Data in Finland!

The National Land Survey -case in Finland

In Finland the open data movement is following the first big “to open or not to open” -battle. Week ago I blogged about this case in Finnish and the topic was quickly noticed in the media including the biggest Finnish news paper Helsingin Sanomat.

Image: Left detailed map, right detailed aerial image. The National Land Survey want’s to open the detailed terrain database and other big geodata resources for free of charge, but the budget department of the Ministry of Finance opposes the proposal.

The Finnish National Landsurvey (NLS) wants to open several databases, such as the terrain database, detailed raster maps, and digital aerial images for free of charge to all users. NLS bases it’s proposal to the prime minister Jyrki Katainen’s Government programme (see the quotes from the Gov. programme at the end of this post) and spesific government resolution about public data.

Currently NLS collects fees for data sales about 5.0 M€ per year. As a result of the NLS proposal the direct revenue is expected to decline, so that next year it would be only 3.8 M€. At the same time also the costs would fall significantly.

The NLS charges are set in the legal regulation. The ministry of Agriculture and Forestry (NLS works under this ministry) made an official proposal to change the regulation so that it would allow the NLS to open the datasets free of charge. The proposal got strong support from other ministries and stakeholder. Only the Budget Department from the Ministry of Finance is opposing the proposal.

Original documents:
Ministry of Agriculture and Forestry 2011: Request for comments about the Ministry of Agriculture and Forestry’s suggestion to change the regulation of the National Land Survey fees (11.11.2011 2390/13/2011)

“… suggests that moment §5b will be added to the regulation. According to the moment the National Land Survey would not charge fees for the usage of the terrain data. When the data transfer costs are low, could also transfer the costs be waived. Such low cost transfers would be, for example when pre-formed files are downloaded via electronic self-service as well as web services that are based on standardized interfaces and operate without service level guarantees for limited amount of users.”

Ministry of Finance 2011 – Reply (VM/1865/00.00.05/2011) to the Ministry of Agriculture and Forestry’s request for comments (11.11.2011 2390/13/2011)

“Wider opening of the Terrain Database for citizens and enterprises is to be welcomed, but it does not mean that the right to use the terrain data in the future would be free of charge or below cost recovery. The Ministry of Finance does not support such a change … “

Media coverage:
All the articles below are in Finnish, I only translated the headlines.


Programme of Prime Minister Jyrki Katainen’s Government (22 June 2011)

Economic, employment and innovation policy (p. 86)
“Information resources produced using public funding will be opened up for public and corporate access. The goal is to make digital data materials managed by the public sector available to citizens, companies, enterprises and organisations, authorities, and for research and education purposes in an easily reusable format via information networks.”

Policy approach to local government and development of public administration (p. 138)
“Public data will be brought into the public domain in a computer-readable format and available for further processing.”

Avoimen datan EU -strategia julki tänään!

Samaan aikaan, kun Suomessa Valtiovarainministeriön budjettiosasto yrittää käsittämättömin perustein estää julkisen datan avaamisen maksuttomaan käyttöön niin EU:n komission varapuuheenjohtaja Neelie Kroess sanoo: “Datanne arvo kasvaa, jos annatte sen yleiseen käyttöön”.

Katso pidempi video lehdistötilaisuudesta (nähtävillä vain viikon verran)

Euroopan komission tämänpäiväisessä lehdistötilaisuudessa (ks. lehdistötiedote 12.12.2011) julkistettiin todella merkittävä Eurooppalainen avoimen datan strategia. Merkittävää on jo sekin, että nyt vihdoin puhutaan EU tasolla avoimesta datasta, eikä vain PSI:stä (Public Sector Information). Strategian keskeiset kolme suuntaa ovat:

1# Komissio näyttää ensin esimerkkiä asettamalla tietonsa maksutta yleisön saataville uuden portaalin kautta. Tämä tarkoittaa, että 2012 keväällä julkaistaan EU:n oma datakatalogi (vertaa data.gov.uk), jonka kautta saa aluksi EU:n toimielinten ja viranomaisten datavarantoja ja joka myöhemmin tämä portaali voi toimia EU-maiden datakatalogien agregaattorina.

2# Toiseksi luodaan avointa dataa koskevat tasapuoliset toimintaedellytykset kaikkialla EU:ssa. Komissio ehdottaa julkisen sektorin hallussa olevien tietojen uudelleenkäytöstä vuonna 2003 annetun direktiivin (PSI -direktiivi) ajantasaistamista.

Ajantasaistamiselle on todella tarvetta, sillä nykyinen direktiivi on ylevistä tavoitteistaan huolimatta ollut hampaaton. Esimerkiksi Suomessa Valtiovarainministeriö kuittasi direktiivin nykyversion yhdellä lehdistötiedotteella vuonna 2005 “Suomen lainsäädäntö täyttää hyvin heinäkuun alussa voimaan tulevan julkisen sektorin tiedon uudelleenkäyttöä koskevan direktiivin tavoitteet ja velvoitteet.”

3# Kolmas osio on edellä mainittujen toimenpiteiden tukeminen 100 miljoonalla eurolla, jotka myönnetään vuosina 2011–2013 datankäsittelyteknologian parantamista koskevaan tutkimukseen. Tästä minulla ei ole vielä tarkempaa tietoa, mutta selvittelen asiaa.

Neelie Kroess jatkaa: “Aloittakaa nyt: käyttäkää tätä mahdollisuutta yhdistää voimanne muiden johtavien toimijoiden kanssa, jotka jo hyötyvät datan avoimuudesta. Veronmaksajat ovat jo kustantaneet nämä tiedot. Vähin mitä voimme tehdä, on antaa ne takaisin niille, jotka haluavat käyttää tietoja uusilla tavoilla auttaakseen ihmisiä sekä luodakseen työpaikkoja ja kasvua”

Tämän valossa ei voi muuta todeta, kuin, ettei ole mitään syytä, minkä takia Suomen pitäisi noudattaa VM:n budjettiosaston linjauksia. Budjettiosaston virkamiehet saavat halutessaan jäädä poteroonsa, mutta avoimen datan asia on nyt nostettava sieltä poliittiseen keskusteluun. Effi julkaisikin aiheesta aamulla avoimen kirjeen ministeri Urpilaiselle. Vastausta odotellessa.

Open Knowledge Foundationin blogissa on tiivistelmä julkistuksen keskeisistä kohdista.