Archiv für die ‘Technisches’ Kategorie

Visualizing history with automated event maps

German summary: Fred Johansen hat eine Webseite erstellt mit der sich, basierend auf Daten in Wikidata, einfach historische Ereignisse zeitlich und räumlich einordnen lassen. Hier erzählt er über die Seite und seine Arbeit daran.

The following post is a guest blog by Fred Johansen about EventZoom.

Just as today’s online maps are being continually updated, historical maps can be automatically generated and updated to reflect our ever-evolving knowledge about the past. As an example, please allow me to tell you about a project that I’m working on. Recently I implemented an event visualization site which accepts geolocation data combined with info about time spans of events, and renders the input as points on a map zoomable in time and space. Each such point is an object with a title, description, latitude / longitude and a time, as well as a reference back to its source. But what source should be used to fill this framework with data? Even though this is a tool born outside of the Wikimedia world, so far the best content I’ve found for it is Wikidata – more specifically, the Wikidata API. By importing data about events that are part of larger events all defined in Wikidata, with the restriction that they contain a start or end date as well as a location, that’s all the data that’s needed for representation in this kind of dynamic historical map.

Extracting data from the Wikidata API works like a charm. Sometimes, of course, some data might be missing from Wikidata. For example, an event may contain an end date, but no start date. So, what’s fantastic about Wikidata is that it’s easy to simply extend its data by adding the missing fact. In addition to helping in increasing the data of Wikidata, this also improves the overall possibilities for visualization.

This very activity serves as a positive feedback loop: The visualization on a map of, for example, the events of a war makes errors or omissions quite obvious, and serves as an incentive to update Wikidata, and finally to trigger the re-generation of the map.

The site I’m referring to here is – currently in Beta and so far containing 82 major event maps and growing. You can extend it yourself by triggering the visualization of new maps: When you do a search for an event, for example a war, and the Search page reports it as missing, you can add it directly. All you need is its Q-ID from Wikidata. Paste this ID into the given input field, and the event will be automatically imported from the Wikidata API, and a map automatically generated – with the restriction that there must exist some ‘smaller’ events that contain time & location data and are part (P361) of the major event. Those smaller events become the points on our map, with automatic links back to their sources. As for the import itself, for the time being, it also depends on, but I expect that will change in the future.

Although you can always click Import to get the latest info from Wikidata, an automatic update is also in the pipeline, to trigger a re-import whenever the event or any of its constituent parts have changed in Wikidata. As for other plans, at the very least our scope should encompass all the major events of history. Here, wars represent a practical starting point, in so far as they consist of events that are mostly bounded by very definite time spans and locations, and so can be defined by those characteristics. The next step would be to extend the map visualization to other kinds of events – as for Wikidata, it could be interesting to visualize all kinds of items that can be presented with a combination of geolocations and temporal data, and that can be grouped together in meaningful ways.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (3 Bewertungen, Durchschnitt: 3,33 von 5)

Tech on Tour: Technikunterstützung für die Communities vor Ort

In diesem Jahr geht die Technik auf Touren. In Zusammenarbeit mit den Communities sollen in Workshops vor Ort Rahmenbedingungen entwickelt und diskutiert werden, wie Software-Entwicklung eingesetzt werden kann, um Bedürfnisse von Freiwilligen zu erfüllen.

Dabei geht es nicht nur um kleine Nicklichkeiten im Alltag mit der Wiki-Software, die im Englischen auch gerne als Paper cut bugs bezeichnet werden und oft schnell behoben sind. Es soll auch groß gedacht werden: Wo wollen wir (technisch) hin? Und wie können Bedürfnisse strukturiert aufgenommen und transparent abgearbeitet werden?

Technik, die begeistert auf dem Weg zu den Communities

Weiterlesen »

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (7 Bewertungen, Durchschnitt: 5,00 von 5)

EnthusiastiCon: Eine Konferenz über die Begeisterung für das Programmieren

Vom 19. bis zum 21. Juni veranstaltet Wikimedia Deutschland im Rahmen von eine Konferenz für die Community der Programmiererinnen und Programmierer mit dem Namen EnthusiastiCon. In einer Reihe von kleinen, 10-minütigen Vorträgen geht es um Begeisterung für das Schreiben von Software: Interessantes, Seltsames und Schönheit im Code und schlaue Lösungen für ungewöhnliche Probleme. Vorträge können eingereicht werden zu den unterschiedlichsten Themen wie zum Beispiel hardwarenahe Programmierung bei Embedded Devices, Web-Entwicklung oder Kindern beizubringen zu programmieren. Wichtig ist nur, dass es begeistert und diese Begeisterung in 10 Minuten auf das Publikum übertragen werden kann.

Die Einreichungsphase für die EnthusiastiCon beginnt ab sofort. Der Einreichungsprozess ist – in der Konferenzsprache Englisch – auf der Konferenzseite erläutert.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (2 Bewertungen, Durchschnitt: 4,00 von 5)

Improving data quality on Wikidata – checking what we have

German summary: Ein Team von Studenten des Hasso Plattner Instituts in Potsdam arbeitet aktuell mit Wikimedia Deutschland an Werkzeugen um die Datenqualität auf Wikidata zu verbessern und zu sichern. In diesem Beitrag stellen sie ihre beiden Projekte vor: die Prüfung von Wikidatas Daten auf Konsistenz mit sich selbst sowie die Prüfung von Wikidatas Daten gegen andere Datenbanken.


 Hello, we are the Wikidata Quality Team. We are a team of students from Hasso Plattner Institute in Potsdam, Germany. For our bachelor project we are working together with the Wikidata development team to ensure high quality of the data on Wikidata.

Wikidata provides a lot of structured data open to everyone. Quite a lot. Actually, they are providing an enormous amount of data approaching the mark of 13.5 million items, each of which has numerous statements. The data got into the system by diligent people and by bots, and neither people nor bots are known for infallibility. Errors are made and somehow we have to find and correct them. Besides erroneous data, incomplete data is another problem. Imagine you are a resident of Berlin and want to improve the Wikidata item about the city. You go ahead and add its highest point (Müggelberge), its sister cities (Los Angeles, Madrid, Istanbul, Warsaw and 21 others) and its new head of government (Michael Müller). As you do it the correct way, you are using qualifiers and references. Good job, but did you think of adding Berlin as the sister city of 25 cities? Although the data you entered is correct, it is incomplete and you have—both unwilling and unknowingly—introduced an inconsistency. And that’s only, assuming you used the correct items and properties and did not make a typo while entering a statement. And thirdly, things change. Population numbers vary, organizations are dissolved and artists release new albums. Wikidata has the huge advantage that this change only has to be made in one place, but still: Someone has to do it and even more importantly, someone has to become aware of it.

Facing the problems mentioned above, two projects have emerged. People using Wikidata are adding identifiers of external databases like GND, MusicBrainz and many more. So why not make use of them? We are developing a tool that scans an item for those identifiers and then searches in the linked databases for data against which it compares the items statements. This does not only help us verify Wikidata’s content and find mismatches that could indicate errors, but also makes us aware of changes. MusicBrainz is a specialist for artists and composers, GND for data related to people, and these specialists‘ data is likely to be up to date. Using their databases to cross-check, we hope to be able to have the latest data of all fields represented in Wikidata.

The second projects focuses on using constraints on properties. Here are some examples to illustrate what this means:

  • Items that have the property “date of death” should also have “date of birth“, and their respective values should not be more than 150 years apart
  • Properties like “sister city“ are symmetric, so items referenced by this statement should also have a statement “sister city“ linking back to the original item
  • Analogously, properties like “has part” and “part of” are inverse and should be used on both items in a lot of cases
  • Identifiers for IMDb, ISBN, GND, MusicBrainz etc. always follow a specific pattern that we can verify
  • And so on…

Checking these constraints and indicating issues when someone visits an items page, helps identify which statements should be treated with caution and encourages editors to fix errors. We are also planning to provide ways to fix issues (semi-)automatically (e.g. by adding the missing sister city when he is sure, that the city really has this sister city). We also want to check these constraints when someone wants to save a new entry. This hopefully prevents errors from getting into the system in the first place.

That’s about it – to keep up with the news visit our project page. We hope you are fond of our project and we appreciate your feedback! Contact information can also be found on the project page.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (11 Bewertungen, Durchschnitt: 5,00 von 5)

Platypus, a speaking interface for Wikidata

PPP (Projet Pensées Profondes)  is a student project aiming to build an open question answering platform. Its demo, Platypus ( is massively based on Wikidata content. 

At the École normale supérieure de Lyon we have to do a programming project during the first part of your master degree curriculum. Some of us were very interested in working on natural language processing and others on knowledge bases. So, we tried to find a project that could allow us to work on both sides and, quickly, the idea of an open source question answering tool came up.
This tool has to answer to a lot of different questions so one of the requirements of this project was to use a huge generalist knowledge base in order to have a usable tool quickly. As one of us was already a Wikidata contributor and inspired by the example of the very nice but ephemeral Wiri tool of Magnus Manske, we quickly chose to use Wikidata as our primary data source.

Weiterlesen »

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (3 Bewertungen, Durchschnitt: 5,00 von 5)

Platypus, eine Schnittstelle zu Wikidata in natürlicher Sprache

PPP (Projet Pensées Profondes)  ist ein Projekt von Studierenden mit dem Ziel eine offene Frage-Antwort-Plattform zu bauen. Die dabei entstandene Demo-Anwendung Platypus ( stützt sich in erster Linie auf Inhalte von Wikidata. In einem Gastbeitrag berichten die Menschen hinter Platypus von ihrem Projekt, Wikidata das Sprechen beizubringen. 

An der École normale supérieure de Lyon steht im ersten Teil des Masterstudiengangs ein Software-Praktikum auf dem Plan. Einige von uns waren an natürlicher Sprachverarbeitung interessiert, andere an Wissensdatenbanken. Wir suchten also ein Projekt, an dem beide Seiten arbeiten konnten und kamen recht schnell auf die Idee einer offenen Frage-Antwort-Plattform. Dieses Werkzeug sollte eine Menge unterschiedlicher Fragen beantworten können und brauchte deshalb eine einen riesigen Datenfundus an Weltwissen, damit wir schnell loslegen konnten. Jemand bei uns war schon Wikidata-Editor und inspiriert von dem schicken, aber mittlerweile nicht mehr gepflegten Wiri-Tool von Magnus Manske stand schnell fest, dass wir Wikidata als primäre Datenquelle nutzen wollten.

Weiterlesen »

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (2 Bewertungen, Durchschnitt: 5,00 von 5)

Asking Ever Bigger Questions with Wikidata

German summary: Maximilian Klein benutzt Wikidata als als Datenfundus für statistische Auswertungen über das Wissen der Welt. In seinem Artikel beschreibt er, wie er in Wikidata nach Antworten auf die großen Fragen sucht.

Asking Ever Bigger Questions with Wikidata

Guest post by Maximilian Klein

A New Era

Simultaneous discovery can sometimes be considered an indication for a paradigm shift in knowledge, and last month Magnus Manske and I seemed to have both had a very similar idea at the same time. Our ideas were to look at gender statistics in Wikidata and to slice them up by date of birth, citizenship, and langauge. (Magnus‘ blog post, and my own.) At first it seems like quite elementary and naïve analysis, especially 14 years into Wikipedia, but only within the last year has this type of research become feasible. Like a baby taking its first steps, Wikidata and its tools ecosystem are maturing. That challenges us to creatively use the data in front of us.

Describing 5 stages of Wikidata, Markus Krötsch foresaw this analyis in his presentation at Wikimania 2014. The stages which range fromKnow to Understand are: Read, Browse, Query, Display, and Analyse (see image). Most likey you may have read Wikidata, and perhaps even have browsed with Reasonator, queried with autolist, or displayed with histropedia. I care to focus on analyse – the most understand-y of the stages. In fact the example given for analyse was my first exploration of gender and language, where I analysed the ratio of female biographies by Wikipedia Language: English and German are around 15% and Japanese, Chinese and Korean are each closer to 25%.

Weiterlesen »

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (5 Bewertungen, Durchschnitt: 4,80 von 5)

Wir lieben Freie Software

Wie schon im letzten Jahr begeht die Free Software Foundation Europe am 14. Februar den „I love Free Software-Tag“. Bei Wikimedia Deutschland entstehen die Arbeiten an den Softwareprojekten MediaWiki und Wikidata ganz selbstverständlich und von Anfang an als Freie Software unter Freien Lizenzen. Für uns ist klar, dass wir Freies Wissen nicht nur in Form von Artikeln in Projekten wie der Wikipedia teilen wollen – Freies Wissen gibt es auch in Form von Code. Es ist uns wichtig, Freiheit in Form von Software zu schaffen und zu teilen. Thiemo Mättig, Wikipedianer und bei Wikimedia Deutschland angestellt als Software-Entwickler, hat seine persönlichen Gründe dafür aufgeschrieben und erklärt, warum er Freie Software liebt.

Frei für alle, wer macht denn sowas?

Seit nunmehr einer Dekade erkläre ich Wikipedia, und die Antwort ist immer die Selbe: „Wer schreibt denn die Artikel?“ Leute wie du und ich. „Und wer prüft die Fakten?“ Leute wie du und ich. „Und wer programmiert die Software?“ Leute wie du und ich.

Und wie ist das möglich?“ Weil alles frei ist, offen, transparent und nachvollziehbar, von den sozialen Prozessen in den Communitys der verschiedenen Wikimedia-Schwesterprojekte bis zur Software tief drin in dem, was ich inzwischen Wikimedia-Universum nenne. Von den Artikelschreibern in den Wikipedia-Sprachversionen über die Faktensammler im Wikidata-Projekt bis hin zu den Tüftlern und Bastlern in und an der MediaWiki-Software und ihren zahllosen Erweiterungen sind all die verschiedenen Benutzergruppe durch eine große Idee verbunden: Was wir tun, ist öffentlich und frei. Freie Software.

Diese Art der Freiheit ist etwas, das Weblog-Schreibern, Facebook- und Twitter-Benutzern vertraut ist, wenn sie etwas teilen. Die Übertragung dieser Idee auf die Daten- und Software-Welt ist immer noch etwas, das Erstaunen auslöst. „Wenn jeder meine Daten oder meine Software auf seine Bedürfnisse zuschneiden kann, ohne mich zu fragen“, so hört man, „dann ist meine Arbeit doch nichts wert.“ Wie erklärt man, dass diese Frage falsch gestellt ist?

Freie Software steigert den Wert für alle

Ich glaube daran, dass frei im Sinne Freier Software zu sein keine Wertminderung, sondern eine Wertsteigerung bedeutet. Die Freiheit, Einblick zu erlangen, zu Verändern, zu Verbessern und weiter zu geben ermöglicht etwas, das mit manchmal verächtlich „totes Holz“ genannten Büchern oder der Zeitung von gestern nicht denkbar ist: Wissen wird lebendig, und diese Lebendigkeit kann so viel mehr wert sein als die Hoheit über eine Datensammlung oder die Weiterentwicklung einer Software inne zu haben. Projekte wie MediaWiki, die Wiki-Software hinter der Wikipedia, oder das Wikidata-Projekt zeigen das.

Wikidata geisterte als Idee seit den Anfängen der Wikipedia durch die Köpfe einiger Vorreiter. Vor etwas mehr als zwei Jahren fand die Idee eine Heimat in Berlin und lockte mich stetig: Eine Fakten-Sammlung mit inzwischen 13 Millionen Einträgen, aufgebaut auf einer speziell dafür geschaffenen Datenbank-Software für lose strukturiertes Faktenwissen. Das, was seit gut zwanzig Jahren als „semantisches Web“ postuliert wird, fand ich in Wikidata so praxistauglich geerdet, dass es für mich endlich greifbar wurde. Große Pläne in kleinen, überschaubaren Schritten. Schnelle Entwicklungs-Zyklen. Unmittelbare Einflussnahme. Und ausschließlich Freie Software, die auch mir als Entwickler die Sicherheit gibt, dass keine von mir geschriebene Zeile Quelltext ungesehen in Vergessenheit geraten sondern sich verbreiten wird, gesehen wird und ja, auch verändert wird, oft genug bis zur Unkenntlichkeit. Doch wie bei jedem Enzyklopädie-Artikel in der Wikipedia, dessen Entwicklung ich angestoßen oder begleitet habe, setzt sich auch in der Softwareentwicklung die Überzeugung durch, dass nicht die Wortwahl zählt oder die Wahl eines Algorithmus sondern die Idee, die mein Beitrag eingebracht hat. Wikidata, deren Softwareentwicklung ich seit inzwischen einem Jahr in Vollzeit mit voran treibe, ist dank Freier Software lebendiger als jedes Softwareprojekt, an dem ich je beteiligt war. Freie Software gibt mir die Gewissheit, an etwas teilzuhaben, das größer ist als ich es überschauen kann.

Darum liebe ich Freie Software.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (9 Bewertungen, Durchschnitt: 4,11 von 5)

Scaling Wikidata: success means making the pie bigger

German summary: Wikidata wird größer und erfolgreicher. Im nächsten Jahr müssen wir Strategien und Werkzeuge entwickeln um Wikidata zu skalieren. In diesem Beitrag lege ich meine Überlegungen dazu dar.


Wikidata is becoming more successful every single day. Every single day we cover more topics and have more data about them. Every single day new people join our community. Every single day we provide more people with more access to more knowledge. This is amazing. But with any growth comes growing pains. We need to start thinking about them and build strategies for dealing with them.

Wikidata needs to scale in two ways: socially and technically. I will not go into the details of technical scaling here but instead focus on the social scaling. With social scaling I mean enabling all of us to deal with more attention, data and people around Wikidata. There are several key things that need to be in place to make this happen:

  • A welcome wagon and good documentation for newcomers to help them become part of the community and understand our shared norms, values, policies and traditions.
  • Good tools to help us maintain our data and find issues quickly and deal with them swiftly.
  • A shared understanding that providing high-quality data and knowledge is important.
  • Communication tools like the weekly summary and Project chat that help us keep everyone on the same page.
  • Structures that scale with enough people with advanced rights to not overwhelm and burn out any one of them.

We have all of these in place but all of them need more work from all of us to really prepare us for what is ahead over the next months and years.

One of the biggest pressures Wikidata is facing now is organisations wanting to push large amounts of data into Wikidata. This is great if it is done correctly and if it is data we truly care about. There are key criteria I think we should consider when accepting large data donations:

  • Is the data reliable, trustworthy, current and published somewhere referencable? We are a secondary database, meaning we state what other sources say.
  • Is the data going to be used? Data that is not used is exponentially harder to maintain because less people see it.
  • Is the organization providing the data going to help keep it in good shape? Or are other people willing to do it? Data donations need champions feeling responsible for making them a success in the long run.
  • Is it helping us fix an important gap or counter a bias we have in our knowledge base?
  • Is it improving existing topics more than adding new ones? We need to improve the depth of our data before we continue to expand its breadth.

So once we have this data how can we make sure it stays in good shape? Because one of the crucial points for scaling Wikidata is quality of and trust in the data on Wikidata. How can we ensure high quality of the data in Wikidata even on a large scale? The key pieces necessary to achieve this:

  • A community that cares about making sure the data we provide is correct, complete and up-to-date
  • Many eyes on the data
  • Tools that help maintenance
  • An understanding that we don’t have to have it all

Many eyes on the data. What does it mean? The idea is simple. The more people see and use the data the more people will be able to find mistakes and correct them. The more data from Wikidata is used the more people will get in contact with it and help keep it in good shape. More usage of Wikidata data in large Wikipedias is an obvious goal there. More and more infoboxes need to be migrated over the next year to make use of Wikidata. The development team will concentrate on making sure this is possible by removing big remaining blockers like support for quantities with units, access to data from arbitrary items as well as good examples and documentation. At the same time we need to work on improving the visibility of changes on Wikidata in the Wikipedia’s watchlists and recent changes. Just as important for getting more eyes on our data are 3rd-party users outside Wikimedia. Wikidata data is starting to be used all over the internet. It is being exposed to people even in unexpected places. What is of utmost importance in both cases is that it is easy for people to make and feed back changes to Wikidata. This will only work with well working feedback loops. We need to encourage 3rd-party users to be good players in our ecosystem and make this happen – also for their own benefit.

Tools that help maintenance. As we scale Wikidata we also need to provide more and better tools to find issues in the data and fix them. Making sure that the data is consistent with itself is the first step. A team of students is working with the development team now on improving the system for that. This will make it easy to spot people who’s date of birth is after their date of death and so on. The next step is checking against other databases and reporting mismatches. That is the other part of the student project. When you look at an item you should immediately see statements that are flagged as potentially problematic and review them. In addition more and more visualizations are being built that make it easy to spot outliers. One recent example is the Tree of Life.

An understanding that we don’t have to have it all. We should not aim to be the one and only place for structured open data on the web. We should strive to be a hub that covers important ground but also gives users the ability to find other more specialized sources. Our mission is to provide free access to knowledge for everyone. But we can do this just as well when we have pointers to other places where people can get this information. This is especially the case for niche topics and highly detailed data. We are a part of an ecosystem and we should help expand the pie for everyone by being a hub that points to all kinds of specialized databases. Why is this so important? We are part of a larger ecosystem. Success means making the pie bigger – not getting the whole pie for ourselves. We can’t do it all on our own.

If we keep all this in mind and preserve our welcoming culture we can continue to build something truly amazing and provide more people with more access to more knowledge every single day.

Improving the data quality and trust in the data we have will be a major development focus of the first months of 2015.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (11 Bewertungen, Durchschnitt: 4,73 von 5)

Zwei Jahre Wikidata: Eine Feier mit Geschenken und einem Preis

“Wikidata team and painting” – work of a member of the Wikidata team as part of his employment. Licensed under CC BY-SA 4.0 via Wikimedia Commons

Letzte Woche feierte Wikidata seinen zweiten Geburtstag. Mit Wikidata sammeln Menschen Daten über die Welt (z. B. Einwohnerzahlen oder Geburtsdaten) in strukturierter Form und in mehreren hundert Sprachen. Diese Daten werden genutzt, um Wikipedia und deren Schwesterprojekte zu verbessern. Sie stehen aber darüber hinaus Allen zur freien Nachnutzung zur Verfügung. Mehr als 16.000 Nutzer der Wikidata-Community haben seit dem Start über 12,8 Millionen Einträge angelegt und mit Daten gefüllt – ehrenamtlich und kollaborativ wie im Schwesterprojekt Wikipedia. Die Arbeiten für die Software hinter Wikidata wurden von Wikimedia Deutschland begonnen und als offene Software kontinuierlich weiterentwickelt. Wikidata hat sich in den letzten zwei Jahren zu einem der erfolgreichsten Wikimedia-Projekte entwickelt und liegt bei der Anzahl der aktiven Benutzerinnen und Benutzer vor vielen Sprachversionen der Wikipedia.

Weiterlesen »

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (9 Bewertungen, Durchschnitt: 4,89 von 5)