Archiv für die ‘Technisches’ Kategorie



The Wikidata tool ecosystem

(Die deutsche Version dieses Artikels ist hier.)

The following is a guest post by Magnus Manske, active tool developer around Wikidata and author of the software that later evolved into MediaWiki.

Wikidata is the youngest child of the Wikimedia family. Its main purpose is to serve as a „Commons for factoids“, a central repository for key data about the topics on, and links between, the hundreds of language editions of Wikipedia. At time of writing, Wikidata already contains about 10 million items, more than any edition of Wikipedia (English Wikipedia currently has 4.2 million entries). But while, as with Commons, its central purpose is to serve Wikipedia and its sister projects, Wikidata has significant value beyond that; namely, it offers machine-readable, interlinked data about millions of topics in many languages via a standardized interface (API).

Such a structured data repository has long been a „holy grail“ in computer science, since the humble beginnings of research into artificial intelligence, to current applications like Google’s Knowledge Graph and Wolfram Alpha, and towards future systems like „intelligent“ user agents or (who knows?) the Singularity.

The scale of any such data collection is a daunting one, and while some companies can afford to pour money into it, other groups, such as DBpedia, have tried to harvest the free-form data stored in Wikipedia. However, Wikidata’s mixture of human and bot editing, the knowledge of Wikipedia as a resource, and evolving features such as multiple property types, source annotation, and qualifiers add a new quality to the web of knowledge, and several tools have already sprung up to take advantage of these, and to demonstrate its potential. A fairly complete list is available.

Views on Wikidata


Family tree of Johann Seabastian Bach

For a straight-forward example of such a tool, have a look at Mozart. This tool does not merely pull and display data about an item; it „understands“ that this item is a person, and queries additional, person-specific items, such as relatives. It also shows person-specific information that does not refer to other items, such as Authority Control data. Mozart’s compositions are listed, and can be played right on the page, if a file exists on Commons. To a degree, it can also use the language information in Wikidata, so you can request the same page in German (mostly).

Instead of looking only for direct relatives, a tool can also follow a „chain“ of certain properties between items, and retrieve an „item cluster“, such as a genealogical tree (pretty and heavy-duty tree for Mozart). The Wikidata family tree around John F. Kennedy contains over 10.000 people at time of writing. In similar fashion, a tool can follow taxonomic connections between species up to their taxonomic roots, and generate an entire tree of life (warning: huge page!).

These tools demonstrate that even in its early stages, Wikidata allows to generate complex results with a fairly moderate amount of programming involved. For a more futuristic demo, talk to Wiri (Google Chrome recommended).

Edit this item

Unsurprisingly to anyone who has volunteered on Wikimedia projects before, tools to help with editing are also emerging. Some have the dual function of interrogating Wikidata and displaying results, while at the same time informing about „things to do“. If you look at the genre of television series on Wikidata, you will notice that over half of them have no genre assigned. (Hint: Click on the „piece of pie“ in the pie chart to see the items. Can you assign a genre to Lost?).

When editing Wikidata, one usually links to an item by looking for its name. Bad luck if you look for „John Taylor“, for there are currently 52 items with that name but no discerning description. If you want to find all items that use the same term, try the Terminator; it also has (daily updated) lists with items that have the same title but no description.

Similarly, you can look for items by Wikipedia category. If you want some more complex filter, or want to write your own tool and look for something to ease your workload, there is a tool that can find, say, Operas without a librettist (you will need to edit the URL to change the query, though).

There are also many JavaScript-based tools that work directly on Wikidata. A single click to import all language links or species taxonomy from Wikipedia, find authority control data, declare the current item to be a female football player from Bosnia, or apply the properties of the current item to all items in the same Wikipedia category — tools for all of these exist.

This is only the beginning

While most of these tools are little more than demos, or primarily serve Wikidata and its editors, they nicely showcase the potential of the project. There might not be much you can learn about Archduke Ernest of Austria from Wikidata, but it is more than you would get on English Wikipedia (no article). It might be enough information to write a stub article. And with more statements being added, more property types (dates, locations) emerging, and more powerful ways to query Wikidata, I am certain we will see many, and even more amazing tools being written in the near future. Unless the Singularity writes them for us.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (3 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...

Wikidata auf der ganzen Welt

Die Möglichkeit Daten von Wikidata in ihren Artikeln einzubinden haben 11 Wikipedien bereits seit einem Monat. Vorgestern kam noch die englischsprachige Wikipedia hinzu. Heute kommen alle 274 verbleibenden hinzu. Hinweise zur Nutzung finden sich im letzten Blogeintrag. Hier gibt es Antworten auf die häufigsten Fragen.

Das ist ein großer Schritt für Wikidata und gleichzeitig ein weiterer Anfang. Es ist ein großer Schritt weil ab sofort alle Wikipedien in der Lage sind Daten gemeinsam zu sammeln, zu pflegen und zu nutzen. So kann zum Beispiel in jeder Wikipedia zu einem Film dessen ID in der Internet Movie Database abgefragt werden und in einem Artikel genutzt werden sobald sie jemand in Wikidata hinterlegt hat. Gleichzeitig ist es allerdings auch ein weiterer Anfang, da noch viel getan werden muss. Die Abfrage muss vereinfacht werden. Mehr Daten müssen in Wikidata eingetragen (und wo nötig übersetzt) werden. Es müssen mehr Belege eingefügt werden. Es müssen weitere Datentypen verfügbar gemacht werden wie zum Beispiel Geokoordinaten und Zeit. Deine Hilfe und dein Feedback ist dabei sehr willkommen und wichtig.

Wir freuen uns auf die nächsten Schritte!

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (1 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...

Wikidata all around the world

(Die deutsche Version dieses Artikels ist hier)

Since one month 11 Wikipedias have the ability to include data from Wikidata in their articles. Two days ago English Wikipedia was added to that group. Today the remaining 274 are joining. Usage examples are in the last blog entry. There is also an FAQ for this deployment.

This is a huge step for Wikidata and at the same time also another beginning. It’s a huge step because from now on all Wikipedias are able to collect, curate and use data together. For example every Wikipedia can query the ID of a movie on the Internet Movie Database and use it in their article as soon as someone added it to Wikidata. At the same time it is a beginning because there is still a lot to do. Accessing the data has to be made easier. More data has to be added to Wikidata (and translated where necessary). More sources have to be added to existing claims. More data types need to be made available – for example geocoordinates and time. Your help and your Feedback is very welcome and important there.

We’re looking forward to the next steps!

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (1 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...

And that makes 12

(Die deutsche Version dieses Beitrags gibt es hier.)

Today the English Wikipedia got the ability to include data from Wikidata. Four weeks ago the first 11 Wikipedias started testing this second phase of the project. This means by now 12 Wikipedias can make use of the shared data in their infoboxes for example. The available data includes things like conservation status for a species, ISBN for a book or the top level domain of a country.

A Request for Comments about how to use data from Wikidata is currently ongoing. Until the Request for Comments is closed you can continue to try it out on test2.wikipedia.org.

There are two ways to access the data:

  • Use a parser function like {{#property:p159}} in the wiki text of the article on the Wikimedia Foundation. This will return “San Francisco” as that is the current headquarters location of the non-profit.
  • For more complicated things you can use Lua. The documentation for this is here.

We are working on expanding the parser function so you can for example use {{#property:headquarters location}} instead of {{#property:p159}}. The complete plan for this is here.

The next step is the deployment on all remaining 274 Wikipedias. If there are no issues they will follow on Wednesday.

There is an FAQ for this deployment. Please help us with testing and feedback. The best place to leave feedback is this discussion page.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (3 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...

Und dann waren es 12

Ab sofort ist es möglich in der englischsprachigen Wikipedia Daten von Wikidata einzubinden. Vor vier Wochen haben die ersten 11 Wikipedien angefangen diese zweite Phase des Projekts zu testen. Das bedeutet, dass mittlerweile 12 Wikipedien die Daten zum Beispiel in ihren Infoboxen verwenden können. Die verfügbaren Daten beinhaltet Dinge wie den Status auf der Roten Liste für eine Tier- oder Pflanzenart, die ISBN für ein Buch oder die Top-Level-Domain eines Landes.

Es läuft aktuell ein Meinungsbild darüber wie Daten aus Wikidata genutzt werden sollen. Bis das Meinungsbild abgeschlossen ist kannst du es weiterhin zum Beispiel auf test2.wikipedia.org ausprobieren.

Es gibt 2 Wege auf die Daten zuzugreifen:

  • Benutze eine Parserfunktion wie {{#property:p159}} im Wikitext des Artikels über die Wikimedia Foundation. Das wird “San Francisco” zurückgeben da es der aktuelle Sitz der Foundation ist.
  • Für kompliziertere Sachen kannst du Lua benutzen. Die Dokumentation dazu ist hier.

Wir arbeiten daran die Parserfunktion auszubauen damit du zum Beispiel {{#property:Sitz der Hauptverwaltung}} statt {{#property:p159}} nutzen kannst. Der vollständige Plan dafür ist hier.

Der nächste Schritt ist die Inbetriebnahme auf den restlichen 274 Wikipedien. Vorrausgesetzt es treten keine Probleme auf wird dies am Mittwoch passieren.

Es gibt Antworten auf die häufigsten Fragen für dieses Deployment. Bitte hilf uns durch Testen und deine Rückmeldungen. Der beste Ort für Rückmeldungen ist diese Diskussionsseite.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (3 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...

Du kannst alle Daten haben!

Seit heute haben die ersten Wikipedien die Möglichkeit Daten aus Wikidata in ihren Artikeln einzubinden. Es sind die italienische, hebräische, ungarische, russische, türkische, ukrainische, usbekische, kroatische, bosnische, serbische und serbo-kroatische Wikipedien. Wenn du neugierig bist kannst du es auch auf test2.wikipedia.org ausprobieren. Das heißt, dass die Autoren auf diesen Wikipedien ab sofort die wachsende Menge an strukturierten Daten die auf Wikidata verfügbar ist als gemeinsame Datenbasis nutzen können. Es beinhaltet Dinge wie den Status auf der Roten Liste für eine Tier- oder Pflanzenart, die ISBN für ein Buch oder die Top-Level-Domain eines Landes.

Es gibt 2 Wege auf die Daten zuzugreifen:

  • Benutze eine Parserfunktion wie {{#property:p169}} im Wikitext des Artikels über Yahoo!. Das wird “Marissa Mayer” zurückgeben da sie der Chief Executive Officer der Firma ist.
  • Für kompliziertere Sachen kannst du Lua benutzen. Die Dokumentation dazu ist hier.

Wir arbeiten daran die Parserfunktion auszubauen damit du zum Beispiel {{#property:chief executive officer}} statt {{#property:p169}} nutzen kannst. Der vollständige Plan dafür ist hier.

Der nächste Schritt ist die Inbetriebnahme auf den restlichen Wikipedien. Wir werden die Performance genau beobachten und wenn es keine Probleme gibt werden sie innerhalb von ein oder zwei Wochen folgen.

Wir haben die häufigsten Fragen für dieses Deployment zusammengestellt und freuen uns auf dein Testen und deine Rückmeldungen. Der beste Ort für Rückmeldungen ist diese Diskussionsseite.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (7 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...

You can have all the data!

(Die deutsche Version dieses Beitrags gibt es hier.)

Today the first 11 Wikipedias got the ability to include data from Wikidata in their articles. These are the Italian, Hebrew, Hungarian, Russian, Turkish, Ukrainian, Uzbek, Croatian, Bosnian, Serbian and Serbo-Croatian Wikipedias. If you are curious you can also try it out on test2.wikipedia.org. This means the editors on these Wikipedias are now able to make use of the growing amount of structured data that is available in Wikidata as a common dataset. It includes things like conservation status for a species, ISBN for a book or the top level domain of a country.

There are two ways to access the data:

  • Use a parser function like {{#property:p169}} in the wiki text of the article on Yahoo!. This will return “Marissa Mayer” as she is the chief executive officer of the company.
  • For more complicated things you can use Lua. The documentation for this is here.

We are working on expanding the parser function so you can for example use {{#property:chief executive officer}} instead of {{#property:p169}}. The complete plan for this is here.

The next step is the deployment on the other Wikipedias. We will carefully monitor performance and if there are no issues they will follow within a week or two.

We have prepared an FAQ for this deployment and are looking forward to your testing and feedback. The best place to leave feedback is this discussion page.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (4 Bewertungen, Durchschnitt: 4,50 von 5)
Loading...

Some data on Wikidata

(Die deutsche Version dieses Artikels ist hier.)

This weekend we saw the creation of the 7th Million item on Wikidata. We had already collected some data based on the Wikidata database dumps, but now we extended the scripts so that they can provide us with daily updates. We want to use this chance to publish a few statistics.

Within the last month – since statements got enabled – more than 660,000 of these items also got statements about them, resulting in more than 1.4 Million statements. The item with the most statements is the United Nations (Q1065), listing all member states. The growth of the number of statements is amazing and well beyond what we expected.

So far we have more than 22 Million links to Wikipedia articles. There are about 24-25 Million Wikipedia articles, which means that we have more than 90% of all links already in Wikidata. Assuming the bots continue working as efficiently as they did so far, all links could be transferred in about a month or two, and then the rapid growth in the number of items is expected to slow down considerably.

At the same time, the edits on Wikidata are increasing a lot. With more than 12.5 Million edits as of now, Wikidata is one of the most dynamic Wikimedia projects. One might say that this is all due to bot activity — but that would be very wrong. About 2 Million edits have been done by human editors, and actually the percentage of edits performed by human editors is increasing. More than 4,500 human editors have been active on Wikidata in the last thirty days.

Regarding labels and descriptions, Wikidata has collected more than 23 Million labels and more than 5 Million descriptions so far, in 333 languages. We see a great opportunity for external tools and websites to help us with collecting labels and descriptions, as they basically provide the translation of the content of Wikidata and make its content available in many languages simultaneously.

It is still too early to really understand what these numbers mean, but we can clearly state that the activity of the community exceeds the hopes of the development team. Although many features are still missing, the warm embrace of the Wikidata project in its current state by the Wikimedia communities is simply amazing, and I can only say „thank you“ to those thousands and thousands of editors for their contribution to free knowledge.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (1 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...

Ein paar Daten zu Wikidata

Am Wochenende wurde das 7-millionste Objekt in Wikidata angelegt. Wir hatten schon ein paar Daten basierend auf den Wikidata Datenbankexporten gesammelt, haben aber jetzt die Skripte so erweitert, dass sie uns täglich mit Updates versorgen können. Wir wollen diese Möglichkeit nutzen, um ein paar Statistiken zu veröffentlichen.

Vor einem Monat wurden Aussagen in Wikidata verfügbar gemacht. Inzwischen sind zu mehr als 660.000 Objekten auch Aussagen hinzugefügt worden, was im Endergebnis mehr als 1,4 Millionen Aussagen bedeutet. Das Objekt mit den meisten Aussagen ist das Objekt „Vereinte Nationen (Q1065)„, welches alle Mitgliedsstaaten auflistet. Das Wachstum der Aussagenmenge ist großartig und übertrifft unsere Erwartungen.

Bisher haben wir mehr als 22 Millionen Links zu Wikipedia Artikeln. Es gibt etwas 24 bis 25 Millionen Wikipedia-Artikel, was also bedeutet, dass wir bereits mehr als 90% aller Links in Wikidata haben. Angenommen die Bots arbeiten weiterhin so effizient wie bisher, sollten alle Links in einem oder zwei Monaten übertragen sein. Danach ist es zu erwarten, dass das Wachstum in der Anzahl der Objekte erheblich zurückgeht.

Zur gleichen Zeit gibt es mehr und mehr Bearbeitungen auf Wikidata. Mit bisher mehr als 12,5 Millionen Edits ist Wikidata eines der dynamischsten Wikimedia-Projekte. Man könnte jetzt sagen, dass das alles nur durch Botaktivität zustande kommt – aber das wäre falsch. Etwa 2 Millionen Bearbeitungen wurden von menschlichen Editoren vorgenommen und der Prozentsatz der Bearbeitungen durch Menschen steigt. Mehr als 4.500 menschliche Editoren waren in den letzten 30 Tagen auf Wikidata aktiv.

Zu Labels und Beschreibungen: Wikidata hat bisher mehr als 23 Millionen Labels und mehr als 5 Millionen Beschreibungen gesammelt, in 333 Sprachen. Wir sehen eine große Möglichkeit für externe Werkzeuge und Webseiten, uns beim Zusammentragen von Labels und Beschreibungen zu helfen, da diese die Übersetzung des Inhalts von Wikidata bereitstellen und seinen Inhalt in vielen Sprachen gleichzeitig zur Verfügung stellen.

Es ist noch zu früh, um wirklich zu verstehen, was diese Zahlen bedeuten, aber wir können ganz klar sagen, dass die Arbeit der Community die Hoffnungen des Entwicklungsteams bei Weitem übersteigen. Auch wenn noch viele Features fehlen, ist die warmherzige Begrüßung des Wikidata-Projekts durch die Wikimedia-Communitys einfach großartig und ich kann nur „Danke!“ an die tausenden Editoren sagen für ihren Beitrag zum Freien Wissen.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (5 Bewertungen, Durchschnitt: 4,20 von 5)
Loading...

Wikidata jetzt auf allen Wikipedien

Heute haben wir Wikidatas Sprachlinkunterstützung auf allen verleibenden Wikipedien freigeschalten. (Also alle verbleibenden 282 außer Ungarisch, Hebräisch, Italienisch und Englisch.) Das heißt, dass ab sofort die Links in der linken Seitenleiste die auf Artikel zum gleichen Thema in anderen Sprachen verlinken jetzt von Wikidata kommen.

Was heißt das genau?

  • Sprachlinks in der Seitenleiste kommen automatisch von Wikidata, wenn die entsprechende Seite auf Wikidata einen Link zum Artikel hat. Es ist keine spezielle Syntax notwendig.
  • Existierende Sprachlinks im Wikitext werden weiterhin funktionieren und überschreiben Links von Wikidata.
  • Für individuelle Artikel können Sprachlinks von Wikidata komplett unterbunden werden mit der Funktion noexternallanglinks.
  • Änderungen auf Wikidata die mit einem Artikel in der Wikipedia zu tun haben werden in Letzte Änderungen und Beobachtungsliste angezeigt, wenn die Option vom Nutzer aktiviert wurde. (Es gibt noch ein paar Probleme falls Erweiterte Letzte Änderungen aktiviert sind.)
  • Am Ende der Liste der Sprachlinks gibt es einen Link um die Sprachlinks zu editieren der dich zur verlinkten Seite auf Wikidata führt.
  • Du kannst ein Beispiel dafür im Artikel über den Eigentlichen Langohrigel sehen.
  • Die zweite Phase (Behauptungen/Infoboxen) ist auf Wikidata in Betrieb, kann aber noch nicht in den Wikipedien genutzt werden. Es soll gegen Ende des Monats auf den ersten Wikipedien freigeschalten werden. Der Rest wird kurz darauf folgen.

Eine Liste der am häufigsten gestellten Fragen gibt es hier und Dokumentation hier.

Auf dem Laufenden bleiben und mitmachen

Es gibt verschiedene Wege auf dem Laufenden zu bleiben über alles was rund um Wikidata passiert. Der wöchentliche Newsletter ist der Wichtigste. Du kannst dich hier eintragen um es auf deine Diskussionsseite geliefert zu bekommen. Es gibt auch Accounts auf Twitter, identi.ca, Facebook und Google+.
Wenn du bei Wikidata mitmachen willst ist diese Seite ein guter Start.

Sprechstunde im IRC

Diesen Freitag um 18:00 Uhr wird es eine Sprechstunde zu Wikidata im IRC geben. Mehr Details dazu gibt es auf Meta.

1 Stern2 Sterne3 Sterne4 Sterne5 Sterne (2 Bewertungen, Durchschnitt: 5,00 von 5)
Loading...