SPARQL на примерах Wikidata

[d1g]

SPARQL на примерах Wikidata

На мой взгляд, проект Wikidata предлагает более серьёзно задуматься о применении SPARQL в проектах.
Лично я - точно буду иногда изредка подсматривать "а что там есть в Wikidata сейчас".

Особенно это касается болевой точки всех традиционных реляционных и SQL решений про "что нам делать с несколькими значениями сразу".

Сколько я бы не хвалил OpenStreetMap, данных только в OpenStreetMap точно не хватает, а наличие в Wikidata ссылок на OSM объекты позволяет составлять более богатые запросы к объектам*.

* - к сожалению, Россию не хорошо редактировали в Wikidata и часть правильных запросов не вернёт правильные ответы (потому что данных нет просто).

[Александр Мурый]

Спасибо, интересная тема.
Вопросы:

• Заметка про вашего мальчика называется "SPARQL на примерах Wikidata"; при этом определения SPARQL нет; гуглится за 3 сек., но всё же;
  

  общедоступный и публичный endpoint

• Есть такое же определение, но по-русски? "Конечная точка"?
  

  Также можно отфильтровать результаты, используя поиск по "Moscow".

• "поиск по "Moscow"" можно использовать в любых запросах?
• Ждём ещё примеров, т.к. сказано во множественном числе - "примеры".

P.S. Немного подправил язык кое-где.

[d1g]

Ошибки поправил, остановился на 1 примере потому что залип полностью в этих запросах сам, столько данных в этой Викидата (в англоязычной), что не знаешь с какой стороны начать.

Спойлер

По сути, абсолютное большинство объектов в Wikidata можно свести либо к человеку, либо к городу либо к другому гео-объекту.

И у города и у человека (место пребывания или рождения или хоть смерти) есть координаты.

Получается что почти всё можно выразить географически, вопрос только как будет выглядеть "запрос".

В SQL это было бы нагромождение JOIN и знание первичные ключей.
В SPARQL 4-20 JOIN это вообще норма, причём первичные ключи как таковые не нужны.

Где-то 30 примеров уже было на https://www.wikidata.org/wiki/Wikidata: ... #Geography

К примеру, "Крупнейший город в каждой из стран".

Причём (если кто-то не смотрел 5минутное видео) в нижней части можно выбрать "Формат">"Карта" или Bar chart

[d1g]

Пока остановлюсь (5 экранов, 25K) т.к. не хочется все редкие нюансы и каждую тривиальную вещь из SPARQL/Wikidata спецификации пересказывать.

Для большинства текущих данных в Wikidata, которые я смотрел за эти 3-4 дня, выбранной мной информации должно хватить.

Некоторая неупорядоченность изложения есть, т.к. там несколько не совсем связанных тем-вопросов рассматривается и с разными примерами.

[Александр Мурый]

В разделе "Географические свойства в Wikidata" есть такие строки:

Больше миллиона:
...
Более 100 тысяч, но менее миллиона:
...
Редкие, менее 10000:

Они к чему относятся?

[d1g]

Больше миллиона:
...
Редкие

Они к чему относятся?

Это связано с ссылкой чуть выше "Отчёт количества объектов по каждому свойств". Изменил её на "Отчёт количества использований каждого свойства".

Какие свойства популярные, а какие - нет (или редкие или незаполненные).

Есть две особенности свойств, которые мешают называть эту метрику кроме как "популярность свойства":

• У одного объекта, одно и то же свойство может быть использовано несколько раз
• Свойство может использоваться в качестве Квалификатора, причём несколько раз

[d1g]

Запоздалое обновление. Плохие и очень плохие новости.

У меня к RDF интерес не на ровном месте, т.к. академических публикаций вокруг него много было много хороших.

По формату RDF: в нём есть ссылки, но он не готов для серьёзного применения.
Реализация RDF в Wikidata сделана с ошибками. У всех разработчиков в Wikimedia/Mediawiki не было опыта с RDF насколько я понимаю.
Кое-что дико перемудрили в Wikidata и сломали поддержку RDF зря.

"тройка" из RDF это достаточно серьезное ограничение.
В RDF нельзя делать предложения свободно с "и" и "или". Это достаточно сильно сужает круг применения RDF.

С любым форматом можно "что-то придумать" своё, но это неправильный подход. Формат должен быть публичным и стандартным.

Лучшего формата ещё не предлагали насколько я знаю.


Теперь про очень плохое.

Про "организации" за Wikidata (Bomis / Wikimedia Foundation): я документирую их беспредел у себя в ЖЖ. До туда у них руки не дотянутся.

МВД РФ ещё пальцем о палец не ударило. Обращался в МВД РФ несколько раз уже.

Этот цирк докатился до ЮНЕСКО и ООН. Очень говорит о текущем состоянии этих организаций.

[d1g]

Очень-очень-очень плохие новости про организацию Wikidata.

Не участвуйте в Wikidata в 2022. Не слушайте дураков!

Обращайтесь Генеральную прокуратуру РФ и ФСБ РФ.