Mit kreativen Ideen wollen wir gemeinsam die Suche nach und den Zugang zu Open Data erleichtern

** Version française ci-dessous / English version below **

Created with Dall-E, prompt "Draw me a sketchy, hand-drawn, comic-book like style that focuses on the collaboration between a data journalist and the friendly hexagonal-headed bot as they engage with the computer screen displaying open data."

Verbesserung und Ausweitung der Suche mit einem KI-Assistenten:

Um die Auffindbarkeit von Datensätzen zu verbessern, kann ein KI-Assistent auf opendata.swiss eine wertvolle Ergänzung sein. Hier einige Möglichkeiten, wie der Assistent helfen könnte:

1. Natürliche Sprache: Nutzerinnen und Nutzer könnten ihre Suchanfragen in natürlicher Sprache formulieren. Der Assistent würde diese Anfragen verstehen und relevante Ergebnisse liefern.
2. Vorschläge bei Nicht-Treffern: Führt eine Suche zu keinem Ergebnis, könnte der Assistent alternative Suchbegriffe oder andere Datenquellen vorschlagen.
3. Verweis auf andere Portale: Der Assistent könnte auf andere Open-Data-Portale in der Schweiz oder im Ausland verweisen, wenn dort relevante Daten verfügbar sind.

Ziel ist es, ein Proof of Concept für einen KI-Assistenten zu erstellen, der einerseits einen Suchassistenten für opendata.swiss, andererseits aber auch eine Schnittstelle zur Open-Data-Welt der Schweiz darstellt. Damit soll die Auffindbarkeit und der Zugang zu offenen Daten demokratisiert werden.

Amélioration et extension de la recherche avec un assistant IA:

opendata.swiss est le portail central des données ouvertes, donc en libre accès, de l'Administration Suisse. Actuellement, plus de 130 fournisseurs de la Confédération, des cantons, des communes et d'autres institutions publient leurs données sur le portail.   Afin d'améliorer la recherche de jeux de données, un assistant IA sur opendata.swiss pourrait être un précieux allié. Voici de quelles manières l'assistant pourrait aider :

1. Langue de l'utilisateur: les utilisateurs pourraient formuler leurs requêtes dans la langue de leur choix. L'assistant comprendrait ces demandes et proposerait des résultats pertinents.
2. Suggestions en cas d'absence de résultats: Si une recherche ne donne aucun résultat, l'assistant pourrait proposer des termes de recherche alternatifs ou d'autres sources de données.
3. Orientation vers d'autres portails: l'assistant pourrait renvoyer vers d'autres portails de données ouvertes en Suisse ou à l'étranger si des données pertinentes y sont disponibles.

L'objectif est de réaliser une preuve de concept pour un assistant IA qui soit d'une part un assistant de recherche pour opendata.swiss, mais aussi une interface avec le monde de l'open data en Suisse. L'objectif est de démocratiser la recherche et l'accès aux données ouvertes.

Search enhancement and extension with an AI assistant:

opendata.swiss serves as the primary hub for accessing open data provided by the Swiss Administration. More than 130 providers from the federal government, cantons, municipalities and other organizations currently publish their datasets on the portal.   Enhancing the discoverability of datasets, an AI assistant integrated into opendata.swiss could provide significant value. Here are several ways in which the assistant could assist:

1. Natural Language: Users could express their search queries in their own language. The AI assistant would comprehend these queries and present relevant results accordingly.
2. Suggestions for Unmatched Queries: In cases the search yields no results, the assistant could offer alternative search terms or suggest alternative data sources.
3. Cross-Referencing with Other Portals: The assistant could direct users to other open data portals within Switzerland or internationally if pertinent data is available there.

The objective is to develop a proof of concept for an AI assistant that functions both as a search aid for opendata.swiss and as a gateway to the open data landscape in Switzerland. The ultimate goal is to democratize the discoverability and accessibility of open data.

Ressourcen

Portal opendata.swiss mit ihrer API. Weitere Infos:

https://docs.ckan.org/en/2.9/api/#making-an-api-request

https://handbook.opendata.swiss/de/content/nutzen/api-nutzen.html

Einbetten der Awesome OGD Liste: https://github.com/rnckp/awesome-ogd-switzerland

Metadatenstandard: https://dcat-ap.ch/

Github-Repo opendata.swiss: https://github.com/opendata-swiss/

Goal

Proof of Concept eines Suchassistenten für opendata.swiss. Der Chatbot könnte zum Beispiel in der Lage sein, Benutzeranfragen zu verstehen, relevante Informationen zu suchen und präzise Antworten zu liefern.

Outcomes

Für Datennutzende könnte durch einen Bot die Suche nach Open Data erleichtert werden. Der Assistent könnte dabei helfen, sich in der Open-Data-Welt der Schweiz zu orientieren.

Solutions

For example:

• Non-engineers guide: Train a LLaMA 2 chatbot (huggingface.co): https://huggingface.co/blog/Llama2-for-non-engineers
• Chat GPT Plus (kostenpflichtig)
• Retrieval Augmented Generation (RAG)
• ChatGPT Varianten aus CH, DE und A: https://www.linkedin.com/posts/david-zumbach\_swissogdexplorer-swissogdexplorer-swissogdexplorer-activity-7155141011390840832-2JBu/ https://www.netzwoche.ch/news/2023-10-23/mittels-chatgpt-schnell-an-oeffentliche-verwaltungsinformationen-kommen https://www.data.gv.at/application/opendata-buddy/ https://github.com/stefangrotz/OpenDataGermanyGPT https://chat.openai.com/g/g-uiJQsroGg-open-data-portals-germany

Restrictions

Eine Einbindung auf der Plattform opendata.swiss müsste letztlich durch den Lieferanten realisiert werden.

Verwendung

Mögliche Einbettung in das Portal. Zukünftig werden die Metadaten von opendata.swiss als Linked Open Data angeboten. Auch hier könnte das Potential von KI-Assistenten eingesetzt werden

Organisation

Geschäftsstelle Open Government Data, BFS

Created with Dall-E, prompt "Teilnehmende eines Hackathons bringen einem Chatbot bei, die richtigen Antworten zu liefern. In sketchy comic-style Art."