INSTITUTIONAL BOOKS 1.0: Ein bedeutendes Dataset für die Forschung

Die Harvard Library und Google Books haben 242 Milliarden Tokens aus nahezu 1 Million gemeinfreier Bücher veröffentlicht, die als hochwertiges Trainingsdataset dienen. Dieses beeindruckende Projekt, bekannt als Institutional Books 1.0, bietet Forschern und Entwicklern die Möglichkeit, auf eine riesige Sammlung von Texten zuzugreifen, die für verschiedene Anwendungen in der Künstlichen Intelligenz und im maschinellen Lernen genutzt werden können.

Was ist Institutional Books 1.0?

Das Institutional Books 1.0 Dataset umfasst 983.004 gemeinfreie Bücher, die im Rahmen des Google Books Projekts digitalisiert wurden. Diese Sammlung wurde von der Institutional Data Initiative verfeinert und bietet eine Vielzahl von Daten, die für die Forschung und Entwicklung genutzt werden können.

Technische Details des Datasets

• Größe: 242 Milliarden Tokens
• Seitenanzahl: 386 Millionen Seiten Text
• Sprachen: 254 einzigartige Sprachen auf Volumenebene
• Metadaten: Umfassende Volumenmetadaten, einschließlich sowohl originaler als auch generierter Komponenten
• Qualität: Verfeinert durch Sammlungsebene-Deduplizierung, OCR-Analyse und Textverarbeitung

Verwendungsbedingungen

Die Nutzung des Datasets unterliegt bestimmten Bedingungen, die darauf abzielen, eine verantwortungsvolle Nutzung zu fördern. Zu den wichtigsten Punkten gehören:

1. Nur für nicht-kommerzielle Zwecke: Die Nutzung des Datasets ist ausschließlich für nicht-kommerzielle Zwecke erlaubt. Open-Source-Projekte und andere öffentliche Nutzungen sind willkommen, solange sie nicht mit kommerziellen Akteuren in Verbindung stehen.
2. Keine Weiterverbreitung: Das Dataset darf nicht geteilt oder weiterverbreitet werden, einschließlich über öffentliche Repositories oder Aggregatoren.
3. Attribution: Bei der Verwendung des Datasets in öffentlich zugänglichen Arbeiten muss eine angemessene Attribution erfolgen.

Technische Implementierung

Für Entwickler, die das Dataset nutzen möchten, steht eine einfache Implementierung zur Verfügung. Hier ein Beispiel, wie man das Dataset mit Hugging Face laden kann:

from datasets import load_dataset

dataset = load_dataset("instdin/institutional-books-1.0", split="train", streaming=True)
for row in dataset:
    print(row["title_src"])

Herausforderungen und Überlegungen

Bei der Arbeit mit historischen Texten ist es wichtig, sich der Herausforderungen bewusst zu sein, die mit der Sprache und den Inhalten verbunden sind. Einige Materialien können veraltete oder beleidigende Sprache enthalten, die für heutige Standards als unangemessen gilt. Nutzer sollten sich dieser Kontexte bewusst sein und kritisch mit den Inhalten umgehen.

Fazit

Das Institutional Books 1.0 Dataset stellt eine wertvolle Ressource für Forscher und Entwickler dar, die mit großen Textmengen arbeiten möchten. Mit der Unterstützung von Harvard Library und Google Books wird dieses Projekt dazu beitragen, das Verständnis und die Nutzung von gemeinfreien Texten in der digitalen Welt zu erweitern.

Quellenliste:

• Quelle: Institutional Books 1.0: A 242B token dataset from Harvard Library’s collections, refined for accuracy and usability
• Full analysis available in our technical report
• Metadata-only version