TheTarPit

W poszukiwaniu metadanych dokumentów — PDF na początek

Dane (czy właściwie metadane) o dokumentach i publikacjach (zgromadzonych lokalnie lub dostępnych zdalnie) są drugą pokaźną grupą informacji wartych zgromadzenia obok (a może w ramach?) bazy RDF PIM. Posiadanie takich informacji w modelu RDF otwiera drogę do najróżniejszych zastosowań opartych na katalogu zasobów, z automatycznym wyszukiwaniem dokumentów na czele ^[1].

Większość publikacji, które mają jakiekolwiek znaczenie występuje (u mnie przynajmniej) w jednej z dwóch postaci: (X)HTML lub PDF. Indeksowanie, parsowanie i opisywanie dokumentów (X)HTML wydaje się stosunkowo proste, zwłaszcza jeśli autor tych dokumentów miał choć odrobinę wyobraźni i pojęcia na temat znaczenia poszczególnych składników takiego dokumentu. W końcu (X)HTML jest z definicji przeznaczony do parsowania, a im większy nacisk na X, tym więcej sposobów przetwarzania i potencjalnych możliwości. Ciekawsze natomiast (na dziś) wydaje mi się znalezienie sposobu na „ugryzienie” (poindeksowanie, opisanie) dokumentów PDF.

Java w służbie ludzkości

W ramach rozpoznawania narzędzi do rzeczy różnych i przekonywania samego siebie, że Java faktycznie jest tyle warta ile o niej mówią, trafiłem niedawno na bibliotekę PDFBox. Daje ona sporo ciekawych możliwości tworzenia i obróbki plików PDF, a z punktu widzenia problemu postawionego powyżej umożliwia również banalnie prosty odczyt informacji o dokumencie. Tak się składa (nie wnikam czy przypadkiem ;-)), że najpoważniejsze frameworki Sieci Semantycznej napisane są w Javie. Zatem rozwiązanie nasuwa się samo: program wyciągający (meta)dane z dokumentów PDF i zapisujący je w jakiejś postaci modelu RDF napisany w Javie powinien się sprowadzać do wywołania kilku prostych metod.

I faktycznie — przykładowy program realizujący to zadanie (z wykorzystaniem bibliotek PDFBox i Jena) mógłby wyglądać jakoś tak: pdf2rdf.java. W ramach testu wypisuje on otrzymany graf RDF na ekranie (w 2 serializacjach, tak dla porównania), ale mógłby przecież zrobić z nim cokolwiek innego, np. wrzucić do bazy RDF albo dodać do jakiegoś większego modelu. W końcu Jena potrafi z RDF-em robić wszystko, czego zapragniesz.

Przykładowy wynik działania:

*** RDF/XML:

<rdf:RDF
    xmlns:pdf="http://ns.adobe.com/pdf/1.3/"
    xmlns:dct="http://purl.org/dc/terms/"
    xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#"
    xmlns:dc="http://purl.org/dc/elements/1.1/">
  <rdf:Description rdf:about="file:///home/mimas/semweb/www/D13_v1-0.pdf">
    <pdf:Title>A survey on ontology tools</pdf:Title>
    <pdf:Keywords>OntoWeb Ontology Tool</pdf:Keywords>
    <pdf:Creator>D13_v1-0.doc - Microsoft Word</pdf:Creator>
    <dc:format>application/pdf</dc:format>
    <pdf:CreationDate>2002.05.31 16:33:20</pdf:CreationDate>
    <pdf:Author>Asunción Gómez-Pérez, Oscar Corcho</pdf:Author>
    <pdf:Producer>Acrobat PDFWriter 4.0 para Windows NT</pdf:Producer>
    <pdf:Subject>Ontoweb Deliverable 1.3</pdf:Subject>
    <dc:subject>Tool</dc:subject>
    <dc:subject>OntoWeb</dc:subject>
    <dc:type rdf:resource="http://purl.org/dc/dcmitype/Text"/>
    <dc:subject>Ontology</dc:subject>
  </rdf:Description>
</rdf:RDF>

*** N3:

@prefix pdf:     <http://ns.adobe.com/pdf/1.3/> .
@prefix dc:      <http://purl.org/dc/elements/1.1/> .
@prefix rdf:     <http://www.w3.org/1999/02/22-rdf-syntax-ns#> .
@prefix :        <#> .
@prefix dct:     <http://purl.org/dc/terms/> .

<file:///home/mimas/semweb/www/D13_v1-0.pdf>
      pdf:Author "Asunción Gómez-Pérez, Oscar Corcho" ;
      pdf:CreationDate "2002.05.31 16:33:20" ;
      pdf:Creator "D13_v1-0.doc - Microsoft Word" ;
      pdf:Keywords "OntoWeb Ontology Tool" ;
      pdf:Producer "Acrobat PDFWriter 4.0 para Windows NT" ;
      pdf:Subject "Ontoweb Deliverable 1.3" ;
      pdf:Title "A survey on ontology tools" ;
      dc:format "application/pdf" ;
      dc:subject "Tool" , "OntoWeb" , "Ontology" ;
      dc:type <http://purl.org/dc/dcmitype/Text> .

No i ślicznie. Wystarczy teraz zassać wszystkie pliki PDF do wspólnego modelu RDF i mam gotowy katalog, który mogę przeszukiwać (osobiście ja lub jakiś agent w moim imieniu) klasycznymi narzędziami Sieci Semantycznej bez konieczności posiadania jakichkolwiek specjalistycznych programów katalogowych. Czyli np. za pomocą zapytań SPARQL via ARQ podobnie i równie łatwo jak to robiłem z kontaktami i kalendarzem.

z pustego i Salomon...

Niestety chwilę później następuje dokładnie to samo co zawsze — rozczarowanie niską jakością opisów w większości plików PDF jakie zbadałem... Co z tego, że istnieje stosunkowo prosty sposób poindeksowania PDF-ów i zebrania ich metadanych w postaci gotowej do wykorzystania w dowolnym modelu RDF, skoro w większości plików tych metadanych po prostu nie ma. Autorzy publikacji przeważnie nie są tak porządni jak to widać na przykładzie powyżej i nie tracą swojego (cennego zapewne) czasu na opisywanie własnego dokumentu. Albo, co jeszcze gorsze lecz równie prawdopodobne, używają narzędzi nie dających możliwości zapisania tych informacji. A z pustego to i Salomon ma kłopoty... :-/

Komentarze