NBC Import Monitor

Inleiding

In de periode 2012-2015 zijn de bezitsgegevens van de Openbare Bibliotheken in Nederland opgenomen in het GGC ten behoeve van Bibliotheek.nl (NBC-Nationale Bibliotheek Catalogus). Na de initiele import is een importproces opgezet, waarmee de bezitsgegevens uit het lokale bibliotheek systeem actueel worden gehouden in het GGC. Hierbij zijn alleen de exemplaargegevens van belang, resulterend in:

Om dit proces te kunnen volgen, is de NBC Import Monitor ontwikkeld. In dit document wordt uitleg gegeven over deze Monitor en de bijbehorende report-bestanden.

Mocht u naar aanleiding van dit document nog vragen hebben, dan kunt u contact opnemen met:

NBC Import Monitor

De NBC Import Monitor laat een samenvatting zien van de import en verwerking van de update bestanden uit de lokale bibliotheeksystemen. De update bestanden bevatten de exemplaaraanpassingen per openbare bibliotheek voor verwerking in het GGC.

De monitorpagina is te bereiken met de volgende gegevens:

Na inloggen verschijnt het volgende overzicht:

ggc-nbc-import-monitor-1.png

In dit overzicht wordt per bibliotheek of PSO over het importproces gerapporteerd.

Het importproces vindt dagelijks plaats, maar als een bibliotheek een dag geen importbestand aanlevert, bijvoorbeeld omdat geen exemplaren zijn toegevoegd, aangepast of verwijderd, dan verschijnt er geen blokje in de Monitor.

Het totaaloverzicht kan rechtsboven eventueel gefilterd worden op Openbare Bibliotheek, Regio (provincie), WSF Bibliotheken of ProBiblio bibliotheken. Kies in de rechter bovenhoek de gewenste waarde en klik op Refresh om het overzicht te verversen. De eigen bibliotheek is het snelst te vinden door te zoeken met CTRL-F en de bibliotheeknaam of ISIL-code.

Per bibliotheek en importdatum is te zien hoeveel bestanden er zijn geupload, het aantal aangeboden exemplaar records, het aantal correct verwerkte exemplaar records en het aantal van  exemplaarrecords die niet verwerkt zijn.

ggc-nbc-import-monitor-2.png

Het datumblok krijgt een andere kleur als het percentage niet verwerkte exemplaarrecords stijgt. De gebruikte kleuren zijn groen, wit, rood en paars. Een groen datumblok geeft aan dat het percentage niet verwerkte records nul is. Een wit blokje geeft aan dat er niet verwerkte records zijn en een roodblokje geeft aan dat het percentage niet verwerkte records hoog is. Een paars datumblok geeft aan dat geen van de aangeboden records verwerkt zijn.

ggc-nbc-import-monitor-3.png

Door vervolgens op een blokje te klikken, opent een uitgebreid berichtenbox.

ggc-nbc-import-monitor-4.png

Deze berichtenbox bevat:

  1. de ISIL-code en bibliotheeknaam,
  2. de gegevens uit het gekleurde blokje in de NBC Monitor,
  3. een overzicht van de activiteiten die plaats hebben gevonden,
  4. de bestandsnaam van het geleverde bestand en van het bestand met gemarkeerde records,
  5. een link naar de zip-file Actie rapport, waarin nagekeken kan worden wat de oorzaak van uitval is,
  6. een link naar de zip-file Technische details, waarin de reports zijn opgenomen die gecreëerd worden tijdens het importproces.

In het volgende hoofdstuk wordt uitleg gegeven over de actierapporten. In de bijlage staat de uitleg over de technische detailrapporten. Deze rapporten zijn minder geschikt om uitval te controleren.

Actie rapport

Onderaan de berichtenbox staat een link waarmee het actierapport gedownload kan worden. Het actierapport bevat de rapportagebestanden aan de hand waarvan de import van ILS naar GGC gecontroleerd kan worden. Als op deze link geklikt wordt, verschijnt onderaan de pagina een zipfile met de bestanden. Door hierop te klikken opent de Zip-file:

ggc-nbc-import-monitor-5.png

Deze zipfile bevat tekstbestanden die per soort foutmelding een leesbaar overzicht geven van de exemplaren waar de foutmelding voorkomt. Als de foutmelding zich niet voordoet, wordt ook geen bestand aangemaakt.

.err_ppnVerpl

Dit bestand bevat een overzicht van de exemplaren waar het veld 035 geen GGC-PPN bevat. Hierdoor wordt het record niet teruggevonden in het GGC en kan geen exemplaar toegevoegd worden. Aan de hand van de barcode kunt u het exemplaar checken in het lokale systeem. Het kan gaan om lokaal gecreëerde records zonder PPN. Indien deze records alleen voor lokaal gebruik zijn bedoeld, is er geen aanpassing nodig. Als deze records wel beschikbaar moeten zijn in het GGC en NBC+, dan dient een record in het GGC ingevoerd te worden via WebGGC of WinIBW. Vervolgens kan het PPN worden gekopieerd in het lokale systeem en vindt exemplaarsynchronisatie plaats.

.GEENHITOPPPN.report

Dit bestand bevat een overzicht van exemplaren waarvan het PPN niet is teruggevonden in het GGC. Check in deze gevallen in het lokale systeem of een correct PPN aanwezig is. Zo niet, zoek in GGC of WebGGC naar de juiste titel, neem het PPN over en voeg deze toe in het lokale systeem. Als in het GGC geen bruikbaar record voorkomt, voeg een nieuw record toe in het GGC en neem dit PPN over naar het record in het lokale systeem.

Als het record alleen voor lokaal gebruik bedoeld is en niet gesynchroniseerd hoeft te worden met het GGC, dan is geen actie nodig.

Niet verwerkte records

Het komt voor dat de importmonitor aangeeft dat er niet verwerkte records zijn, terwijl er geen actierapport is. Dit komt omdat er niet meer actief wordt gerapporteerd over bestelexemplaren en te verwijderen exemplaren die al niet meer aanwezig zijn in het GGC. Deze exemplaren zijn al eerder verwijderd of verhuisd naar een andere vestiging. Onder bestelexemplaren verstaan we exemplaargegevens met een # voor de barcode (in geval van Wise) het ontbreken van de barcode of het ontbreken van barcode en plaatsingsgegevens.

Rapportagebestanden voor deze uitval zijn terug te vinden in de Technische Details. In de bijlage wordt uitleg gegeven over deze bestanden.

Bijlage Technische details

Onderaan de berichtenbox staat een link waarmee de technische details reports gedownload kunnen worden. Als op deze link geklikt wordt, opent onderaan de pagina een zipfile met alle bestanden die tijdens de import worden gecreëerd. Voor de controle van de import adviseren wij de bestanden in actierapport te gebruiken. Voor de volledigheid wordt in dit hoofdstuk uitleg gegeven over de report files.

Door op de link te klikken opent de Zip-file:

ggc-nbc-import-monitor-6.png

Deze Zip-file bevat de bestanden die zijn gegenereerd tijdens het gehele importproces. De report-bestanden zijn tekstbestanden die het best te openen zijn met Notepad of Notepad++.

Tijdens het gehele importproces vinden meerdere controles plaats. Het binnengekomen bestand wordt gecontroleerd tijdens de conversie naar het interne formaat van het GGC, foutmeldingen worden in een bestand verzameld. Vervolgens vinden controles plaats tijdens het match&merge-proces (het inleesproces) van het bestand in het GGC. De vele files in de Zip-file zijn het resultaat van deze controles. Ook de actierapporten zijn in deze lijst opgenomen.

Het ene bestand geeft meer informatie dan de ander. Per bestand wordt hieronder uitleg gegeven over de inhoud. Indien een actie nodig is, wordt verwezen naar de uitgebreide uitleg in de volgende hoofdstukken.

File naam Type Uitleg
ISILcode_Naam_Datum_B.01._Datum_ BAD file Lijst met nummers van records die een fout hebben opgeleverd tijdens de conversie naar het interne formaat van het GGC.
ISILcode_Naam_Datum_B.01._Datum_ ERR file Deze file bevat een overzicht van de verwerkingsstappen in de conversie van het aangeleverde bestand in MARC 21 formaat naar het interne GGC formaat Pica+. Per stap is aangegeven of deze al dan niet foutloos is verlopen. In stap 7 staan de foutmeldingen van exemplaren waar essentiele data ontbreekt of data incorrect is.

Een van de volgende foutmeldingen wordt dan gegeven:
  1. CONTROLEVELD TAG 000 IS VERPLICHT, MAAR ONTBREEKT
  2. CONTROLEVELD TAG 001 MET PPN IS VERPLICHT, MAAR ONTBREEKT 
Bij deze foutmeldingen is actie nodig, check hiervoor het hoofdstuk: Foutmeldingen in error file van de conversie
ISILcode_Naam_Datum_B.01._Datum_ STATS file Statistiek overzicht op basis waarvan o.a. de NBC Importmonitor wordt samengesteld.
ISILcode_Naam_Datum_B.01._Datum_.fcv OUT file Resultaat van de conversie van het aangeleverde bestand naar het interne GGC formaat (pica+) met een ontdubbeling op barcodes.
ISILcode_Naam_Datum_B.01._Datum_.xsltxml OUT file Uitvoerbestand van het lokale systeem in MARC 21 formaat.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.duplicates DUPLICATES file Overzicht van de records die ontdubbeld zijn op barcode in de .fcv OUT file. Soms kunnen in het lokale bibliotheeksysteem meerdere updates op een exemplaar zijn gedaan, al deze updates komen in het uitvoerbestand terecht, waardoor barcodes dubbel in het lokale uitvoerbestand staan. Tijdens de conversie wordt alleen het meest recente update bericht behouden, de overige updates met dezelfde barcode komen in dit DUPLICATES-bestand terecht.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.marked._Datum_ BAD file Lijst met nummers van records die een fout hebben opgeleverd bij de check tijdens het inleesproces in het GGC.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.marked._Datum_ ERR file Overzicht van exemplaren die niet verwijderd konden worden met het GGC om een van de volgende redenen:
  1. geen exemplaren van de bibliotheek aanwezig bij het PPN, waardoor er niets verwijderd kan worden. Deze exemplaren zijn te herkennen aan de melding: 
    MERGING ERROR: extra 209G/01-999+201B/01-999 present in signal title209G/01+201B/01 not found
  2. barcode is niet aanwezig bij een van de exemplaren van de bibliotheek behorende bij het PPN, waardoor het exemplaar met de betreffende barcode niet verwijderd kan worden. Deze exemplaren zijn te herkennen aan de melding: 
    MERGING ERROR: 209G/01-999+201B/01-999 absent in dbase title209G/01+201B/01 not found

Uitleg over deze foutmeldingen staat in het hoofdstuk: Foutmeldingen in error file van de match&merge
ISILcode_Naam_Datum_B.01._Datum_Nummer_.marked._Datum_ STATS file Statistiekoverzicht op basis waarvan o.a. de NBC Importmonitor wordt samengesteld
ISILcode_Naam_Datum_B.01._Datum_Nummer_.marked.pass-01 NIETVERWERKT file Gelijk aan marked ERR file en geeft ook het verzicht van exemplaren die niet verwijderd konden worden met het GGC. Daarnaast bevat deze file een overzicht van incomplete exemplaren, bijvoorbeeld omdat de barcode en plaatscode ontbreekt.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.pass-00 GEENHITOPPPN file Overzicht van exemplaren die niet ingevoerd of aangepast konden worden omdat tijdens het inleesproces het PPN niet is gevonden in het GGC.

Bij deze foutmeldingen is actie nodig, check hiervoor het hoofdstuk: Foutmeldingen in de geenhitopppn-file.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.pass-00 UPDATED file Overzicht van het resultaat van nieuwe en aangepaste exemplaren.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.pass-01 DELETED file Overzicht van het resultaat van het verwijderen van exemplaren.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.pass-01 GEENHITOPPPN file Overzicht van exemplaren die niet verwijderd konden worden omdat in de synchronisatie het PPN niet is gevonden in het GGC

Uitleg over deze foutmeldingen staat in het hoofdstuk:: Foutmeldingen in de geenhitopppn-file.
ISILcode_Naam_Datum_B.01._Datum_Nummer_.pass-01.ISILcode_Naam_Datum_B.01._Datum_Nummer_ MARKED file Overzicht van de verwijderde exemplaren

 

Foutmeldingen in error file van de conversie

Voorbeeld uit de errorfile van de conversie Voorbeeld uit het corresponderende xslt bestand
##TitleSequenceNumber 1081
##TTLtype standard
#CONTROLEVELD TAG 000 IS VERPLICHT, MAAR
ONTBREEKT
-001 0380481960
-005 020150428100245
-008 01504280u 0 4001Au 0150428
-035 a(NL-LeOCL)380481960
-852 a0014cKids roze 0-8 jaar: Weten Dieren AJ
Honden COOLbNL-0800970014p150428095719612BAu
##TitleSequenceNumber 1081
-001 0380481960
-005 020150428100245
-008 01504280u 0 4001Au 0150428
-035 a(NL-LeOCL)380481960
-852 a0014cKids roze 0-8 jaar: Weten Dieren AJ Honden
COOLbNL-0800970014p#150428095719612BAu

Uitleg foutmelding:
Het Leader ontbreekt in de aangeleverde titel. Dit is veld 000, in dit veld staat onder andere of een exemplaar nieuw (nx), updated (cx) of deleted (dx) is. 

Oplossing
Check in het lokale systeem of gegevens ontbreken. Deze foutmelding komt nauwelijks voor. Over het algemeen wordt de leader door het lokale systeem automatisch gegenereerd. Mocht de leader ontbreken in het uitwisselingsbestand, dan kunt u contact opnemen met uw systeemleverancier.
##TitleSequenceNumber 1145
##TTLtype standard
#CONTROLEVELD TAG 001 MET PPN IS VERPLICHT,
MAAR ONTBREEKT 
-000 0 nx 22 u 4500
-008 01411240u 0 0001uu 0150501
-852 8 AGRAaGORbNL-0870510000hARIAi02p420008047309-zTIJBau
##TitleSequenceNumber 1145
-000 0 nx 22 u 4500
-008 01411240u 0 0001uu 0150501
-852 8 AGRAaGORbNL-0870510000hARIAi02p420008047309zTIJBau

Uitleg foutmelding:
Het PPN ontbreekt in de aangeleverde titel. Dit is veld 001.

Oplossing
Check in het lokale systeem of een PPN aanwezig is. Zo niet, zoek in het GGC of WebGGC naar de juiste titel, neem het PPN over en voeg deze toe in het lokale systeem. Als in het GGC geen bruikbaar record voorkomt, voeg een nieuw record toe in het GGC en neem dit PPN over naar het record in het lokale systeem.

Foutmeldingen in de error file van de match&merge

Voorbeeld uit de error file van de match&merge Voorbeeld uit het corresponderende xslt bestand
##TitleSequenceNumber 2776
##TTLtype standard
#ILN 385 Error from CSMTCResolve in
CSMTCMergeTitlesCount : MERGING ERROR:
209G/01-999+201B/01-999 absent in dbase title
-001U 0utf8
-002@ 0Aap
-003@/01 0327944048
-042@ 0DE
-101@ a385
-201E/01 020-11-12t00.00.00.000
-201U/01 0utf8
-208@/01 a20-11-12bcB
-209A/01 b3099aTHIJSfVNdix00
-209B/01 aNIJx05
-209B/01 aBNIx12
-209G/01 a690005723342
##TitleSequenceNumber 2776
-000 0 dx 22 u 4500
-001 0327944048
-008 01211200u 0 0001uu 0150501
-035 a(NL-LdNBD)2010261594 
2011 2e dr
7.98 ga
-035 a(NL-LeOCL)327944048
-852 8 ABNIaNIJbNL-0830990000hTHIJSp690005723342zVNBbu

Uitleg foutmelding:
Aan dit record hangt in het GGC geen enkel exemplaarblok meer van de desbetreffende bibliotheek. Derhalve kan op de aangeleverde barcode in de database geen match gevonden worden

Oplossing
Dit exemplaar heeft een delete code (042@ 0DE) en moet verwijderd worden. Het exemplaar blijkt in een eerdere actie al verwijderd te zijn. 
##TitleSequenceNumber 2869
##TTLtype standard
#ILN 385 Error from CSMTCResolve in
CSMTCMergeTitlesCount : MERGING ERROR: extra
209G/01-999+201B/01-999 present in signal title
-001U 0utf8
-002@ 0Aap
-003@/01 0301198047-101@ a385
-042@ 0DE
-201E/01 027-04-07t00.00.00.000
-201U/01 0utf8
-208@/01 a27-04-07bcB
-209A/01 b3099dix00
-209B/01 aNIJx05
-209B/01 aBNIx12
-209G/01 ae0040100103c0c0a
##TitleSequenceNumber 2869
-000 0 dx 22 u 4500
-001 0301198047
-008 00704270u 0 0001uu 0150501
-035 a(NL-LdNBD)2006441220
-035 a(NL-LeOCL)301198047
-852 8 ABNIaNIJbNL-0830990000pe0040100103c0c0aBbu

Uitleg foutmelding:
Aan dit record hangen één of meerdere exemplaarblokken van de desbetreffende bibliotheek, maar de opgegeven barcode komt niet voor. Voor de barcode in het aangeleverde record kan geen match geworden in het GGC.

Oplossing
Dit exemplaar heeft een delete code (042@ 0DE) en moet verwijderd worden. Het exemplaar blijkt in een eerdere actie al verwijderd te zijn. 
Gecheckt kan worden of de barcode aanwezig is in een van de andere exemplaren, bijvoorbeeld bij een andere vestiging of ander GGC-record. Zo ja, vergelijk dan de exemplaren in het lokale systeem en in het GGC of WebGGC met elkaar en zorg, indien nodig, voor een update vanuit het locale systeem.
In het GGC kan de barcode gezocht worden met: z zeb [barcode]
In WebGGC kan de barcode gezocht worden door zeb [barcode] in te tikken in de zoekbalk.

Foutmeldingen in de ‘geenhitopppn’-file

Voorbeeld uit de geenhitopppn file Voorbeeld uit het corresponderende xslt bestand
DROP
 TtlSeqNr=24 ILN=460 
001U  $0utf8 
002@  $0Aap 
003@/01  $0280 
042@  $0NN 
201U/01  $0utf8 
208@/01  $a10-02-20 $bcB 
209A/01  $b7111 $aRijexamens $fVEV $du $x00 
209B/01  $aHBC $x05 
209B/01  $aBB $x12
209G/01  $a10000044249730
##TitleSequenceNumber 23
 000 ¬0     cx   22     u  4500
 001 ¬0280
 008 ¬02002100u    0   0001uu   0201117
 035   ¬a(NL-LdNBD)2019403679
 035   ¬a(NL-LeOCL)280
 852 8 ¬ABB¬aHBC¬bNL-0871110000 ¬hRijexamens¬i2020-p10000044249730¬sV340¬zVEV¬Bau

Uitleg foutmelding:
Het record bevat een update op het exemplaar, maar deze kan niet ingevoerd of aangepast worden omdat tijdens het inleesproces het PPN uit het record niet in het GGC is gevonden.

Oplossing
Check in het lokale systeem of een correct PPN aanwezig is. Zo niet, zoek in GGC of WebGGC naar de juiste titel, neem het PPN over en voeg deze toe in het lokale systeem. Als in het GGC geen bruikbaar record voorkomt, voeg een nieuw record toe in het GGC en neem dit PPN over naar het record in het lokale systeem.
Als het record alleen voor lokaal gebruik bedoeld is en niet gesynchroniseerd hoeft te worden met het GGC, dan is geen actie nodig.
DROP
 TtlSeqNr=91 ILN=459 
001U  $0utf8 
002@  $0Aap 
003@/01  $0812 
042@  $0DE 
201E/01  $005-12-16 $t00.00.00.000 
201U/01  $0utf8 
208@/01  $a05-12-16 $bcB 
209A/01  $b3482 $di $x00 
209B/01  $aRIJ $x05 
209B/01  $aTH5 $x12
209G/01  $a10000037460218  
##TitleSequenceNumber 91
 000 ¬0     dx   22     u  4500
 001 ¬0812
 008 ¬01612050u    0   0001uu   0201117
 035   ¬a(NL-LdNBD)2016242781
 035   ¬a(NL-LeOCL)812
 852 8 ¬ATH5¬aRIJ¬bNL-0834820000¬p10000037460218¬Bbu 

Uitleg foutmelding:
Het record bevat een delete van een exemplaar, maar deze kan niet verwijderd worden omdat tijdens het verwerkingsproces het PPN uit het record niet in het GGC is gevonden.

Oplossing
Dit exemplaar heeft een delete code (042@ 0DE) en moet verwijderd worden. Het exemplaar blijkt in een eerdere actie al verwijderd te zijn of het PPN is incorrect.
Omdat het record een delete exemplaar bevat die niet aanwezig is in het GGC, is verder geen actie nodig.