Automatizační nástroj je uchován na Githubu v repozitáři pywb, vlastněným organizací WebarchivCZ.
+Služba pywb je provozovaná z docker image vytvořeném tvůrcem pywb Ilya Kreymer. Všechny dostupné tagy obrazu jsou zveřejněné na Dockerhub. V okamžiku psaního tohoto dokumentu byla nejnovější verze pywb 2.7.4.
+Material for MkDocs je framework nad MkDocs který z Markdown dokumentace vytváří statickou stránku. Dokumentace je uchována ve složce
+./docs.
Příkaz ./mkdocs.sh spustí lokální dokumentaci na adrese http://0.0.0.0:8000/
Github Pages umožňuje hostování statickým webů z githubu. Včetně právě čtené Dokumentace.
+mkdocs.yml # The configuration file.
+docs/
+ index.md # The documentation homepage.
+ ... # Other markdown pages, images and other files.
+Traefik směřuje požadavky vůči serveru na konkrétní služby jako je např. pywb.
+Jenkins file instruuje https://jenkins.webarchiv.cz běžící na wa-dev-docker00.
+/home/ansible/pywb/run-test.sh/home/ansible/pywb/run-prod.shpywb: http://10.3.0.21:443 +traefik dashboard: http://10.3.0.21
+pywb: https://pywb.webarchiv.cz - veřejný +Traefik dashboard: https://pywb.webarchiv.cz/traefik/ - z knihovny nebo VPN, může být i veřejný
+ + + + + + + + + + + + + +Sklizně jsou rozdělené do let a jsou v režimu read-only. Vyjímkou je vždy aktuální rok.
++++
+- +
05- Read-only sklizně z roku 2005, navíc obsahuje všechny sklizně před rokem 2005.- +
06- Read-only sklizně z roku 2006- +
23- Read-only sklizně z roku 2023- +
24- Read/Write sklizně z roku 2024 (aktuální rok).
S postupem času přibývali nové typy sklizní a strategie sklízení. Změnil se archviní formát z ARC do WARC s přechodem na Heritrix 3. Nyní je na zvážení používání archivního formátu WACZ.
+Typy sklizní jsou popsány na stránkách českého webového archivu. Obecně se dá říci, že výběrové sklizně jsou sklizně, u kterých je vyjednáno zpřístupnění archivovaného obsahu veřejnosti a webový archiv je sklízí periodicky. Tématické a celoplošné sklizně obsahují převážně data, k nímž v čase archivace nebylo vyjednáno zpřístupnění veřejnosti, ale mohou se okrajově překývat se zdroji, ke kterým bylo vyjednáno zpřístupnění veřejnosti. V referenčním centru Národní knihovny je dostupný i archivní obsah, který nebyl vyjednán k zveřejnění a který není omezen z jiných důvodů. Takto popsaný režim přístup vychází z české legislativy.
+V současné době se archiv obvykle skládá z následujících strategií sklizní. Výběrové sklizně jsou v drtivém případě realizované v rámci sklizní ve složce serials, Celoplošné sklizně v rámci složky totals. Ostatní sklizně plní primárně Tématické sklině. Koncový uživatel webového archivu neví, v rámci jaké sklízecí strategie a v rámci kterého typu sklizně byla data získána. To je technický údaj, který není dostupný pomocí OpenWayback. V rámci Pywb je určitá šance, tuto informaci zpřístupnit.
serials - Výběrové sklizně.tests - testovací, technické sklizně na zvážení zda je možné webovou stránku archivovat v dostačující kvalitě.topics- Tématické sklizněcontinuous - průběžné sklizně NewsDigest - Tématické sklizněcontinuous-cov19 - průběžné sklizně k tématu Covid 2019 - Tématické sklizněcontinuous-ukrainewar - průběžné sklizně k tématu válka na Ukrajině - Tématické skliznětotals - Celoplošné sklizněmanuals - ruční sklizně - Tématické sklizně & z malé části výběrové sklizně/index/ - SSD disk připojený pro rychlou práci s indexem/mnt/archive/ - Obsahuje sklizené archivy pro každý rok. Každý rok je připojený přes NFSv4./webarchive/config.yaml - konfigurační soubor/webarchive/collections/ - adresář se všemi namapovaný kolekcemi z /mnt/archiveOficiální Pywb dokumentace: Dynamic Collections and Automatic Indexing
+ + + + + + + + + + + + + + +S archivem se interaguje skrze uživatelepywb-test a pywb-prod. Přihlášení probíhá skrve osobního uživatele a pak se použije sudo su - pywb-test nebo sudo su - pywb-prod k získání terminálu pywb. Existují jen produkční kolekce, v nich vytvořené indexi a z kolekcí směřují symbolické odkazy do úložiště. Samotný pywb běží v oddělených kontejnerech, takže je možné konfigurace testovat bez vlivu na produkční prostředí. Nicméně nástroje ./collection-manager a ./cdxj-manager pracují jen se sdílenou reprezentací data. Pokud by bylo k dispozici dost místa, je možné vytvořit /mnt/index/collections-test a připravit paralelní kolekce pro testování. Jelikož nástroj uchovává již vytvořené indexi v adresáři /mnt/index/cdxj-archive/, je možné přepoužít již hotové indexy v alternativních kolekcích.
Většina následujících nástrojů vytváří dlouhoběžící procesy. Proto je dobré používat tmux. Ten umožňuje se odpojit od terminálu aniž by byli zabit dlouhodobý proces. A je možné se k terminálu s běžícím procesem opět kdykoliv připojit.
+Vytvoření nového okna v tmuxu
pywb-test@war2:~$ tmux
+Odchod z Tmux terminálu bez ukončení běžících procesů.
+pywb-test@war2:~$ ^b d
+/// tedy zmáčknou CTRL+b a poté d.
+Ukočení Tmux terminálu (všechny procesy v terminálu budou ukončeny).
+pywb-test@war2:~$ exit
+Přiojit se k Tmux terminálu
+pywb-test@war2:~$ tmux attach
+Práce s více tmux terminály
+pywb-test@war2:~$ tmux ls
+10: 1 windows (created Sat Jan 4 00:45:03 2025) (attached)
+11: 1 windows (created Sun Jan 5 20:04:26 2025)
+6: 1 windows (created Fri Jan 3 17:09:01 2025) (attached)
+7: 1 windows (created Fri Jan 3 17:09:20 2025) (attached)
+pywb-test@war2:~$ tmux a -t 11
+Slouží ke správě kolekcí. Každá kolekce umožní zobrazit pouze archivní data, které do ní patří. Pokud by byli všechny data jen v jedné kolekci, nebylo by například možné oddělit celoplošné sklizně od tématických sklizní při kontrole kvality sklizně.
+V praxi nástroj hledá soubory *.warc.gz|*.arc.gz ve vybraném úložišti. A pomocí sady pravidel vytvoří kolekci pro dané archivy. V kolekci vytvoří složky archive a indexes. A do složky archive vytvoří symbolické odkazy vedoucí do úložiště. Tímto způsobem pywb okamžitě vidí nové kolekce. A jakmile dojde k vytvoření indexu dané kolekce, je možné procházet jak samotnou kolekci, tak použít souhrnou kolekci /wayback/, která zobrazí všechny kolekce.
Úložiště je po řadě incidentů fragmentováno i mimo obvyklou strukturu /mnt/archiv/{05..25}. Collection manager s touto situací umí pracovat. Pří zpracování roku úložiště má předkonfigurované cesty, kde se archivy nacházejí. P
case $param in
+ 13)
+ ARCHIVE_YEAR=13
+ SEARCH_ROOT_DIR=/mnt/datas/178/archive13
+ ;;
+ 14)
+ ARCHIVE_YEAR=14
+ SEARCH_ROOT_DIR="/mnt/datas/178/archive14 /mnt/datas/178/archive14 /mnt/datas/178/archive14Serials /mnt/datas/178/Archive14NDK-part /mnt/datas/180"
+ ;;
+pywb-test@war2:~$ ./collection-manaager.sh 14
+Processing Archive: 14. Mounted at /mnt/datas/178/archive14 /mnt/datas/178/archive14 /mnt/datas/178/archive14Serials /mnt/datas/178/Archive14NDK-part /mnt/datas/180. Time for coffer break.
+Kolekce mají prefix ve formátu YY, ten odkazuje na rok úložitě. Prefix snižuje šanci na kolizi názvů kolekcí, ale možnost kolizce není zcela vyloučena. Je ale možné vytvořit kolekci bez prefixu, pokud se jedná například o tématickou sklizeň napříč roky. Jde ale spojit Prezidenské volby z různých let do jedné kolekce.
pywb-test@war2:/mnt/index/collections$ ls -1 *Serials* |grep Serials
+05-Serials:
+06-Serials:
+07-Serials:
+08-Serials:
+09-Serials:
+10-Serials:
+Jedna kolekce může obsahovat více sklizní. Například všechny sklizně obsahující název Serials nebo serials, jsou uchovány v jedné kolekci Serials pro daný rok. Např. /mnt/index/collections/05-Serials/archive/ obsahuje archivy ze sklizní 2005-12-24-serials, 2004-05-00-serials a 2005-06-12-serials uložených v /mnt/archive/05/.
IAH-20051224150339-00009-harvester.nkp.cz.arc.gz -> /mnt/archive/05/serials/2005-12-24-serials/IAH-20051224150339-00009-harvester.nkp.cz.arc.gz
+NEDLIB--20051117164000-00000.arc.gz -> /mnt/archive/05/serials/2004-05-00-serials/NEDLIB--20051117164000-00000.arc.gz
+neuroacta-20050617160122-00001.arc.gz -> /mnt/archive/05/serials/2005-06-12-serials/neuroacta-20050617160122-00001.arc.gz
+Všechny kolekce existují v adresáři /mnt/index/collections. Pywb umožňuje jen plochou strukturu kolekcí. Proto kolekce používají prefix roku, kde byl obsah archivován.
+Příkad:
pywb-test@war2:/mnt/index/collections$ ls
+05-cz 05-militaria-20041212 06-estonia 06-Serials 06-zive_servery 07-Serials
+05-cz2004 05-Serials 06-harvest0 06-slovakia 07-cz2007 08-cz2008
+05-cz2005 05-vysocina 06-idnes 06-slovenia 07-MICR
+05-dalimil 06-cz2006 06-Ikaros 06-univerzity 07-novaBudovaNK
+05-info_muni 06-czech 06-povodne 06-volby2006 07-olympiadaPraha
+
+pywb-test@war2:/mnt/index/collections$ tree -d
+.
+├── 05-cz
+│ ├── archive
+│ └── indexes
+├── 05-cz2004
+│ ├── archive
+│ └── indexes
+├── 05-cz2005
+│ ├── archive
+│ └── indexes
+├── 05-dalimil
+│ ├── archive
+│ └── indexes
+├── 05-info_muni
+│ ├── archive
+│ └── indexes
+├── 05-militaria-20041212
+│ ├── archive
+│ └── indexes
+├── 05-Serials
+│ ├── archive
+│ └── indexes
+├── 05-vysocina
+│ ├── archive
+│ └── indexes
+...
+Uživatelé pywb-test a pywb-prod mají přístup k nástroji collection-manager.sh ze své domovské složky.
./collection-manaager.sh 24
+for archive in 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24; do ./collection-manaager.sh ${archive}; done
+Výstup po vytváření kolekce.
+pywb-test@war2:~$ for archive in 05 06 07 08 09 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24; do ./collection-manaager.sh ${archive}; done
+Processing Year: 05
+Processing Year: 06
+Processing Year: 07
+Processing Year: 08
+Processing Year: 09
+Processing Year: 10
+Processing Year: 11
+find: ‘/mnt/archive/11/.mmbackupCfg/prepFiles’: Permission denied
+find: ‘/mnt/archive/11/.mmbackupCfg/expiredFiles’: Permission denied
+find: ‘/mnt/archive/11/.mmbackupCfg/updatedFiles’: Permission denied
+Processing Year: 12
+Processing Year: 13
+Processing Year: 14
+Processing Year: 15
+Processing Year: 16
+Processing Year: 17
+Processing Year: 18
+Processing Year: 19
+Processing Year: 20
+Processing Year: 21
+Processing Year: 22
+Processing Year: 23
+Processing Year: 24
+pywb-test@war2:~$
+Je wrapper nástroje cdxj-indexer. Slouží k vytvoření indexu pro danou kolekci. Index je nutný pro zobrazení archivních dat. Indexování je časově náročný proces.
+Nástroj nejdříve zkontroluje zda-li index pro daný archiv již neexistue v adresáři /mnt/index/cdxj-archive/. Pokud existuje, zkopíruje již existující index do kořene adresáře kolekce /mnt/index/collections/{{collection}/. Pokud index neexistuje, nástroj vytvoří index do kořene adresáře kolekce /mnt/index/collections/{{collection}/. Zda-li byl index vytvořen nebo zkopírován je zaznamenán do logu /mnt/index/collections/{{collection}/${date -u --iso-8601}.log.
V logu je možné zjistit živá data z probíhající indexace.
+pywb-test@war2:/mnt/index/collections$ tail -f 05-cz/2025-01-05.log
+[2025-01-05T20:29:11+00:00] Processing /mnt/index/collections/05-cz/archive/NEDLIB--20051122211225-00000.arc.gz into /mnt/index/collections/05-cz/NEDLIB--20051122211225-00000.arc.gz.cdxj
+[2025-01-05T20:29:13+00:00] Processing /mnt/index/collections/05-cz/archive/NEDLIB--20051130094855-00000.arc.gz into /mnt/index/collections/05-cz/NEDLIB--20051130094855-00000.arc.gz.cdxj
+[2025-01-05T20:29:15+00:00] Processing /mnt/index/collections/05-cz/archive/NEDLIB--20051209053122-00000.arc.gz into /mnt/index/collections/05-cz/NEDLIB--20051209053122-00000.arc.gz.cdxj
+Jakmile jsou všechny indexy archivy v kolekci vytvořené. Nástroj setřídí všechny *.arc.gz a *.warc.gz do souboru /mnt/index/collections/{{collection}/indexes/index.cdxj. A poté přesune indexy do /mnt/index/cdxj-archive/.
Všechny chybové zprávy vzniklé při indexaci jsou uchovány /mnt/index/cdxj-archive/logs/{ARCHIVE_NAME}.cdxj.stderr.
pywb-test@war2:~$ ./cdxj-manager.sh 05-cz
+Indexace všech kolekcí z roku 05.
+pywb-test@war2:~$ for collection in $(ls /mnt/index/collections/ |grep ^05-*); do ./cdxj-manager.sh $collection; done
+[2025-01-05T20:14:38+00:00] Processing 05-cz
+MementoAPI poskytuje informace o URL. Výstup obsahuje informace o URL, kolekci, časové známce a kolekci.
+pywb-test@war2:~$ curl http://10.3.0.21:443/wayback/timemap/link/http://underground.cz/814
+<http://10.3.0.21:443/wayback/timemap/link/http://underground.cz/814>; rel="self"; type="application/link-format"; from="Sun, 14 Jul 2002 18:04:22 GMT",
+<http://10.3.0.21:443/wayback/http://underground.cz/814>; rel="timegate",
+<http://underground.cz/814>; rel="original",
+<http://10.3.0.21:443/wayback/20020714180422mp_/http://underground.cz/814>; rel="memento"; datetime="Sun, 14 Jul 2002 18:04:22 GMT"; collection="05-cz"
+pywb-test@war2 curl -s '10.3.0.21:443/wayback/cdx?url=www.facebook.com/legal/terms&output=json'
+vrací
+{
+ "urlkey": "com,facebook)/legal/terms",
+ "timestamp": "20221209191852",
+ "url": "https://www.facebook.com/legal/terms",
+ "mime": "text/html",
+ "status": "200",
+ "digest": "GRUWGB5ZAMAPKEAC2DOOD2AEY7M6P2EZ",
+ "length": "290673",
+ "offset": "496164353",
+ "filename": "rec-20221209182111914788-65f062a0d7a3.warc.gz",
+ "source": "1222_prezident23/indexes/index.cdxj",
+ "source-coll": "1222_prezident23",
+ "access": "allow"
+}
+++[!WARNING] +Tento nástroj je omezený počtem paměti serveru. Proto se nehodí na větší sklizně. S každým novým archivem v kolekci, stoupa spotřeba paměti. Nástroj ./cdxj-manager.sh by měl být spolehlivější..
+
Je wrapper nástroje pywb manager. Slouží k vytvoření indexu pro danou kolekci. Index je nutný pro zobrazení archivních dat. Indexování je časově náročný proces. Indexování je možné spustit pro jednu kolekci.
+Wrapper spustí příklaz wb-manager reindex uvnitř kontejneru pywb. Příkaz vyžaduje název kolekce. Název kolekce je název složky v adresáři /mnt/index/collections/. Wrapper na konci indeakce vypíše dobu trvání indexace a všechny chyby uloží do složky /home/{pywb-test|pywb-prod}/logs/, dle uživatele, který nástroj spustil.
pywb-test@war2:~$ ./wb-manager-reindex.sh 05-cz
+indexing collection: 05-cz
+
+pywb-test@war2:~$ for collection in /mnt/index/collections/{05,06,07,08,09,10,11,12}*; do ./wb-manager-reindex.sh $(basename ${collection}); done
+indexing collection: 05-cz
+Výstup seznamu nalazených kolekcí.
+pywb-test@war2:~$ for collection in /mnt/index/collections/{05,06,07,08,09,10,11,12}*; do echo $(basename ${collection}); done
+05-cz
+05-cz2004
+05-cz2005
+05-dalimil
+05-info_muni
+05-militaria-20041212
+05-Serials
+05-vysocina
+06-cz2006
+06-czech
+06-estonia
+06-harvest0
+06-idnes
+06-Ikaros
+06-povodne
+06-Serials
+06-slovakia
+06-slovenia
+06-univerzity
+06-volby2006
+06-zive_servery
+07-cz2007
+07-MICR
+07-novaBudovaNK
+07-olympiadaPraha
+07-Serials
+08-cz2008
+08-novaBudovaNK
+08-novaBudovaSTK
+08-Serials
+08-volba-prezident-2008
+08-vyroci68
+09-cz2009
+09-evropskeVolby2009
+09-komunismusIdnes
+09-liberec
+09-novaBudovaNK
+09-novaBudovaSTK
+09-predsednictviEU
+09-selectedSites
+09-selective
+09-Serials
+09-testing
+10-cz2010
+10-Serials
+11-ArchiveIt
+11-cz2011
+11-Havel-2011
+11-Serials
+11-test_files
+12-ArchiveIt
+12-Bloguje-2012
+12-Extras
+12-Havel-2011
+12-NKP-2012
+12-Serials
+12-testCrawls
+