Jak utworzyć archiwum internetowe za pomocą Archivebox

Archivebox to łatwy w użyciu program archiwizujący, który pozwala na utworzenie dokładnej migawki dowolnej witryny internetowej. Może to być pomocne dla archiwistów i użytkowników, którzy chcą zachować informacje w Internecie. Co więcej, Archivebox jest również niezwykle prosty i łatwy w użyciu. Na przykład możesz uruchomić program zarówno jako narzędzie wiersza poleceń, jak i aplikację internetową, do której możesz uzyskać dostęp z dowolnego miejsca.

Treść

Dlaczego warto archiwizować strony internetowe?
Wymagania Archivebox
Instalowanie Archiveboxa
Przygotowanie internetowego GUI
Archiwizacja Twojej pierwszej witryny internetowej
Dostosowywanie Archiveboxa
Często Zadawane Pytania

Dlaczego warto archiwizować strony internetowe?

Przez lata sieć WWW umożliwiała użytkownikom na całym świecie łatwe udostępnianie i komunikowanie się ze sobą informacjami. Jednym z problemów związanych z Internetem jest jednak to, że strony internetowe nie wytrzymują upływu czasu.

Większość witryn internetowych pozostaje aktywna tylko przez około dwa do pięciu lat. Następnie albo całkowicie przestają działać w trybie offline, albo zostają całkowicie zastąpione inną witryną. Na przykład niewiele jest witryn internetowych z lat 90. XX wieku, które nadal są dostępne w Internecie.

Alternatywnie możesz także użyć urządzenia WayBack do archiwizacji stron internetowych - nie jest wymagana instalacja.

Wymagania Archivebox

Zanim będziesz mógł zainstalować Archivebox, musisz upewnić się, że masz następujące zasoby:

Maszyna, do której możesz uzyskać dostęp spoza sieci domowej. Może to być albo maszyna w domu, którą możesz przekierować, albo wynajęty zdalny VPS.
Twoja maszyna musi mieć odpowiednią ilość miejsca do przechowywania. W większości przypadków dysk o pojemności 1 TB powinien pomieścić od 100 000 do 1 000 000 pojedynczych stron internetowych.
Aby Archivebox działał poprawnie, system plików Twojego komputera musi być EXT4 lub ZFS.

Uwaga: ten samouczek skupia się na instalacji i konfiguracji Archivebox na lokalnym komputerze z systemem Ubuntu 22.04 LTS.

Instalowanie Archiveboxa

Najpierw zainstaluj zależności programu. Otwórz terminal i wpisz następujące polecenie:

sudo apt install python3 nodejs python3-pip nginx npm
npm install --no-audit --no-fund 'git+https://github.com/gildas-lormeau/SingleFile.git'
npm install --no-audit --no-fund 'git+https://github.com/ArchiveBox/readability-extractor.git'
npm install --no-audit --no-fund '@postlight/mercury-parser'

Zainstaluj Archivebox poprzez Python PIP:

pip3 install archivebox
PATH=$PATH:/home/$USER/.local/bin

Następnie utwórz folder, w którym Archivebox zapisze wszystkie swoje dane. W moim przypadku tworzę katalog w katalogu „/home/archivebox”:

mkdir /home/$USER/abox-data && cd /home/$USER/abox-data

Na koniec możesz sfinalizować instancję Archivebox, uruchamiając następujące polecenie, aby pobrać i skonfigurować wszystkie poprawki Pythona, których program potrzebuje do uruchomienia na twoim komputerze.

archivebox init --setup

Zostaniesz poproszony o podanie danych pierwszego użytkownika.

Sprawdź, czy poprawnie zainstalowałeś Archivebox, uruchamiając:

archivebox --version

Przygotowanie internetowego GUI

Chociaż Archivebox doskonale sprawdza się jako narzędzie wiersza poleceń, możliwy jest również dostęp do programu poprzez interfejs sieciowy. Jest to przydatne, jeśli chcesz udostępnić Archivebox innym użytkownikom lub uzyskać dostęp do programu poza serwerem.

Aby hostować internetowe GUI, musisz utworzyć odwrotne proxy Nginx, aby przekierowywać cały przychodzący ruch sieciowy do demona Archivebox.

Utwórz nowy plik konfiguracyjny Nginx:

sudo nano /etc/nginx/sites-available/archivebox

Skopiuj i wklej następujący kod, zmieniając nazwa_serwera na własną nazwę domeny:

server {
       listen 80;
       listen [::]:80;
 
       root /home/archivebox/abox-data;
 
       server_name yetanotherarchivebox.xyz www.yetanotherarchivebox.xyz;
 
       location / {
                  proxy_pass http://127.0.0.1:8000;
       }
}

Włącz konfigurację Archivebox:

sudo ln -s /etc/nginx/sites-available/archivebox /etc/nginx/sites-enabled/

Uruchom ponownie Nginx i uruchom demona Archivebox:

sudo systemctl restart nginx
archivebox server 0.0.0.0:8000

Archiwizacja Twojej pierwszej witryny internetowej

Otwórz przeglądarkę internetową i uzyskaj dostęp do instancji Archivebox poprzez nazwę swojej domeny. W moim przypadku wybiorę plik „yetanotherarchivebox.xyz”.

Kliknij przycisk „ZALOGUJ SIĘ” znajdujący się w prawym górnym rogu strony.

Wprowadź dane użytkownika, aby zalogować się do narzędzia.

Zarchiwizuj swoją pierwszą witrynę internetową, naciskając przycisk „Dodaj” na górnym pasku bocznym strony.

Spowoduje to załadowanie dużego okna dialogowego, w którym możesz dodać listę łączy internetowych, które chcesz zarchiwizować. W moim przypadku dodaję „https://maketecheasier.com”.

Następnie możesz wybrać różne opcje archiwizacji swojej witryny. Możesz na przykład podać zestaw tagów dla swoich linków, aby je odpowiednio posortować.

Co więcej, możesz powiedzieć Archivebox, aby zapisał zawartość dowolnego bezpośredniego linku na stronie, którą chcesz zarchiwizować. Jest to przydatne w przypadkach, gdy chcesz zachować kontekst witryny internetowej.

Kliknij przycisk „Dodaj adresy URL i archiwum”, aby rozpocząć proces archiwizacji. W większości przypadków powinno to zająć tylko od jednej do dwóch minut.

Archiwizowanie witryny internetowej za pomocą wiersza poleceń

Aby zarchiwizować stronę internetową z wiersza poleceń, uruchom następujące polecenia:

cd /home/$USER/abox-data
archivebox add --depth=1 https://maketecheasier.com

Ponadto możesz także użyć komendy add, aby zarchiwizować listę łączy internetowych. Na przykład uruchomienie następującego polecenia powie Archiveboxowi zapisanie każdego łącza w moim pliku „bookmarks.txt”:

archivebox add < /home/$USER/bookmarks.txt

Wreszcie możliwe jest również utworzenie samodzielnego archiwum pojedynczej strony internetowej. Aby to zrobić, uruchom następujące polecenie:

archivebox oneshot https://maketecheasier.com

Dostosowywanie Archiveboxa

Możesz także dostosować sposób, w jaki Archivebox pozyskuje zapisywane strony. Na przykład możliwe jest zapisanie tylko zrzutu ekranu każdej archiwizowanej strony internetowej.

Jest to przydatne dla użytkowników, którzy chcą zaoszczędzić miejsce na dysku podczas przechowywania stron internetowych. Aby wyłączyć inne formaty, musisz uruchomić następujące polecenia:

archivebox config --set SAVE_WGET=False
archivebox config --set SAVE_WARC=False
archivebox config --set SAVE_PDF=False
archivebox config --set SAVE_SINGLEFILE=False
archivebox config --set SAVE_READABILITY=False
archivebox config --set SAVE_MERCURY=False

Dodawanie nowego użytkownika w Archivebox

Aby dodać nowego użytkownika, wróć do internetowego interfejsu GUI i kliknij przycisk „ADMIN” na górnym pasku strony.

Po wejściu do panelu administracyjnego przejdź do kategorii „Uwierzytelnianie i autoryzacja” i wybierz „Użytkownicy”.

Spowoduje to wyświetlenie listy wszystkich aktywnych użytkowników w systemie. Wybierz przycisk „Dodaj użytkownika +” w prawym górnym rogu strony.

Podobnie jak w przypadku dodawania użytkowników do grupy Linux, proces tworzenia użytkowników w Archivebox może być skomplikowany. Mimo to nowy użytkownik do prawidłowego działania potrzebuje jedynie trzech rzeczy: nazwy użytkownika, hasła i zestawu uprawnień użytkownika.

Aby utworzyć nowego użytkownika, najpierw podaj hasło.

Następnie wybierz uprawnienia użytkownika dla tego konkretnego użytkownika. W większości przypadków wystarczy przełączyć następujące opcje dla zwykłego użytkownika:

core | archive result | Can add archive result
core | archive result | Can change archive result
core | archive result | Can view archive result
core | snapshot | Can add snapshot
core | snapshot | Can change snapshot
core | snapshot | Can view snapshot
core | tag | Can add Tag
core | tag | Can change Tag
core | tag | Can view Tag
sessions | session | Can add session
sessions | session | Can change session
sessions | session | Can view session

Podaj nazwę użytkownika dla nowego konta użytkownika. W moim przypadku używam imienia „Alicja”.

Na koniec wybierz przycisk „ZAPISZ” w prawym dolnym rogu strony, aby zastosować zmiany.

Często Zadawane Pytania

Jak mogę rozwiązać błąd „Nie udało się zainstalować pakietów Pythona”?

Dzieje się tak z powodu błędu w Archiveboxie, który uniemożliwia mu znalezienie poszukiwanych plików binarnych. Mimo to błąd ten dotyczy tylko niewielkiej części programu i nie narusza integralności archiwum.

Jednym ze sposobów ograniczenia tego problemu jest upewnienie się, że instalacja jest zawsze aktualna. Zrób to, uruchamiając pip3 install --upgrade Archivebox.

Jak mogę naprawić błąd „HTTPSConnectionPool” za każdym razem, gdy zapisuję witrynę internetową?

Ten błąd występuje, gdy witryna nie ma prawidłowej wersji protokołu HTTPS. Napraw ten problem, zmuszając Archivebox do archiwizacji poprzez HTTP. Na przykład uruchomienie archivebox add http://insecurewebsite.com wymusi na programie użycie protokołu HTTP.

Co mogę zrobić, jeśli moje nowe konto użytkownika nie może zarchiwizować witryny internetowej?

Najprawdopodobniej przyczyną tego problemu są brakujące ustawienia uprawnień na nowym koncie użytkownika. Jednym ze sposobów szybkiego rozwiązania tego problemu jest upewnienie się, że nowe konto użytkownika ma core | migawka | Można dodać uprawnienia do migawki.

Źródło zdjęcia: Unsplash. Wszystkie zmiany i zrzuty ekranu wykonał Ramces Red.