soubor 8 GiB, Java heap 256 MiB
LogoRRR 26.8.0 · naměřený výkon
Celý soubor se už nemusí
vejít do Java heap.
Otevřete několik GiB velký log, přejděte doprostřed nebo na konec – Java heap zůstane omezená. Největší testovaný soubor měl 8 GiB při limitu Java heap 256 MiB.
$ open production.log
- soubor
- 8 GiB
- limit Java heap
- 256 MiB
- první okno
- 155 ms
- využitá Java heap
- 3.62 MiB
- PSS procesu
- 159.2 MiB
začátek · střed · konec k dispozici
test 8 GiB s omezenou pamětí
po otevření začátku, středu a konce
26.8.0 oproti 26.2.0 se souborem 2 GiB
Architektura
Od celého souboru v paměti ke čtení jen potřebné části
Před verzí 26.8.0 znamenal větší soubor přímo miliony dalších uchovávaných objektů řádků. Out-of-core engine udržuje omezenou pracovní sadu a požadovaná okna čte ze zdroje až podle potřeby.
soubor logu→všechny řádky→Java heap
Testovací soubor 2 GiB zabral přibližně 3,21 GiB Java heap. U souboru 4 GiB všechny tři vydané verze vyčerpaly Java heap o velikosti 4 GiB.
soubor logu⇄omezená okna→zobrazení
Po otevření začátku, středu a konce 8GiB souboru zůstalo v Java heap jen 3.62 MiB, přestože její limit činil 256 MiB.
Stejný soubor · stejná Java heap 4 GiB
Jeden 2GiB log ve čtyřech generacích LogoRRR
Každá hodnota je mediánem tří úspěšných spuštění po vyprázdnění mezipaměti daného souboru. Menší rozsah uvádí nejrychlejší a nejpomalejší naměřené spuštění.
| Verze | Engine | Připraveno | Využitá Java heap | Maximum PSS | Spuštění |
|---|---|---|---|---|---|
| 24.4.0 | celý v paměti | 7.66 s | 3.08 GiB | 4.19 GiB | 3 |
| 25.2.0 | celý v paměti | 8.41 s | 3.21 GiB | 4.21 GiB | 3 |
| 26.2.0 | celý v paměti | 9.89 s | 3.21 GiB | 4.21 GiB | 3 |
| 26.8.0 | out-of-core | 144 ms | 3.58 MiB | 159.2 MiB | 3 |
Použitelná data byla k dispozici 69× rychleji a využitá Java heap byla 918× menší. Srovnání používá soubor 2 GiB a porovnává 26.8.0 s nejnovější vydanou verzí v testu, tedy 26.2.0.
Původní paměťový limit
Vydané verze u 4 GiB vyčerpají Java heap; 26.8.0 pokračuje
S Java heap 4 GiB prošly všechny verze testem 2GiB souboru. U souboru 4 GiB všechny enginy uchovávající celý obsah v paměti tuto kapacitu vyčerpaly. Nový engine prošel testy 4 GiB i 8 GiB.
| Soubor | 24.4.0 | 25.2.0 | 26.2.0 | 26.8.0 |
|---|---|---|---|---|
| 500 MiB | ✓ Úspěch | ✓ Úspěch | ✓ Úspěch | ✓ Úspěch |
| 1 GiB | ✓ Úspěch | ✓ Úspěch | ✓ Úspěch | ✓ Úspěch |
| 2 GiB | ✓ Úspěch | ✓ Úspěch | ✓ Úspěch | ✓ Úspěch |
| 4 GiB | × Java heap vyčerpána | × Java heap vyčerpána | × Java heap vyčerpána | ✓ Úspěch |
| 8 GiB | — Znovu netestováno | — Znovu netestováno | — Znovu netestováno | ✓ Úspěch |
Jakmile některá verze vyčerpala Java heap, větší soubory byly označeny jako „znovu netestováno“, aby se neopakovala stejná chyba.
Test s omezenou pamětí
Osmkrát větší soubor, téměř stejná spotřeba paměti
LogoRRR 26.8.0 běželo s limitem Java heap 256 MiB. Při růstu souboru z 1 GiB na 8 GiB zůstala využitá Java heap okolo 3,6 MiB a celkové PSS procesu okolo 159 MiB.
1 GiB
- začátek
- 152 ms
- střed
- 13 ms
- konec
- 6 ms
- Java heap
- 3.56 MiB
- PSS
- 157.3 MiB
2 GiB
- začátek
- 146 ms
- střed
- 13 ms
- konec
- 7 ms
- Java heap
- 3.58 MiB
- PSS
- 160.0 MiB
4 GiB
- začátek
- 146 ms
- střed
- 14 ms
- konec
- 9 ms
- Java heap
- 3.59 MiB
- PSS
- 158.9 MiB
8 GiB
- začátek
- 155 ms
- střed
- 18 ms
- konec
- 12 ms
- Java heap
- 3.62 MiB
- PSS
- 159.2 MiB
Každá hodnota je mediánem tří spuštění. Tabulka metodiky níže uvádí naměřené rozsahy pro každé okno.
Současné praktické omezení
Tempo určuje úložiště, ne paměť rostoucí s velikostí souboru
První okno lze vrátit bez čtení celého zdroje. Operace, které musí zkontrolovat každý bajt, ale stále závisí na disku a souborovém systému.
V samostatném testu přesného hledání v souboru 500 MiB se první shoda objevila za 3.38 s. Úplné prohledání trvalo 34.8 s při rychlosti 14.4 MiB/s.
první shoda3.38 s
úplné prohledání34.8 s
deterministický soubor 500 MiB · medián tří spuštěníMetodika a původ dat
Opakovatelná měření se záměrně konzervativními hranicemi
Test spouští skutečný kód loaderu z každého buildu nad deterministickými, fyzicky alokovanými soubory. Každé spuštění používá samostatnou JVM a údaje o paměti procesu pocházejí z operačního systému.
Řízený vstup
Deterministické řádky logu v UTF-8 s pevnou délkou, uložené ve fyzicky alokovaných souborech vytvořených před měřením.
Pravidla studeného souboru
Před každým spuštěním se vyprázdní mezipaměť operačního systému pro daný soubor; globální mezipaměť se nemaže.
Paměť procesu
Využitá Java heap se měří po garbage collection. Maximum proportional set size (PSS) se čte z /proc/<pid>/smaps_rollup.
Dvě testovací řady
S Java heap 4 GiB se porovnají všechny verze až do bodu selhání. Samostatná řada omezí 26.8.0 na 256 MiB a testuje soubory 1, 2, 4 a 8 GiB.
| Soubor | První okno | Střed | Konec | Využitá Java heap | Maximum PSS |
|---|---|---|---|---|---|
| 1 GiB | 152 ms 149–159 | 13 ms 12–14 | 6 ms 6–7 | 3.56 MiB | 157.3 MiB |
| 2 GiB | 146 ms 143–146 | 13 ms 12–13 | 7 ms 7–7 | 3.58 MiB | 160.0 MiB |
| 4 GiB | 146 ms 141–153 | 14 ms 13–15 | 9 ms 9–10 | 3.59 MiB | 158.9 MiB |
| 8 GiB | 155 ms 153–157 | 18 ms 15–18 | 12 ms 12–12 | 3.62 MiB | 159.2 MiB |
Prostředí
Ubuntu 24.04.4 LTS, aarch64, 8 logical CPUs, openjdk version "25.0.2" 2026-01-20.
Buildy
- 24.4.0 — vydáno 2024-06-06, balíček
logorrr_24.4.0_arm64.deb, SHA-25627a4aea231dc78ba4b3838cc57361728bc714926f9270731bd7637eba8dda065 - 25.2.0 — vydáno 2025-12-23, balíček
logorrr_25.2.0_arm64.deb, SHA-256f8de52dccb4224a25b0689aaef9d64618e98102d7134e637b249d1830c516fb1 - 26.2.0 — vydáno 2026-03-03, balíček
logorrr_26.2.0_arm64.deb, SHA-256cfec5dd09753ba90167199aa5d94f388448fc518f7629bf598b7debb01489cca - 26.8.0 — snímek zdrojového kódu z dokončovací fáze vydání
f5e31853, sestaveno a změřeno jako 26.8.0
Identifikace dat
SHA-256 srovnání: 7de25d018ba40d51504ccd265f03a5ef8167bd9ae52d543e66880444d5223024
SHA-256 zátěžového testu: 7f480db156fd24d6fa3d6946ea24c003ae8dd54abff5a3621c646aff2b58281e
Tyto výsledky platí pro daný soubor, počítač a postup, nikoli pro každý disk či pracovní zátěž. „Omezeno úložištěm“ znamená, že největší testovaná velikost souboru už není úměrná využité Java heap; operace nad celým zdrojem stále závisí na propustnosti úložiště. Největší testovaný soubor: 8 GiB.
LogoRRR Pro
Otevřete log, který byl dříve příliš velký
Přístup k celému souboru je součástí LogoRRR Pro. Bezplatný náhled zůstává záměrně omezený, abyste si mohli vyzkoušet pracovní postup před odemčením velkých souborů.