-
Data: 2009-10-17 21:42:54
Temat: Re: kompresja danych
Od: Wojciech Muła <w...@p...null.onet.pl.invalid> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]Mariusz Marszałkowski <m...@g...com> wrote:
> > Nie słyszałem o niczym takim. A co masz w tych wierszach?
> > Te wiersze się powtarzają?
>
> Np. jest 30 kolumn i 20mln wierszy. Dane często wyglądają tak,
> jakby sąsiadujące wiersze miały z dużym prawdopodobieństwem
> te sam wartości w kolumnach. Np. w kolumnie 3-ciej od wiersza
> 100 do 200 są same jedynki, w kolumnie 2 od wiersza 50 do 150
> są same zera. Wszystkie dane to mały podzbiór liczb całkowitych,
> powiedzmy o mocy kilkuset elementów.
Jakbyś pokazał przykładowe kilka tysięcy wierszy, to można
by coś konkretnego doradzić. RLE pewnie coś da, tylko nie
wiadomo czy dla wszystkich kolumn tak samo. Może pomogłaby
jakaś transformacja danych na poziomie kolumn albo wierszy.
Pytanie takie: spróbowałeś z istniejącymi bibliotekami
do kompresji, jak gzip, libzip, lzo? Może się sprawdzą.
w.
Następne wpisy z tego wątku
- 17.10.09 22:05 Mariusz Marszałkowski
- 18.10.09 00:55 Wojciech Muła
- 18.10.09 07:37 Mariusz Marszałkowski
- 17.10.09 14:08 Wiktor S.
- 18.10.09 17:11 Mariusz Marszałkowski
- 19.10.09 13:36 Daniel Janus
Najnowsze wątki z tej grupy
- Alg. kompresji LZW
- Popr. 14. Nauka i Praca Programisty C++ w III Rzeczy (pospolitej)
- Arch. Prog. Nieuprzywilejowanych w pełnej wer. na nowej s. WWW energokod.pl
- 7. Raport Totaliztyczny: Sprawa Qt Group wer. 424
- TCL - problem z escape ostatniego \ w nawiasach {}
- Nauka i Praca Programisty C++ w III Rzeczy (pospolitej)
- testy-wyd-sort - Podsumowanie
- Tworzenie Programów Nieuprzywilejowanych Opartych Na Wtyczkach
- Do czego nadaje się QDockWidget z bibl. Qt?
- Bibl. Qt jest sztucznie ograniczona - jest nieprzydatna do celów komercyjnych
- Co sciaga kretynow
- AEiC 2024 - Ada-Europe conference - Deadlines Approaching
- Jakie są dobre zasady programowania programów opartych na wtyczkach?
- sprawdzanie słów kluczowych dot. zła
- Re: W czym sie teraz pisze programy??
Najnowsze wątki
- 2025-02-25 Echhhhhh. Marzy mi się SWAP Audi A2 z 1.8 T ;-)
- 2025-02-25 Warszawa => Analityk Biznesowo-Systemowy <=
- 2025-02-25 Warszawa => SQL Developer <=
- 2025-02-25 Zbigniew Ziobro śmie sugerować "niedostatki niezawisłości" sędzi (wątpliwości co do bezstronności)
- 2025-02-25 Kraków => DevOps Engineer (Junior/Regular) <=
- 2025-02-25 Kraków => Front-end Developer <=
- 2025-02-25 Szpital
- 2025-02-24 Gniazdo + wtyk
- 2025-02-24 Dyrektor Toyoty miał rację. Elektryki to ślepa uliczka
- 2025-02-24 Białystok => System Architect (Java background) <=
- 2025-02-24 Białystok => System Architect (background deweloperski w Java) <=
- 2025-02-24 Białystok => Solution Architect (Java background) <=
- 2025-02-24 Warszawa => Data Engineer (Tech Leader) <=
- 2025-02-24 Gliwice => Business Development Manager - Dział Sieci i Bezpieczeńst
- 2025-02-24 Gliwice => Ekspert IT (obszar systemów sieciowych) <=