-
Data: 2010-09-19 11:27:42
Temat: Re: bash: konkurencyjne przekierowanie jednego pliku do wielu programów
Od: klops <k...@k...pl> szukaj wiadomości tego autora
[ pokaż wszystkie nagłówki ]Chyba najprościej to:
* w pętli (do końca pliku wejściowego):
* w pętli (np. 8 dla 8 rdzeni):
* odczytać parę wierszy
* uruchomić nowy proces do przetwarzania
* w pętli (np. 8 dla 8 uruchomionych procesów roboczych)
* czekać na koniec procesu
Wada - dla każdej pary wierszy trzeba tworzyć nowy proces.
Albo na upartego 2 skrypty:
Skrypt 1: z parametrem ilość procesów roboczych (np. 8). W skrypcie:
* dzielisz liczbę wierszy do przetworzenia przez liczbę procesów
* ustalasz zakresy wierszy do przetwożnia dla wszystkich procesów
* uruchamiasz Skrypt 2 z odpowiednimi parametrami
Skrypt 2: z parametrem zakres wierszy do przetworzenia. W skrypcie:
* Odczytujesz zakres wierszy.
* Pchasz to rurą do programu roboczego.
Wada: idealistyczne założenie, że wszystkie pary wierszy z pliku
wejściowego wymagają takiej samej ilości obliczeń.
Następne wpisy z tego wątku
- 19.09.10 19:38 Mariusz Marszałkowski
- 19.09.10 20:01 Michoo
- 19.09.10 23:47 Mariusz Marszałkowski
- 20.09.10 06:43 Maciej Pilichowski
- 20.09.10 09:22 hubert depesz lubaczewski
- 20.09.10 19:21 klops
- 20.09.10 22:38 Mariusz Marszałkowski
- 23.09.10 20:20 slawek
- 02.10.10 09:12 Mariusz Marszałkowski
Najnowsze wątki z tej grupy
- Perfidne ataki krakerów z KRLD na skrypciarzy JS i Pajton
- Instytut IDEAS może zacząć działać: "Ma to być unikalny w europejskiej skali ośrodek badań nad sztuczną inteligencją."
- Instytut IDEAS może zacząć działać: "Ma to być unikalny w europejskiej skali ośrodek badań nad sztuczną inteligencją."
- Instytut IDEAS może zacząć działać: "Ma to być unikalny w europejskiej skali ośrodek badań nad sztuczną inteligencją."
- U nas propagują modę na SI, a w Chinach naukowcy SI po kolei umierają w wieku 40-50lat
- C++. Podróż Po Języku - komentarz
- "Wuj dobra rada" z KDAB rozważa: Choosing the Right Programming Language for Your Embedded Linux Device
- Nowa ustawa o ochronie praw autorskich - opis problemu i szkic ustawy
- Alg. kompresji LZW
- Popr. 14. Nauka i Praca Programisty C++ w III Rzeczy (pospolitej)
- Arch. Prog. Nieuprzywilejowanych w pełnej wer. na nowej s. WWW energokod.pl
- 7. Raport Totaliztyczny: Sprawa Qt Group wer. 424
- TCL - problem z escape ostatniego \ w nawiasach {}
- Nauka i Praca Programisty C++ w III Rzeczy (pospolitej)
- testy-wyd-sort - Podsumowanie
Najnowsze wątki
- 2025-04-27 czy nieroby zablokują znowu Zakopiankę
- 2025-04-26 e-Doręczenia w praktyce.
- 2025-04-26 Warszawa => Konsultant Wiodący SAP PP <=
- 2025-04-26 Warszawa => Developer Microsoft Dynamics 365 Finance & Operations (D36
- 2025-04-26 Warszawa => Programista Microsoft Dynamics 365 Finance & Operations (D
- 2025-04-26 Środa Wielkopolska => SAP FI/CO Internal Consultant <=
- 2025-04-26 Patrole obywatelskie.
- 2025-04-26 Warszawa => Presales Engineer IT <=
- 2025-04-26 Gdynia => Przedstawiciel handlowy / KAM (branża TSL) <=
- 2025-04-26 Rudno => IT network administrator <=
- 2025-04-26 Dęblin => Node.js / Fullstack Developer <=
- 2025-04-25 Sprawdzić czy spółka ma sprawy w sądzie
- 2025-04-25 Solarny Palnik Wodorowy
- 2025-04-25 amperomierz w plusie
- 2025-04-25 nie wyłączam silnika