Posts tagged ‘piping’

Counting Lines in Multiple Files

2012-04-06 13:40

Looks like using Linux is really bound to slowly – but steadily – improve your commandline-fu. As evidence, today I wanted to share a little piece of shell acolyte’s magic that I managed to craft without very big trouble. It’s about counting lines in files – code lines in code files, to be specific.

For a single file, getting the number of text rows is very simple:

$ wc -l some.file
142 some.file

Although the name wc comes from “word count”, the -l switch changes its mode of operation into counting rows. The flexibility of this little program doesn’t end here; for example, it can also accept piped input (as stdin):

$ cat some.file | wc -l
142

as well as multiple files:

$ wc -l some.file other.file
142 some.file
54 other.file
196 all

or even wildcards, such as wc -l *.file. With these we could rather easily count the number of lines of code in our project:

$ wc -l **/*.py
3 foo/__init__.py
189 foo/main.py
89 foo/utils.py
24 setup.py
133 tests.py
438 all

Unfortunately, the exact interpretation of **/* wildcard seems to vary between shells. In zsh it works as shown above, but in bash I had it omit files from current directory. While it might make some sense here (as it would give a total without setup script and tests), I’m sure it won’t be the case all projects.

And so we need something smarter.

Tags: command line, files, Linux, piping, regular expressions
Author: Xion, posted under Computer Science & IT » 4 comments

Triki z PowerShellem #9 – Potokowanie

2008-08-03 17:33

Jedną z głównych zalet powłok tekstowych w rodzaju PowerShella jest to, że pozwalają one na łączenie ze sobą małych, elementarnych poleceń w jedno duże zadanie. Gdy odbywa się to na zasadzie przekazywania wyników jednego programu na wejście następnego, mówimy o potokowaniu (pipelining). Znawcy basha mogliby rzucić np. takim przykładem:

cat < program.cpp | grep int | wc --lines[/code]
w którym to najpierw odczytywana jest zawartość pliku (<kbd>cat</kbd>), wyszukiwane są wszystkie linijki zawierające ciąg "int" (<kbd>grep</kbd>) i liczona jest ich ilość (<kbd>wc</kbd>). Całkiem oczywiste, prawda? ;-)
W PowerShellu przetwarzanie potokowe jest o tyle lepsze niż w innych powłokach, że między poleceniami wymienia się nie tekst, a obiekty .NET-owe. Dobrze byłoby więc wiedzieć, jak należy pisać własne skrypty, aby mogły one działać w potokach. Na szczęście nie jest to specjalnie trudne; prezentuje to ten oto skrypt:
[csharp]# pokemonize.ps1
# Zmienia litery w tekście na losowo duże lub małe
begin
{
# Inicjujemy generator liczb losowych
$rand = New-Object Random
}
process
{
$str = $_.ToString()
$result = New-Object Text.StringBuilder
# Zmieniamy znaki
for ($i = 0; $i -lt $str.Length; ++$i)
{
if ($rand.NextDouble() -lt [float]0.5)
{ $newChar = [Char]::ToLower($str[$i]) }
else
{ $newChar = [Char]::ToUpper($str[$i]) }
$result.Append($newChar) | Out-Null
}
# Wyświetlamy przetworzony ciąg
$result.ToString()
}[/csharp]
Tym, co on robi, jest losowa zmiana wielkości liter w ciągu stanowiącym tekstową reprezentację obiektu (lub obiektów), jaki dostaje na wejściu. Jednym słowem, dokonuje jego <em>pokemonizacji</em>... Pewnie dla niektórych byłoby to przydatne, ale powiedzmy, że to tylko taki przykład ;P
Najważniejsze jest to, że podany skrypt działa dobrze na obiektach otrzymanych poprzez potok, czyli np. linijkach tekstu odczytanego z pliku poprzez <kbd>Get-Content</kbd>:
[code]Get-Content ./Plik.txt | . ./pokemonize.ps1 | Out-Host

Dla każdego takiego obiektu (tutaj: wiersza z pliku) wykonywany jest blok process, w którym to ów obiekt jest reprezentowany jako zmienna $_. Można to sobie wyobrazić jako wnętrze pętli foreach, przelatującej po wszystkich obiektach z wejścia skrypt. Dodatkowo możemy jeszcze określić bloki: begin (uruchamiany na samym początku) i end (na końcu). W nich powinniśmy umieścić ewentualny kod inicjalizujący i/lub kończący pracę skryptu.

Tags: piping, PowerShell
Author: Xion, posted under Applications » Comments Off