Shell scripting

Intro:

• Образование в компьютерных науках может сделать кого-нибудь искусным программистом не в большей степени, чем изучение кистей и красок может сделать кого-то искусным художником (Eric Raymond)
• Вы не знаете ничего, пока не доказали это на практике (Richard Bax)

Это не статья, это просто некоторая информация, которую я нахожу полезной лично для себя, а также чтобы самому не забыть приемы и методы. Но в тоже время эта информация может быть интересна и другим людям, поэтому она на сайте.
Программируйте!

Useful links:

abs guide RU
http://cb.vu/unixtoolbox.xhtml- Unix toolbox
IBM, Bash by example, Part 1
IBM, Bash by example, Part 2
IBM, Bash by example, Part 3
http://house.hcn-strela.ru/BSDCert/BSDA-course/ch07s07.html- Написание несложных Bourne-скриптов
http://forum.lissyara.su/viewtopic.php?f=32&t=13317 Объединеие условий в операторе if

PERL
perl_in_command_line

AWK
IBM Common threads: Часть 1. Awk в примерах
http://www.gnu.org/manual/gawk/gawk.html - The GNU Awk User's Guide.
http://sparky.rice.edu/~hartigan/awk.html - Учебник по awk Патрика Хартигана (Patrick Hartigan)

Find:

• Кнструкция -exec {} \; означает - выполнить над результатом поиска указанную команду подсунув ей найденное
  

  find / -name "ru_RU*" -exec ls {} \;
  

  
  
• Связка с командой xargs
  xargs чиатет список файлов из своего STDIN и подставляет эти файлы в качестве аргумента указываемой команде.
  

  find . -name '*.html' | xargs ls -l
  

  
  
• Удалить все файлы *.tar в директории, которые были созданы более 60дней назад.

  find /dir/ -name "*.tar"  -a -mtime +60 -delete
  

AWK:

• awk разделитель полей -F"":
  

  # rpm -qa| head -n 4
  basesystem-8.0-5.1.1.el5.centos
  centos-release-notes-5.3-3
  words-3.0-9.1
  glibc-2.5-34
  # rpm -qa| head -n 5 | awk -F"-" '{print $1}'
  basesystem
  centos
  words
  glibc
  

PERL:

• Редактирование на месте:
  Заменить foo на bar глбоально по всему файлу. Опция /g
  

  perl -pi -e 's/foo/bar/g'
  

  То же самоое только создать бекап:
  

  perl -pi.bak -e 's@foo@bar@g'
  

• Удалить версии из вывода списка пакетов:
  

  # rpm -qa | perl -ne 'print if s/-\d+.*//g' | head -n 4
  centos-release-notes
  mailcap
  audit-libs
  glib2
  

Examples:

• Запустить несколько процессов в цикле и в фоне:

  for i in `seq 1 20`; do (echo $i; sleep $i) &  done
  

  
  
• Обработать рекурсивно файлы:
  Если вместо echo поставить mv $i - то все файлы рекурсивно переименуются ;)
  -name "eth0*" также является опциональным.
  

  # ls -1
  eth0
  eth0-2.root
  eth0-2:10.ssh
  eth0-2:30.default
  # for i in `find . -type f -name "eth0*"` ; do echo  ${i/eth0/eth1}; done
  ./eth1-2:30.default
  ./eth1-2.root
  ./eth1
  ./eth1-2:10.ssh
  

  
  
• Аналогичный пример, только вместо for используется while цикл. Все uppercase символы конвертируются в lowercase.
  

  find . -type f | while read F; do
      newname=`echo $F | tr 'a-z' 'A-Z'` 
      mv "$F" "$newname"
  done
  

  
  
• Поиск\замена содержимого в файлах. (Рекурсивная замена кодировки в файле и конвертация html документов в utf-8 формат)
  

  find . -name '*.html' | xargs perl -pi -e 's/windows-1251/utf-8/g'
  for i in `find . -name '*.html'`; do
      cat $i | iconv -f windows-1251 -t UTF-8 > tmp.txt ; echo 'yes' | mv tmp.txt $i; 
  done
  

  
  Удалить шалон только в тех файлах где он найден:
  

  export malware='something here'
  egrep -lr "$malware" | xargs perl -pi -e "s/$malware//g"
  

  
  
• Регулярное выражения для поиска IP:
  

  egrep '([0-9]{1,3}\.){3}[0-9]{1,3}'
  

  В каждом логе '*.log' текущей директории заменить на месте любой IP на указанный:
  

  find . -name "*.log" | xargs perl -pi -e 's@^([0-9]{1,3}\.){3}[0-9]{1,3}@1.2.3.4@'
  

  
  
• Присваивание в массивы:
  http://linuxgazette.net/issue18/bash.html - bash String Manipulations
  

  # IP=1.2.3.4; IP=(${IP//./ }); Rev=${IP[3]}.${IP[2]}.${IP[1]}.${IP[0]}
  # echo $Rev
  4.3.2.1
  

  Here's an example that uses the old IFS variable (the "inter-field separator in the Bourne, and Korn shells as well as bash) to parse each line of /etc/passwd and extract just two fields:
  

  # cat /etc/passwd | tail -n 2
  test:x:503:507::/home/test:/bin/bash
  openvpn:x:102:106:OpenVPN:/etc/openvpn:/sbin/nologin
  
  # cat /etc/passwd | tail -n 2 | (IFS=:; while read n1 n2 n3 n4; do echo "$n1  $n3" ;done)
  test  503
  openvpn  102
  

  
  
• Получить IP для eth0:
  

  ifconfig | grep -n1 eth0 | tail -n1 | awk '{print $3}' | sed -e 's/addr://'
  

  
  
• Unix to DOS converting:
  

   perl -p -i -e 's/$/\r/ filename
  

  
  

Sergej A. Kandyla sk.paix at gmail.com Any comments and suggestions are welcome.