Аппаратно-программная конфигурация ЦИВК Аппаратные ресурсы. Программное обеспечение. Организация работы пользователей. Грид в ЦИВК, принципы работы.

Структурная схема ЦИВК Сетевые соединения

Сетевое окружение 1Gbit Ethernet - опорная сеть. Маршрутизатор и коммутаторы 1GbE. Не более 3-х коммутаций между любыми 2-мя машинами ЦИВК. 4-8 линий между 1-ым и 2-ым уровнями (802.3ad – link aggregation). 10GbE до опорной сети ОИЯИ (план).

Вычислительные ресурсы - счетная ферма 60 машин: Xeon 5150, 8GB RAM, 64-х битная архитектура - x86_64. 2 x ЦПУ по 2 ядра = 4 ЦПУ на машину. 2 GB RAM на ядро (ЦПУ). 100 GB scratch на машину SI2000 на ядро. Всего: 240 ЦПУ; ~650 kSI2k.

Счетная ферма - расширение (март 2008) 20 машин: Xeon 5345, 16GB RAM, x86_64. 2 x ЦПУ по 4 ядра = 8 ЦПУ на машину = 160 ЦПУ. 2 GB RAM на ядро. 200 GB scratch на машину SI2000 на ядро = 432 kSI2k. Всего: 400 ЦПУ; > 1000kSI2k.

Дисковые ресурсы Общий (физический) объем: > 120TB. Аппаратный RAID5 (3ware/AMCC). Программный RAID1 (AFS и т.п.). Direct Attached SATA (счетные, интерактивные машины и т.п.). Доступный объем: 1.3TB - AFS; 82TB - dCache.

Остальные ресурсы 4 машины для интерактивной работы: 2 - Intel Core 2 Duo; 2 - AMD Athlon. Серверы AFS и NFS. Серверы dCache. Серверы общего назначения. Серверы WLCG сайта (грид).

Остальные ресурсы (продолжение) Архитектура серверов: от Intel Celeron и Pentium 3 до Atlon64 X2 и Core 2 Duo. Всего серверов 64. Архитектура и ЦПУ: uname -ip подробнее – cat /proc/cpuinfo. Объем RAM: free

Программное обеспечение Основная ОС - Scientific Linux SL 4.5 (SL4) – клон RHEL4, на всех счетных машинах (cat /etc/redhat-release). Основная архитектура – x86_64, 64-х битная (uname -i). Установлены все пакеты совместимости для выполнения 32-х битных программ. Система пакетной обработки (batch): Torque + Maui.

Программное обеспечение (продолжение) Рекомендуется для разработки ПО использовать SL4 x86_64 на lxpub01/02. Для совместимости: SL4 i386 на lxpub03; SL3 i386 на lxpub04. Разработка ПО для архитектуры i386 возможна, но не тривиальна. SL3 будет только до конца Предполагается полный переход на 64-х битную архитектуру.

Программное обеспечение Средства разработки ПО Компиляторы, компоновщик и отладчик из SL4 версии 3.4.6: gcc; g++; f77; ld; gdb(gcc -v). Дополнительно из SL4: gcc4; g++4; gfortran. Дополнительно от Intel: icc; icpc; ifort; idb (icc -V). Средства разработки Intel дают ~15% повышения производительности ПО.

Программное обеспечение Средства разработки ПО (продолжение) CERNlib 2006, архитектура x86_64 (gcc4). ROOT e, архитектура x86_64. OpenMPI 1.2.5, архитектура x86_64 (компиляторы Intel). JINRlib (g77, gfortran и ifort).

Программное обеспечение Средства разработки ПО (продолжение) Практически все -devel- RPM из SL4: glibc; libstd++ и т.д, архитектура x86_64 (некоторые - i386) (file /lib64/libc so; file /lib/libc so). Perl, Python, Tcl, Tk (только x86_64). Средства разработки для графических оболочек: xorg; kde; gnome.

Программное обеспечение Средства поддержки - графика Рекомендуется использовать kde. Графические оболочки: xorg; kde; gnone. Терминал: xterm; konsole. WWW/FTP: firefox; konqueror; gftp. Редакторы: gvim; emacs; nedit. Mail: kmail; thunderbird.

Программное обеспечение Средства поддержки – графика (прод) Документы: ooffice; acroread; ggv; kpdf; kghostview. Калькулятор: qalc; kcalc. Разработка: kdevelop; bluefish (www). Текст: Tex/LaTex. Изображения: gimp; xfig; kuickshow.

Программное обеспечение Средства поддержки - текст Рекомендуется использовать putty (ssh) для входа из Windows. WWW/FTP: links; lynx; wget; lftp; pftp. Редакторы: vim; pico. Mail: alpine (pine); mutt.

Структурная схема ЦИВК Потоки данных и задач

Организация работы пользователей Подробное описание – на сайте: Интерактивная работа: lxpub01 -:- lxpub04 – User Interface. Разработка и отладка ПО, не счет. Работа с графикой. Подготовка документации. Mail, WWW и т.п. Интерактивный вход на остальные машины запрещен.

Организация работы пользователей (продолжение) Все счетные задачи работают через batch систему (qsub, qstat, qpeek, qdel). Приоритеты и порядок запуска – планировщик Maui (“умный” алгоритм). Желательно указывать для batch: время CPU; RAM; размер scratch. Как правило: одна задача – 1 CPU.

Организация работы пользователей (продолжение) Максимальное количество задач пользователя = 170. Максимальные параметры задач: CPU=400 часов;RAM=2GB;scratch=25GB. Параллельные задачи – особый случай. Примеры задач для batch - на сайте LIT:

Регистрация и ресурсы пользователей Регистрируются в базе kerberos5. Домашние директории в AFS. Хранение данных в dCache. Возможно выделение дополнительного места в AFS под большое ПО для группы/пользователя. На UI есть scratch: /scr/u/... На счетных машинах задача должна работать в scratch: cd $TMPDIR

Структурная схема ЦИВК Потоки данных и задач

WLCG грид в ЦИВК ЦИВК имеет общие ресурсы с сайтом WLCG – JINR-LCG2: счетные машины и дисковые массивы в dCache. Единый сервер запуска задач в batch. Интерактивные машины работают как User Interface для WLCG. 16 машин обслуживают инфраструктуру сайта JINR-LCG2. Работают 9 Виртуальных Организаций - VO.

WLCG грид в ЦИВК пользователям грид Преимущества грид (потенциальные): неограниченные компьютерные ресурсы всего мира. Необходимо: получить сертификат и стать членом Виртуальной Организации. Задачи должны удовлетворять достаточно жестким требованиям: использовать стандартные для грид протоколы.

WLCG грид в ЦИВК использование WLCG работает c ПО промежуточного уровня gLite, версия 3.1. Запуск и проверка заданий:. /opt/ui/etc/profile.d/grid-env.sh (только на lxpub01/02) voms-proxy-init -voms dteam glite-wms-job-submit -a -o t1 t1.jdl glite-wms-job-status -i t1 glite-wms-job-output -i t1

Заключение Материалы с дополнениниями и примерами будут опубликованы на “Вычисл. & Инф. Ресурсы” -> “ЦИВК”. В 20-ых числах февраля все вычислительные и дисковые ресурсы будут не доступны в связи с модернизацией сетевой структуры ЦИВК.