UNIX 8. Systém souborů © Milan Keršláger 28.9.2016

Prezentace na téma: "UNIX 8. Systém souborů © Milan Keršláger 28.9.2016"— Transkript prezentace:

1 UNIX 8. Systém souborů © Milan Keršláger 28.9.2016 http://www.pslib.cz/ke/slajdy http://creativecommons.org/licenses/by-nc-nd/3.0/

2 Systém souborů – FS ● též souborový systém, anglicky filesystem ● data organizovaná do souborů a adresářů ● uloženo na vhodné paměti pro FS ● přístupné přímo v počítači nebo přes síť ● obsahuje data a metadata ● metadata popisují organizaci dat ● uloženo ve vhodném formátu – FAT, ext4, NTFS,... ● v jádře OS ovladač souborového systému

3 Organizace FS ● soubory a adresáře ● metadata ● popisují organizaci dat a další informace – umístění dat, přístupová oprávnění, čas změny,... ● data ● souvislý blok dat – ideální stav, ale jak budeme doplňovat a mazat data? ● jednotlivé alokační jednotky – klasický přístup

4 Metadata ● „data o datech“ ● v reálném životě např. katalog v knihovně ● obsahují informace nutné pro orientaci ve FS ● popisují soubory, adresáře a další informace o FS ● konzistence metadat ● důležité pro činnost jádra OS ● při poškození nutno opravit ( fsck, chkdsk )

5 Paměť pro FS ● typicky nevolatilní RWM (Read-Write Memory) ● data lze zapisovat (přepisovat) a číst ● data jsou zachována i při odpojení napájení – pevný disk, flash – výjimky: FS v RAM (rychlost, export dat z jádra,...) ● možné typy pamětí ● magnetické – pevný disk (sekvenční a přímý přístup) ● optické – CD, DVD, Blu-ray ● polovodičové – RAM, Flash ● samozřejmě i jiné typy

6 Magnetická páska ● předek disket i pevných disků ● souvislý pás s magnetickou vrstvou ● vynalezeno 1935 firmy AEG a BASF ● pro data 1951 – UNIVAC I – v 2. polovině 20. století symbolizovala „počítač“ ● data zaznamenána souvisle ● lineární zápis (páska je vždy znovu celá přepsána) ● „soubory“ a mezi nimi speciální značky – magnetickopásková jednotka umí značky vyhledat – relativně pomalé přesuny → sekvenční přístup

7 Disketa – FDD ● evoluční krok od magnetické pásky ● blokové zařízení (512 bajt) – podle mg. pásky ● médium naneseno na kotoučku ● floppy disk – disketa (pružný disk) ● 1971 – 8 palců, 1976 – 5,25“, 1984 – 3,5“ ● ale i jiné (např. ZIP) ● snadný transport, rozumná kapacita ● relativně robusní ● 160, 360, 720 kiB, 1,2 MiB, 1,44 MiB a 2,88 MiB

8 Pevný disk – HDD ● evoluční krok od diskety ● 1956 – IBM ● plovoucí hlava – bezkontaktní čtení/zápis ● typicky pevně vestavěn ● specifická rozhraní ● 1986 – SCSI, 1986 – ATA (max. 128 GB) ● 2002 – ATA/100, 2003 – SATA, 2005 – SAS ● SSD disk ● používá flash paměť → bez mechanických částí

9 Organizace dat – HDD ● kvůli větší kapacitě zaveden MBR ● Master Boot Record ● logické členění disku na oddíly (partition) ● umístěn v prvních 512 bajtů (první blok) ● různé formáty – DOS MBR → limit 2 GiB – GPT → nástupce (součást EFI standardu) ● v rámci oddílu už stejná organizace jako u FDD ● boot sektor (512 bajtů) ● následuje oblast s vlastním FS (struktura dle typu)

10 Adresace dat na disku ● C-H-S ● Cylinder-Head-Sector ● cylindr, hlava, sektor ● používal se dříve ● LBA ● Logical Block Addresing ● lineární číslování ● současná metoda ● ATA/100 → 48 bitů → 128 PiB

11 Sektor a cluster ● sektor ● nejmenší fyzicky adresovatelný blok (disku) ● typicky 512 bajtů – CD/DVD → 2048 bajtů (2 kiB) – nové pevné disky → 4096 bajtů (4 kiB) ● cluster ● česky alokační jednotka ● nejmenší úsek dat adresovatelný na úrovni FS – 512 bajtů, 1024, 2048, 4096,... 64 kiB,...

12 FAT ● File Allocation Table ● 1986 použit v 86-DOS, koupil Microsoft → MS-DOS ● ECMA a ISO/IEC standard – dlouhé názvy částečně patentovány Microsoftem ● využívá lineární seznam ● struktura: ● boot sektor ● FAT1, FAT2 ● kořenový adresář ● datová oblast ● adresář: ● položka 32 bajtů ● jméno, přípona ● atributy, čas ● první sektor

13 Struktura FAT

14 ext4 ● Extended Filesystem ● čtvrtá generace FS pro Linux ● vychází z UFS (Unix File System) ● struktura: ● boot blok ● skupina (opakuje se) – superblok a deskriptory – metadata popisující FS – bitmapa použitých i-uzlů (i-nodů) a datových bloků – i-uzly – metadata jednotlivých souborů – datové bloky – datové části souborů, adresáře

15 Skupiny ext4 ● Skupiny se opakují, mají konstantní velikost. ● Superblok a deskriptory jsou jen v některých blocích (při využití SPARSE_SUPER). ● Superblok a bitmapy jsou vždy 1 blok dlouhé. Ostatní položky jsou násobky bloků.

16 Metadata ext4 ● data a metadata ve skupinách ● umožňuje rychlejší přístup při čtení/zápisu ● rozprostírá metadata po celém disku (havárie) ● metadata o souboru v i-uzlu ● i-uzel není součástí adresáře – lze vytvářet pevné a symbolické odkazy – i-uzlů je konečné množství (definováno při formátování) ● je-li i-uzlů zbytečně mnoho, prodlužuje se fsck (ext3 a starší) ● adresář: ● název + číslo i-uzlu

17 Superblok ● metadata o celém souborovém systému ● opakuje se na začátku skupiny – v případě poškození lze použít jinou kopii – sparse-super → kopie jen u některých (zrychlení) ● struktura: ● stav souborového systému (clean, dirty) – při připojení test (+fsck) a nastavení na dirty – při odpojení nastavení na clean ● počet připojení, poslední fsck (automatické fsck) ● velikosti a umístění jednotlivých částí

18 Struktura adresáře ● adresář je vlastně speciální soubor ● pevně daná maximální délka názvu objektu – tj. název souboru nebo podadresáře ● číslo i-uzlu – odkaz na metadata popisující soubor – každý FS čísluje i-uzly vždy znovu od nuly ● obsah adresáře ● lineární seznam položek → pole ● položky někdy organizovány do stromu – kvůli rychlosti prohledávání (ext3, NTFS,...)

19 I -uzel ● struktura i-uzlu: ● typ souboru a přístupová oprávnění ● počet odkazů (pro pevné linky, ale i adresáře) ● vlastník, skupina ● velikost ● časové značky – poslední přístup (atime), změna dat (mtime), změna metadat (ctime) ● 12 přímých odkazů na datové bloky ● 1 nepřímý odkaz na datové bloky (první úrovně) ● 1 nepřímý odkaz druhé úrovně ● 1 nepřímý odkaz třetí úrovně

20 Nepřímé odkazy v I-uzlu

21 VFS ● Virtual Filesystem ● VFS implementuje jádro OS ● shora sjednocuje přístup ke všem FS (API) ● dle situace volá „ovladač“ konkrétního FS ● řeší cache pro soubory a adresáře ● další FS se připojují do existujících adresářů ● příkaz mount, umount, df $ df Souborový systém 1K bloků Použité Volné Uži% Připojeno do /dev/sda1 17856888 4189384 12745780 25% / /dev/sda3 18520212 11708304 5884556 67% /home tmpfs 379992 0 379992 0% /dev/shm

22 Připojování FS ● mount ● typ FS, speciální soubor zařízení, adresář ● mount /dev/sda3 /home ● umount ● slouží k odpojení připojeného FS ● FS nesmí být používán – otevřený soubor, aktuální adresář ● /etc/fstab ● seznam FS připojovaných při startu systému – startovací skript spustí příkaz mount -a

23 Příklad připojení /home bin etc home huzva texty skripty jane fotky video lib usr / Kořen je připojen na základní FS. Do /home je připojen další disk. Připojený FS může mít odlišnou stavbu (NTFS, FAT, ext3, XFS, síťový NFS, …). VFS pak rozhoduje, jaký ovladač FS se při přístupu k datům použije.

24 fsck ● kontrola konzistence metadat ● změna dat (a metadat) v několika krocích ● dojde-li k havárii, nejsou data konzistetní – např. zrušíme název v adresáře, ale ne i-nod a dat. bloky – → do /lost+found ● fsck využívá záznamy v superbloku – automatizovaná detekce nutnosti kontroly ● plná kontrola trvá extrémně dlouho ● řeší ext4 (jen použité i-nody) ● preventivní kontroly je nutné plánovat – současné distribuce automatické opravy nepoužívají

25 mkfs ● vytváření souborových systémů ● typicky volá podřízené nástroje – mkfs.ext4, mkfs.ntfs, mkfs.vfat ● každý FS má vlastní sadu parametrů – nutno dohledat v manuálových stránkách ● mkfs -t ext4 /dev/sda3

26 Fragmentace ● vzniká při ukládání dat do alokačních jednotek ● nově přidělené A.J. spolu nesousedí ● pohyb hlaviček disku je relativně pomalý ● náhodná stopa = 10 ms, sousední stopa = 1 ms ● řešení: ● ukládat data tak, aby se omezila fragmentace (ext) ● defragmentovat dodatečně (NTFS) ● vnitřní fragmentace (fragmentace volného místa) ● poslední alokační jednotka není zcela obsazena ● řeší se pomocí „tail merge“ (subalokace bloků)

27 Žurnálování ● ochrana konzistence metadat (někdy i dat) ● po pádu systému opravujeme jen nekonzistence ● není nutné prohlížet všechna metadata ● neslouží jako záloha nebo záruka, že se zapíše vše ● princip funkce ● plánovanou operaci zapíšeme do žurnálu ● provedeme změny v souborovém systému ● zapíšeme do žurnálu záznam o dokončení operace ● zrušíme záznam v žurnálu

28 Děravé soubory ● anglicky „sparse file“ ● soubory obsahují prázdná místa ● ukládat nuly je zbytečné ● do metadat: odkud a jak je dlouhý prázdný úsek ● při čtení vrací systém nuly, jako by je četl ● umožňuje šetřit významně místem – např. databáze, logy, ukládání řídkých polí ● podporují jen některé FS: ● většina unixových FS, NTFS a další ● nepodporuje je FAT nebo HFS+ (Apple)

29 Extenty ● souvislý větší úsek alokovaný pro data ● spojení více alokačních jednotek v řadě za sebou ● snižuje režii → je potřeba méně metadat – zaznamenáme jen číslo prvního datového bloku + počet ● snižuje fragmentaci ● podpora jen v některých FS: ● ext4, Reiser4, XFS, JFS,... (Linux aj.) ● HPFS (OS/2), NTFS (Windows)

30 Rozsáhlé adresáře ● adresář je lineární seznam ● prohledávání trvá dlouho (počet/2) ● nalezení položky je velmi častá operace (otevírání) ● při rušení a přidávání položek vznikají „díry“ ● binární strom ● nejrychlejší hledání (je-li vyvážený → B-strom) ● nevýhodou je vyvažování ● ext3 → htree – specializovaný B-strom, nepotřebuje vyvažování ● NTFS též používá binární strom

31 Síťové souborové systémy ● zpřístupněny pomocí počítačové sítě ● vlastní data uložena v klasickém FS (ext, NTFS,...) ● různé vlastnosti ● clusterové, fail-over, LAN, globální (přes Internet) ● možnost lokálního cachování dat, synchronizace ● příklady: ● SMB, CIFS → síťové sdílení ve Windows ● NFS, GFS → unixové systémy ● AFS → globální souborový systém (celosvětový)

32 NFS ● Network Filesystem ● 1984 – první verze (firma Sun) → RFC 1094 ● dnes již 4. verze (NFSv4), IETF ● typické sdílení souborů mezi unixovými systémy ● evoluční vývoj ● doplňování nových vlastností – NFSv2 jen pro UDP, max. 2 GiB soubory, synchronní,... – NFSv4 – bezpečnost, stavový protokol, clustery – při použití se chováme obezřetně (není lokálním FS) ● využívá RPC (Remote Procedure Call)

33 GFS ● Global File System ● sdílený diskový souborový systém – více počítačů nabízí přes síť úložný prostor – úložný prostor vystupuje navenek jako jeden celek ● umožňuje však přímý přístup k úložnému zařízení ● není to tedy distribuovaný souborový systém ● dá se použít i jako lokální souborový systém – jednotlivé uzly jsou ve vztahu peer-to-peer – využíván distribuovaný správce zámků (v jádře) ● zajímavý vývoj: – 1997, 1998 jako open source pro Linux – 1999 Sistina, 2001 komerční, 2004 Red Hat → GPL

34 AFS ● Andrew File systém ● distribuovaný souborový systém – úložný prostor rozprostřen přes důvěryhodné servery ● využíván klienty, kteří se k němu připojují (desetitisíce) ● správce definuje svazky (volume) a jejich fyzické uložení v síti ● klient přistupuje ke sdíleným složkám jen přes názvy svazků – klient využívá lokální cache pro zvýšení rychlosti ● operace čtení a zápisu jsou prováděny nad lokální kopií ● klient si registruje u serveru callback ● při změně souboru jsou všichni klienti přes callback informováni ● zamykání jen na celý soubor ● správce vytváří read-only kopie dat → transparentní urychlení ● multiplatformní → OpenAFS (IBM 2000)