9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 1

Storage Resource Manager

Timur PerelmutovJon Bakken

Don Petravick

Fermi National Accelerator Lab

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 2

SRM Collaboration

Jefferson LabBryan HessAndy KowalskiChip Watson

 Fermilab

Don PetravickTimur Perelmutov

 LBNL 

Arie ShoshaniAlex SimJunmin Gu

EU DataGrid WP2Peter KunsztHeinz StockingerKurt StockingerErwin Laure

 EU DataGrid  WP5 

Jean­Philippe BaudStefano OcchettiJens JensenEmil KnezoOwen Synge

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 3

Storage Resource Managers

SRMs are middleware components that manage shared storage sesources on the Grid and provide:

●Uniform access to heterogeneous storage●Protocol negotiation●Dynamic Transfer URL allocation●Access to permanent and temporary types of storage●Advanced space and file reservation●Reliable transfer services

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 4

●Two SRM Interface specifications – SRM v1.1provides 

• Data access/transfer • Implicit space reservation 

– SRM v2.1 adds • Explicit space reservation • Namespace discovery and manipulation • Access permissions manipulation

●Fermilab SRM implements  SRM v1.1 specification ●SRM v2.1 by the end of 2004 

Storage Resource Manager versions

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 5

SRM Protocols andGroups of Functions

SRM interface consists of the following groups of functions:

● Space Management Functions – SRM v2.1● Data Transfer Functions – SRM v1.1 and v2.1● Directory Functions – v2.1● Permission Functions –  v2.1● Status Functions –  v1.1 and v2.1

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 6

US­CMS DATAGRID

●US­CMS is building a data grid to facilitate physics data analysis at academic institutions across the United States.●Data grid 3 tier architecture.–Tier 0 CERN, Geneva, Switzerland.–Tier 1 consists of 5 regional centers, FERMILAB in Batavia, 

IL is a North American Center.–Tier 2 consists of 25 centres, 5 of these are in North 

America.●SRM copy is used as a management protocol and reliable replication service for movement of  data from tier 0 to tier 1 centers and from tier 1 to tier 2.

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 7

Data  life cycle on the grid and a role of SRM on the GRID

SRM­Client

SRM

cache

SRM

dCache

6.GridFTP ERET (pull mode)

EnstoreCASTOR

Replica Catalog

Network transferof DATA

1.DATA Creation  2. SRM­PUT

Network transfer

3. Register(via RRS)

CERNTier 0

Replica Manager

FNALTier 1

archive filesstage files

4.SRM­COPYTier0 to Tier1

5.SRM­GET

archive files

SRM

Tier2Storage

Tier 2Center

Network transfer

9.GridFTP ESTO (push mode)

8.SRM­PUT

7.SRM­COPYTier1 toTier2

SRM­Client

 Retrieve data for analysis10.SRM­GET

UsersSRM­Client

Network transferof DATA

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 8

Srm Example ­ srmPrepareToPut

User

SRMNode

dCache HeadNode

dCache PoolNode

findPoolNode reserveSpacespaceToken

srmPrepareToPut(SpaceToken,size,gsiftp)

srmReserveSpace

findDoor(gsiftp)Transferurl=gsiftp://doorNode:port/path doorNode,port

dCache DoorNode

Gridftp ESTOR

Where is user space

poolNodeDATA

PutDone

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 9

Grid File Access Library and SRM 

Physics Application

Replica ManagerClient

SRMClient Local

File I/O

rfio I/Oopen()read()

etc.

dCap I/Oopen()read()

etc.

Grid File Access Library (GFAL)

SRMService

dCapService

rfioService

RMServices

MSSService

LocalDisk

POSIX I/O

GridFTPService

Wide AreaAccess

 Michael Ernst’s slide 

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 10

Status of Fermilab SRM Project

● SRM Interface to dCache (disk cache) Storage System– Data Transfer Functions (get, put and copy) – Load balancing, throttling,  fairness– Scalable replication mechanism via gridftp– Automatic  directory creation– Fault tolerance and reliability achieved by providing persistent 

storage for transfer requests and retries on failures● SRM interface as standalone product, adaptable to 

work on top of any storage system● a reference implementation of the SRM interface to 

a Unix File System

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 11

Fermilab SRM Project Plans

● Space Management ● Implementation of SRM Version 2.1 interface● Integration of SRM in SAM Data Handling System● Integration with Virtual Organization based Authorization 

Services, development of Storage Specific fine grain Authorization Services

● Integration of SRM to SAMGrid Data Handling System as the universal interface to a storage

● Research Storage System utilization of  Lambda Station Interface optical path allocation and per flow routing

● Monitoring, Administration and Accounting interfaces

9/20/04 Storage Resource Manager, Timur Perelmutov, Jon Bakken, Don Petravick, Fermilab 12

Resources

●The Storage Resource Manager Collaboration, http://sdm.lbl.gov/srm­wg/●Fermilab SRM Project , http://www­isd.fnal.gov/srm●Patrick Fuhrmann,  dCache, Grid Storage Element and enhanced use cases,http://indico.cern.ch/contributionDisplay.py?contribId=233&sessionId=10&confId=0●DCache, Disk Cache Mass Storage System, http://www.dcache.org/●US­CMS, http://www.uscms.org/●Don Petravick, Lambda Station Proposal, http://hppc.fnal.gov/wawg/omnibus­text.pdf●Arie Shoshany, Replica Registration Service,http://www.ppdg.net/mtgs/28jun04­wb/slides/PPDG­AH­0406­RMS­RRS.ppt●Robert Kennedy, SAMGrid Integration of SRMs, http://indico.cern.ch/contributionDisplay.py?contribId=460&sessionId=7&confId=0●Michael Ernst, US­CMS Grid File Access Proposal,http://www.uscms.org/sandc/reviews/doe­nsf/2003­07/docs/GFA­Proposal­Short­v1.0.pdf●Michael Ernst, Managed Data Storage and Data Access Services for Data Grids,http://indico.cern.ch/contributionDisplay.py?contribId=190&sessionId=7&confId=0●Philip DeMar, LambdaStation: A forwarding and admission control service to interface production network facilities with advanced research network paths http://indico.cern.ch/contributionDisplay.py?contribId=359&sessionId=11&confId=0