Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System)
En la actualidad muchas Instituciones Educativas y empresariales no cuentan con una infraestructura de computadores grande y costosa que es necesaria para realizar las tareas que requieren alto poder de cómputo y de almacenamiento. En las Instituciones Educativas esta problemática es más evidente, e...
- Autores:
-
Chona Quintero, Gerardo
Peña Perdomo, Hugo
- Tipo de recurso:
- Trabajo de grado de pregrado
- Fecha de publicación:
- 2008
- Institución:
- Universidad Autónoma de Bucaramanga - UNAB
- Repositorio:
- Repositorio UNAB
- Idioma:
- spa
- OAI Identifier:
- oai:repository.unab.edu.co:20.500.12749/1393
- Acceso en línea:
- http://hdl.handle.net/20.500.12749/1393
- Palabra clave:
- Computer networks
Information storage systems
Information retrieval systems
Information systems administration
Telecommunication networks
Systems engineering
Investigations
Analysis
Parallel storage
File systems
Redes de computadores
Sistemas de almacenamiento de información
Sistemas de recuperación de información
Administración de sistemas de información
Redes de telecomunicación
Ingeniería de sistemas
Investigaciones
Análisis
Almacenamiento paralelo
Sistemas de archivos
Clúster
- Rights
- openAccess
- License
- http://creativecommons.org/licenses/by-nc-nd/2.5/co/
| id |
UNAB2_c975e374b3bb495c6dbe9d05a5546bcd |
|---|---|
| oai_identifier_str |
oai:repository.unab.edu.co:20.500.12749/1393 |
| network_acronym_str |
UNAB2 |
| network_name_str |
Repositorio UNAB |
| repository_id_str |
|
| dc.title.spa.fl_str_mv |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) |
| dc.title.translated.eng.fl_str_mv |
Mounting a Storage Cluster Managed by PVFS (Parallel Virtual File System) |
| title |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) |
| spellingShingle |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) Computer networks Information storage systems Information retrieval systems Information systems administration Telecommunication networks Systems engineering Investigations Analysis Parallel storage File systems Redes de computadores Sistemas de almacenamiento de información Sistemas de recuperación de información Administración de sistemas de información Redes de telecomunicación Ingeniería de sistemas Investigaciones Análisis Almacenamiento paralelo Sistemas de archivos Clúster |
| title_short |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) |
| title_full |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) |
| title_fullStr |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) |
| title_full_unstemmed |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) |
| title_sort |
Montaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System) |
| dc.creator.fl_str_mv |
Chona Quintero, Gerardo Peña Perdomo, Hugo |
| dc.contributor.advisor.spa.fl_str_mv |
Carvajal Salamanca, Roberto Castaño Diaz, Wilson |
| dc.contributor.author.spa.fl_str_mv |
Chona Quintero, Gerardo Peña Perdomo, Hugo |
| dc.contributor.cvlac.*.fl_str_mv |
https://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=0001298747 |
| dc.subject.keywords.eng.fl_str_mv |
Computer networks Information storage systems Information retrieval systems Information systems administration Telecommunication networks Systems engineering Investigations Analysis Parallel storage File systems |
| topic |
Computer networks Information storage systems Information retrieval systems Information systems administration Telecommunication networks Systems engineering Investigations Analysis Parallel storage File systems Redes de computadores Sistemas de almacenamiento de información Sistemas de recuperación de información Administración de sistemas de información Redes de telecomunicación Ingeniería de sistemas Investigaciones Análisis Almacenamiento paralelo Sistemas de archivos Clúster |
| dc.subject.lemb.spa.fl_str_mv |
Redes de computadores Sistemas de almacenamiento de información Sistemas de recuperación de información Administración de sistemas de información Redes de telecomunicación Ingeniería de sistemas Investigaciones Análisis |
| dc.subject.proposal.spa.fl_str_mv |
Almacenamiento paralelo Sistemas de archivos Clúster |
| description |
En la actualidad muchas Instituciones Educativas y empresariales no cuentan con una infraestructura de computadores grande y costosa que es necesaria para realizar las tareas que requieren alto poder de cómputo y de almacenamiento. En las Instituciones Educativas esta problemática es más evidente, encontrándose muchos proyectos de investigación, los cuales necesitan de estas infraestructuras y no se tienen disponibles. Existen algunas alternativas en las Universidades, donde existen muchos proyectos de investigación que requieren alto poder de cómputo y de almacenamiento, el cual puede ser obtenido a través de la compra de súper computadores con gran capacidad de almacenamiento y disponibilidad de procesadores de alto rendimiento cada uno, pero de gran costo. Esta es una propuesta de investigación que busca llevar a cabo una exploración y prueba de herramientas de software libre que permitan el montaje de una infraestructura de almacenamiento paralela. El papel fundamental de las arquitecturas es que los sistemas de almacenamiento están pasando de ser modelos de recursos específicos a modelos de utilidad, lo que proporciona un almacenamiento transparente y bajo demanda, al permitir que todos los recursos de almacenamiento de la empresa estén disponibles para cualquier operación. Como resultado de este trabajo se encontró que dentro de los sistemas de almacenamiento de alto rendimiento existen sistemas de almacenamiento paralelo, distribuido y tolerante a fallos y que cada uno de ellos cuenta con diferentes características funcionales propias y sistemas de archivos que se acomodan a su arquitectura. Para el desarrollo del trabajo se utilizó PVFS como sistema de archivos. |
| publishDate |
2008 |
| dc.date.issued.none.fl_str_mv |
2008 |
| dc.date.accessioned.none.fl_str_mv |
2020-06-26T17:56:39Z |
| dc.date.available.none.fl_str_mv |
2020-06-26T17:56:39Z |
| dc.type.driver.none.fl_str_mv |
info:eu-repo/semantics/bachelorThesis |
| dc.type.local.spa.fl_str_mv |
Trabajo de Grado |
| dc.type.coar.none.fl_str_mv |
http://purl.org/coar/resource_type/c_7a1f |
| dc.type.redcol.none.fl_str_mv |
http://purl.org/redcol/resource_type/TP |
| format |
http://purl.org/coar/resource_type/c_7a1f |
| dc.identifier.uri.none.fl_str_mv |
http://hdl.handle.net/20.500.12749/1393 |
| dc.identifier.instname.spa.fl_str_mv |
instname:Universidad Autónoma de Bucaramanga - UNAB |
| dc.identifier.reponame.spa.fl_str_mv |
reponame:Repositorio Institucional UNAB |
| url |
http://hdl.handle.net/20.500.12749/1393 |
| identifier_str_mv |
instname:Universidad Autónoma de Bucaramanga - UNAB reponame:Repositorio Institucional UNAB |
| dc.language.iso.spa.fl_str_mv |
spa |
| language |
spa |
| dc.relation.references.spa.fl_str_mv |
Chona Quintero, Gerardo, Peña Perdomo, Hugo, Carvajal Salamanca, Roberto (2008). Montaje de un clúster de almacenamiento administrado por PVFS (Paralell vistual File System). Bucaramanga (Colombia) : Universidad Autónoma de Bucaramanga UNAB Egee enabling grids for e-science, proyecto egee, [citado 21/08/2007], disponible internet <url: http://public.eu-egee.org/intro/>. Foster ian, what is the grid? a three point checklist [online], 2 ed., argonne national laboratory & university of chicago, julio 20, 2002.[citado 16/09/2008], disponible en internet <URL: http://www-fp.mcs.anl.gov /~foster/ articles/whatisthegrid.pdf >. Grid Colombia, orígenes, última actualización julio 25, 2006, [citado 7/09/2008], <URL: http://urania.udea.edu.co/grid-colombia/origin.php>. Scalability and High Performance, by Design [online], PVFS Parallel Virtual File System [citado Agosto de 2008], <URL: http://www.pvfs.org >. PVFS: A Parallel File System for Linux Clusters[online], Philip H. Carns Walter B. Ligon III, Parallel Architecture Research Laboratory, Clemson University, Clemson, USA. <URL: http://www.parl.clemson.edu/pvfs/el2000/extreme2000.html> Glite. Lightweight Middleware for Grid Computing, [online], EGEE, Enambling Grids for E-science. [citado Agosto 2008] < URL: http://glite.web.cern.ch/glite/>. Wikipedia, Enciclopedia Libre [online], Almacenamiento Distribuido [citado Agosto 2008],<URL: http://es.wikipedia.org/wiki/almacenamiento_distribuido> Monografias.com [online], Arquitectura Paralela, [citado Julio 2008] <URL: http://www.monografias.com/trabajos16/arquitectura-paralela/arquitectura-paralela .shtml> MKM Publicaciones [online], Diario Informático, El cambio de paradigma hacia el almacenamiento en clústeres [citado marzo 2008],<URL: http://www.mkm-pi.com /mkmpi.php?article1040> Departamento de informática, Universidad de Valladolid [online] Tolerancia de fallos [citado Marzo 2008], http://www.infor.uva.es/~bastida /arquitecturas%20avanzadas/tolerant.pdf Wikipedia, Enciclopedia Libre [online], Sistema de archivos. [Citado Agosto 2008] <URL: http://es.wikipedia.org/wiki/sistema_de_archivos> Red Had Magazine [online], Red Hat Global File System, The open source cluster file system for enterprise deployments [citado Agosto 2008] <URL: http://www.redhat.com/gfs/> Wikipedia, Enciclopedia Libre [online], Coda (sistema de archivos) [citado Agosto 2008] <URL: http://es.wikipedia.org/wiki/coda_(sistema_de_archivos)> Gluster Non-stop clustered Storage [online] GlusterFS [citado Julio 2008] <URL: http://www.gluster.org/docs/index.php/glusterfs> Center for Computational Sciences [online] Computación Paralela [citado mayo 2008] <URL: http://www.ccs.tsukuba.ac.jp/ccs/exreview2007/file/comp_tatebe.pdf> Wikipedia, Enciclopedia Libre [online], Lustre (Sistema de Archivos) [citado Julio 2008] <URL: http://es.wikipedia.org/wiki/lustre_(sistema_de_archivos)> |
| dc.rights.uri.*.fl_str_mv |
http://creativecommons.org/licenses/by-nc-nd/2.5/co/ |
| dc.rights.local.spa.fl_str_mv |
Abierto (Texto Completo) |
| dc.rights.accessrights.spa.fl_str_mv |
info:eu-repo/semantics/openAccess http://purl.org/coar/access_right/c_abf2 |
| dc.rights.creativecommons.*.fl_str_mv |
Atribución-NoComercial-SinDerivadas 2.5 Colombia |
| rights_invalid_str_mv |
http://creativecommons.org/licenses/by-nc-nd/2.5/co/ Abierto (Texto Completo) http://purl.org/coar/access_right/c_abf2 Atribución-NoComercial-SinDerivadas 2.5 Colombia |
| eu_rights_str_mv |
openAccess |
| dc.format.mimetype.spa.fl_str_mv |
application/pdf |
| dc.coverage.spa.fl_str_mv |
Bucaramanga (Colombia) |
| dc.publisher.grantor.spa.fl_str_mv |
Universidad Autónoma de Bucaramanga UNAB |
| dc.publisher.faculty.spa.fl_str_mv |
Facultad Ingeniería |
| dc.publisher.program.spa.fl_str_mv |
Pregrado Ingeniería de Sistemas |
| institution |
Universidad Autónoma de Bucaramanga - UNAB |
| bitstream.url.fl_str_mv |
https://repository.unab.edu.co/bitstream/20.500.12749/1393/1/2008_Tesis_Chona_Quintero_Gerardo.pdf https://repository.unab.edu.co/bitstream/20.500.12749/1393/2/2008_Tesis_Chona_Quintero_Gerardo.pdf.jpg |
| bitstream.checksum.fl_str_mv |
6c404d4ba42abfd098bdb3e674629f30 348c056a0bd9d04a9a57b5721b550c07 |
| bitstream.checksumAlgorithm.fl_str_mv |
MD5 MD5 |
| repository.name.fl_str_mv |
Repositorio Institucional | Universidad Autónoma de Bucaramanga - UNAB |
| repository.mail.fl_str_mv |
repositorio@unab.edu.co |
| _version_ |
1814277371105116160 |
| spelling |
Carvajal Salamanca, RobertoCastaño Diaz, WilsonChona Quintero, GerardoPeña Perdomo, Hugohttps://scienti.minciencias.gov.co/cvlac/visualizador/generarCurriculoCv.do?cod_rh=00012987472020-06-26T17:56:39Z2020-06-26T17:56:39Z2008http://hdl.handle.net/20.500.12749/1393instname:Universidad Autónoma de Bucaramanga - UNABreponame:Repositorio Institucional UNABEn la actualidad muchas Instituciones Educativas y empresariales no cuentan con una infraestructura de computadores grande y costosa que es necesaria para realizar las tareas que requieren alto poder de cómputo y de almacenamiento. En las Instituciones Educativas esta problemática es más evidente, encontrándose muchos proyectos de investigación, los cuales necesitan de estas infraestructuras y no se tienen disponibles. Existen algunas alternativas en las Universidades, donde existen muchos proyectos de investigación que requieren alto poder de cómputo y de almacenamiento, el cual puede ser obtenido a través de la compra de súper computadores con gran capacidad de almacenamiento y disponibilidad de procesadores de alto rendimiento cada uno, pero de gran costo. Esta es una propuesta de investigación que busca llevar a cabo una exploración y prueba de herramientas de software libre que permitan el montaje de una infraestructura de almacenamiento paralela. El papel fundamental de las arquitecturas es que los sistemas de almacenamiento están pasando de ser modelos de recursos específicos a modelos de utilidad, lo que proporciona un almacenamiento transparente y bajo demanda, al permitir que todos los recursos de almacenamiento de la empresa estén disponibles para cualquier operación. Como resultado de este trabajo se encontró que dentro de los sistemas de almacenamiento de alto rendimiento existen sistemas de almacenamiento paralelo, distribuido y tolerante a fallos y que cada uno de ellos cuenta con diferentes características funcionales propias y sistemas de archivos que se acomodan a su arquitectura. Para el desarrollo del trabajo se utilizó PVFS como sistema de archivos.INTRODUCCIÓN 10 1. CLÚSTER 12 1.1 CLÚSTER. 12 1.2 ARQUITECTURA DE CLÚSTER 14 1.3 FUNCIONAMIENTO DE UN CLÚSTER 15 1.4 CLÚSTER DE ALMACENAMIENTO 15 2. SISTEMAS DE ALMACENAMIENTO DE ALTO RENDIMIENTO 19 2.1 SISTEMAS DE ALMACENAMIENTO EN PARALELO 19 2.2 SISTEMAS DE ALMACENAMIENTO DISTRIBUIDOS 21 2.3 SISTEMA DE ALMACENAMIENTO TOLERANTE A FALLOS 23 3. SISTEMAS DE ARCHIVOS 24 3.1 SISTEMAS DE ARCHIVOS DISTRIBUIDOS 24 3.1.1 Red hat global file system (GFS) 24 3.1.2 Network File System (NFS) 27 3.1.3 Coda 28 3.2 SISTEMAS DE ARCHIVOS TOLERANTES A FALLOS 29 3.2.1 Gluster fs 29 3.2.2 Gfarm fs 29 3.3 SISTEMAS DE ARCHIVOS EN PARALELO 30 3.3.1 Lustre 30 3.3.2 Google File System (GFS) 31 3.3.3 Parallel virtual file system (PVFS) 32 4. CLÚSTER DE ALMACENAMIENTO ADMINISTRADO POR EL SISTEMA DE ARCHIVOS PVFS 34 4.1 ALMACENAMIENTO EN CLUSTERS 34 4.2 ARQUITECTURA DE PVFS2 34 5. MONTAJE DE UN CLÚSTER DE ALMACENAMIENTO UTILIZANDO PVFS 38 5.1 SISTEMA OPERATIVO 38 5.2 CARACTERISTICAS MINIMAS PARA LOS EQUIPOS 38 5.3 INSTALACIÓN PVFS 39 5.3.1 Descargar las fuentes 39 5.3.2 Dependencias 39 5.3.3 Instalación de librerías 39 5.3.4 Recomendación 40 5.3.5 Instalación de pvfs2 en todos los nodos 40 5.4 INSTALACIÓN DE PAQUETES 41 5.5 CREAR ARCHIVO DE CONFIGURACIÓN EN SERVIDOR(ES) I/O CON PVFS2-GENCONFIG 41 5.6 ARRANCAR SERVIDORES 42 5.7 EDITAR INICIO DEL SISTEMA (RC) 43 5.8 CONFIGURACIÓN DEL CLIENTE 44 5.9 PROBAR LA INSTALACIÓN 46 5.10 COMPILAR MÓDULO CON SOURCES DEL KERNEL 46 5.10.1 Compilar módulo del Kernel 46 5.10.2 Anotación para antes de montar el pvfs 48 5.11 PARA MONTAR PVFS2 49 5.12 PARA MATAR LOS DEMONIOS PVFS2 50 6. HERRAMIENTAS PARA PROBAR UN CLUSTER DE ALMACENAMIENTO 51 6.1 IOZONE 51 6.1.1 Nomenclatura Iozone 52 6.2 DD 52 6.3 BONNIE++ 53 6.3.1 Nomenclatura Bonnie++ 53 6.4 CLÚSTER CSSH (CSSH) 55 7. CONCLUSIONES Y RECOMENDACIONES 56 BIBLIOGRAFÍA 58PregradoCurrently, many educational and business institutions do not have a large and expensive computer infrastructure that is necessary to perform tasks that require high computing and storage power. In Educational Institutions this problem is more evident, finding many research projects, which need these infrastructures and are not available. There are some alternatives in the Universities, where there are many research projects that require high computing and storage power, which can be obtained through the purchase of super computers with large storage capacity and availability of high-performance processors each. , but of great cost. This is a research proposal that seeks to carry out an exploration and testing of free software tools that allow the assembly of a parallel storage infrastructure. The critical role of architectures is that storage systems are moving from being resource-specific models to utility models, providing transparent, on-demand storage by allowing all of the company's storage resources to be available to any operation. As a result of this work, it was found that within the high-performance storage systems there are parallel, distributed and fault-tolerant storage systems and that each one has its own different functional characteristics and file systems that adapt to its architecture. . For the development of the work, PVFS was used as the file system.application/pdfspahttp://creativecommons.org/licenses/by-nc-nd/2.5/co/Abierto (Texto Completo)info:eu-repo/semantics/openAccesshttp://purl.org/coar/access_right/c_abf2Atribución-NoComercial-SinDerivadas 2.5 ColombiaMontaje de un clúster de almacenamiento administrado por PVFS (Parallel Virtual File System)Mounting a Storage Cluster Managed by PVFS (Parallel Virtual File System)Ingeniero de SistemasBucaramanga (Colombia)Universidad Autónoma de Bucaramanga UNABFacultad IngenieríaPregrado Ingeniería de Sistemasinfo:eu-repo/semantics/bachelorThesisTrabajo de Gradohttp://purl.org/coar/resource_type/c_7a1fhttp://purl.org/redcol/resource_type/TPComputer networksInformation storage systemsInformation retrieval systemsInformation systems administrationTelecommunication networksSystems engineeringInvestigationsAnalysisParallel storageFile systemsRedes de computadoresSistemas de almacenamiento de informaciónSistemas de recuperación de informaciónAdministración de sistemas de informaciónRedes de telecomunicaciónIngeniería de sistemasInvestigacionesAnálisisAlmacenamiento paraleloSistemas de archivosClústerChona Quintero, Gerardo, Peña Perdomo, Hugo, Carvajal Salamanca, Roberto (2008). Montaje de un clúster de almacenamiento administrado por PVFS (Paralell vistual File System). Bucaramanga (Colombia) : Universidad Autónoma de Bucaramanga UNABEgee enabling grids for e-science, proyecto egee, [citado 21/08/2007], disponible internet <url: http://public.eu-egee.org/intro/>.Foster ian, what is the grid? a three point checklist [online], 2 ed., argonne national laboratory & university of chicago, julio 20, 2002.[citado 16/09/2008], disponible en internet <URL: http://www-fp.mcs.anl.gov /~foster/ articles/whatisthegrid.pdf >.Grid Colombia, orígenes, última actualización julio 25, 2006, [citado 7/09/2008], <URL: http://urania.udea.edu.co/grid-colombia/origin.php>.Scalability and High Performance, by Design [online], PVFS Parallel Virtual File System [citado Agosto de 2008], <URL: http://www.pvfs.org >.PVFS: A Parallel File System for Linux Clusters[online], Philip H. Carns Walter B. Ligon III, Parallel Architecture Research Laboratory, Clemson University, Clemson, USA. <URL: http://www.parl.clemson.edu/pvfs/el2000/extreme2000.html>Glite. Lightweight Middleware for Grid Computing, [online], EGEE, Enambling Grids for E-science. [citado Agosto 2008] < URL: http://glite.web.cern.ch/glite/>.Wikipedia, Enciclopedia Libre [online], Almacenamiento Distribuido [citado Agosto 2008],<URL: http://es.wikipedia.org/wiki/almacenamiento_distribuido>Monografias.com [online], Arquitectura Paralela, [citado Julio 2008] <URL: http://www.monografias.com/trabajos16/arquitectura-paralela/arquitectura-paralela .shtml>MKM Publicaciones [online], Diario Informático, El cambio de paradigma hacia el almacenamiento en clústeres [citado marzo 2008],<URL: http://www.mkm-pi.com /mkmpi.php?article1040>Departamento de informática, Universidad de Valladolid [online] Tolerancia de fallos [citado Marzo 2008], http://www.infor.uva.es/~bastida /arquitecturas%20avanzadas/tolerant.pdfWikipedia, Enciclopedia Libre [online], Sistema de archivos. [Citado Agosto 2008] <URL: http://es.wikipedia.org/wiki/sistema_de_archivos>Red Had Magazine [online], Red Hat Global File System, The open source cluster file system for enterprise deployments [citado Agosto 2008] <URL: http://www.redhat.com/gfs/>Wikipedia, Enciclopedia Libre [online], Coda (sistema de archivos) [citado Agosto 2008] <URL: http://es.wikipedia.org/wiki/coda_(sistema_de_archivos)>Gluster Non-stop clustered Storage [online] GlusterFS [citado Julio 2008] <URL: http://www.gluster.org/docs/index.php/glusterfs>Center for Computational Sciences [online] Computación Paralela [citado mayo 2008] <URL: http://www.ccs.tsukuba.ac.jp/ccs/exreview2007/file/comp_tatebe.pdf>Wikipedia, Enciclopedia Libre [online], Lustre (Sistema de Archivos) [citado Julio 2008] <URL: http://es.wikipedia.org/wiki/lustre_(sistema_de_archivos)>ORIGINAL2008_Tesis_Chona_Quintero_Gerardo.pdf2008_Tesis_Chona_Quintero_Gerardo.pdfTesisapplication/pdf630473https://repository.unab.edu.co/bitstream/20.500.12749/1393/1/2008_Tesis_Chona_Quintero_Gerardo.pdf6c404d4ba42abfd098bdb3e674629f30MD51open accessTHUMBNAIL2008_Tesis_Chona_Quintero_Gerardo.pdf.jpg2008_Tesis_Chona_Quintero_Gerardo.pdf.jpgIM Thumbnailimage/jpeg4950https://repository.unab.edu.co/bitstream/20.500.12749/1393/2/2008_Tesis_Chona_Quintero_Gerardo.pdf.jpg348c056a0bd9d04a9a57b5721b550c07MD52open access20.500.12749/1393oai:repository.unab.edu.co:20.500.12749/13932021-04-29 08:05:15.632open accessRepositorio Institucional | Universidad Autónoma de Bucaramanga - UNABrepositorio@unab.edu.co |