Uma estratégia para gerenciamento de metadados

Uma Estratégia para Representação
e Gerenciamento de Metadados em
Sistemas de Armazenamento nas
Nuvens
Centro de Informática
Universidade Federal de Pernambuco

Marco André Santos Machado
masm@cin.ufpe.br

© 2012 – Marco André Machado

Agenda
• Computação nas Nuvens
• Armazenamento nas Nuvens
• Metadados
• Projeto Usto.re
• Estado da Arte
• Proposta
• Cronograma

Status Report © 2012 - Marco André Machado 2

Universo Digital


Universo Digital
• Problemas
– Processar
– Armazenar
– Gerenciar
– Segurança
– Disponibilidade


Computação nas Nuvens
• Definição (Vaquero, 2009)
“Um grande conjunto de recursos virtualizados
(como hardware, plataformas de desenvolvimento
e/ou serviços) facilmente usáveis e acessíveis”


Arquitetura


Armazenamento nas Nuvens
• Armazenamento em discos remotos
• Acesso a partir de qualquer lugar
• Benefícios:
– Facilidade de gerenciamento
– Custo X Benefício
– Interrupções e manutenções
– Catástrofes
– Planejamento simplificado


• Desafios
– Segurança
– Integridade de dados
– Replicação de dados
– Custos
– Confiabilidade
– Desempenho


• Arquitetura Genérica (Jones, 2012)
– Alta escalabilidade
– Multi-tenant


• Sistemas de Arquivos Distribuídos
– Compartilhar arquivos e recursos de
armazenamento (Levy e Silberschatz, 1990)
– Replicação
– Disponibilidade
– Escalabilidade
– Segurança
– Metadados
(Bzoch e Safarik, 2011)


Metadados
• Informações estruturadas sobre dados (Duval,
2002)
• Atributos
– Nome, tamanho, último acesso/modificação,
estrutura
• Gerenciamento
– Mais de 50% dos acessos ao sistema de arquivos
(Roselli e Lorch, 2000)


Usto.re
• Evolução de um algoritmo estatístico (Duarte,
2010)
– Escolher peers com “perfil compatível” ->
federações
– Disponibilidade
• Objetivo: Prover armazenamento na nuvem
de forma barata


Arquitetura do Usto.re
• P2P híbrida (Schollmeier, 2001)
• JXTA (Gong, 2001)
– Descobrimento de serviços
– Mensagens
– Organização de grupos


Arquitetura do Usto.re
• 3 tipos de peers:
– Super peer
– Peer local
– Peer servidor e proxy


Usto.re
• Desafios do projeto
– Gargalos na transferência de arquivos
– Imprevisibilidade de desempenho
– Armazenamento escalável
– Escalar para diferentes cargas
– Gerenciamento de metadados


Estado da Arte
• Network File System
– Funciona de modo stateless (Sandberg et. Al,
1985)
• Andrew File System
– Unidade básica de tráfego é o arquivo completo


Estado da Arte
• Lustre
– Metadados armazenados em servidores de
metadados (MDSs) e os dados são armazenados em
objetos (OSDs)
• ZFS
– Utilizado no Solaris e OpenSolaris
– Gerenciador de volumes lógicos

 Gerenciamento de metadados ineficiente e
esquema hierárquico baseado em Hash (Yu et. Al,
2007)

Estado da Arte
• MSFSS
– Eficiente para Arquivos pequenos
– Guarda arquivos inteiros
• HDFS e GFS
– Grandes aplicações distribuídas
– Alto grau de tolerância a falhas
– Chunks de 64 Mb


Proposta
• Especificar os metadados (atributos)
– Nome, tamanho, estrutura...
• Gerenciar
• Indexação


Proposta
• Atender aos requisitos:
– Consistência
– Sincronização de arquivos e diretórios
– Compartilhamento
– Segurança
– Descoberta de arquivos


Cronograma
1. Estudo de sistemas de arquivos distribuídos e
sistemas de armazenamento
– NFS, AFS, HDFS, GFS, Lustre, MSFSS, Ceph
2. Atributos e Técnicas de Gerenciamento para
Metadados
3. Especificar e gerenciar os metadados para o
Usto.re
4. Implementação no Usto.re da solução
proposta

Cronograma
5. Definição e execução de um estudo
experimental.
6. Melhoria na solução proposta de acordo com
os resultados do experimento.
7. Escrita e elaboração da dissertação.
8. Escrita de artigos com os resultados obtidos.
9. Defesa da Dissertação.


Cronograma


Referências
• BZOCH, P., AND SAFARIK, J. State of the Art in Distributed File Systems: Increasing
Performance. 2011 Second Eastern European Regional Conference on the
Engineering of Computer Based Systems (Sept. 2011), 153–154.
• Duval, E., Hodgins, W., Sutton, S., and Weibel, S. 2002. Metadata Principles and
Practicalities. D-Lib Magazine http://www.dlib.org/dlib/april02/weibel/04weibel.
html.
• DUARTE, M. Um algoritmo de disponibilidade em sistemas de backup distribuído
seguro usando a plataforma peer-to-peer. Master’s thesis, Centro de Informática/
UFPE, 2010.
• GANTZ, J., AND REINSEL, D. Extracting Value from Chaos State of the Universe : An
Executive Summary. 1–12.
• GONG, L., AND OTHERS. Project JXTA: A technology overview. Tech.rep., Technical
report, SUN Microsystems, April 2001.
http://www.jxta.org/project/www/docs/TechOverview. pdf, 2001
• JONES, T. Anatomy of a cloud storage infrastructure. Tech. rep., IBM, 2010.
"Disponível em http://www.ibm.com/developerworks/cloud/library/cl-
cloudstorage/. Acessado em: Fevereivo/2012".


Referências
• Levy , E. e Silberschatz, A., "Distributed File Systems: Concepts and Examples",
ACM Computing Surveys, Vol. 22, No. 4, December 1990
• ROSELLI, D., AND LORCH, J. A comparison of file system workloads. Proceedings of
the annual (2000).
• SCHOLLMEIER, R. A definition of peer-to-peer networking for the classification of
peer-to-peer architectures and applications. In Peer-to-Peer Computing, 2001.
Proceedings. First International Conference on (2001), IEEE, pp. 101–102.
• VAQUERO, L. M., RODERO-MERINO, L., CACERES, J., AND LINDNER, M. A Break in
the Clouds : Towards a Cloud Definition. Computer Communication Review 39, 1
(2009), 50–55.
• YU, L., CHEN, G., AND WANG, W. MSFSS: A Storage System for Mass Small Files.
International Conference on Computer Supported Cooperative Work in Design
(2007), 1087–1092.
• ZENG, W., ZHAO, Y., AND OU, K. Research on cloud storage architecture and key
technologies. Technology, Culture and Human (2009), 4–8.


Uma estratégia para gerenciamento de metadados

Recommended

Recommended

More Related Content

Similar to Uma estratégia para gerenciamento de metadados

Similar to Uma estratégia para gerenciamento de metadados (20)

Uma estratégia para gerenciamento de metadados