Conheci um framework que começa a mudar minha ideia de que Java para web é pouco produtivo quando comparado com o PHP. O nome do mesmo é Play Framework, e pelo pouco que vi parece ser bem interessante.

Uma das principais vantagens que pude ver é o fato de você conseguir fazer modificações no sistema e não precisar compilar ou parar a aplicação, o que para mim era uma desvantagem imensa do Java. Outra coisa bem legal é a estrutura bem simplificada do sistema gerado com o Play, ele abstrai muitas das complicações do Java, como os inúmeros Jars necessários para rodar uma aplicação.

Na página inicial do site do framework tem um vídeo de 11 minutos que mostra uma geral da construção de um sistema utilizando essa tecnologia que permite de forma rápida conhecer algumas de suas grandes vantagens.

Para saber mais:
http://www.playframework.org/

Artigos relacionados

1. Zend Framework Cheat Sheet Poster
2. Zend Framework in Action

Desenvolvida em PHP e tendo como base no Drupal, é uma ferramenta de fácil instalação e que já trás consigo diversas ferramentas para a sua intranet. Ferramentas como blog, calendário, grupos, documentos, rastreadores de tarefas entre outros.

Outro ponto interessante é se basear em tecnologias abertas permitindo uma fácil customização e criação de novas ferramentas.

Para saber mais acesse:
http://openatrium.com/

Artigos relacionados

Nenhum artigo relacionado.

Artigos relacionados

1. Reunião de Planejamento sobre Acessibilidade no Rio Grande do Sul
2. Projeto de acessibilidade virtual na RENAPI
3. Melhorando a acessibilidade

Eu que já trabalho com o Moodle a bastante tempo, mais de 4 anos, estou bem feliz. Ele resolve vários problemas que tinhamos com a versão antiga, acho que o principal ponto para mim é a questão de você poder determinar o relacionamento entre as atividades de um curso de forma nativa, podendo dessa forma criar cursos mais consistentes e automatizados, como só liberar o usuário a começar um curso após se apresentar em um fórum, ou então só permitir iniciar o módulo 2 após receber aprovação em uma prova do módulo 1.

Atividades condicionais

Outro ponto que promete bastante é a forma com ele trata os arquivos dentro do Moodle,. Primeiro que ele agora está integrado com diversos serviços como o Picasa, Google Docs, Flickr, Youtube e Wikimedia, permitindo uma fácil inserção de arquivos originários de uma dessas fontes. Segundo que o sistema de arquivos agora é unificado, permitindo ter um mesmo arquivo usado em vários cursos e atividades sem a necessidade de existir várias cópias do mesmo, o que também permite vincular metadados aos arquivos, como autor, licença e data, também como ter um controle maior da segurança e disponibilidade dos mesmos.

Sistema de arquivos

O editor do Moodle também foi alterado, agora ele é baseado no TinyMCE, o que significa um editor mais robusto, que funciona em mais navegadores, gera código mais limpo e mais acessível além de ser integrado com o sistema de arquivos. O editor também suporta os formatos Wiki e Latex.

Editor de texto

O sistema de Backup, que já me deu tantas dores de cabeça, também foi inteiramente revisado e promete agora conseguir fazer backup de cursos sem limite de tamanho, pois não depende mais da memória do servidor. Além disso permite definir de forma mais fácil a granularidade do backup.

Essas são algumas das modificações que me chamaram mais a atenção, e que acho que vai facilitar muito a vida de quem trabalha com o Moodle, além de melhorar na utilização pelos usuários, mas além delas existe mais uma grande quantidade de melhorias no sistema, como página de perfil reformulada, sistema de tradução melhorado, novo sistema de temas visuais, melhoria nos feeds RSS, no sistema de permissões, na navegação dos cursos, no My Moodle Page, no sistema de mensagem, nas opções de inscrição nos cursos, nos blocos, na Wiki, no SCORM, no questionário e em outras tantas.

Conversei com algumas pessoas do SENAI-BA que me informaram que já estão estudando essa versão para o uso em seus projetos e cursos. Eu também estou estudando para começar a migrar algumas ferramentas e temas desenvolvidas para meus clientes para essa versão, além de também dar suporte e consultoria para os mesmos no processo de migração.

Se desejar saber mais sobre o que essa versão trás acesse:
http://docs.moodle.org/en/Moodle_2.0_release_notes

Para baixar a nova versão acesse:
http://download.moodle.org/download.php/stable20/moodle-2.0.zip

Artigos relacionados

1. Moodle e Activity Locking 1.9.5
2. Sistemas e-learning para élogos
3. Ambiente Virtual de Aprendizagem

http://jsonformat.com/#jsondataurllabel

Artigos relacionados

1. Testando seu site com diversos navegadores de uma maneira fácil
2. Barra de Acessibilidade

Spoon

O segredo é utilizar uma ferramenta chamada spoon, que além dessa utilidade, possui diversas outras não discutidas aqui. Essa ferramenta permite utilizar os navegadores antigos como o Internet Explorer 6 até novos navegadores como o Mozilla Firefox 4 e Google Chrome 6. Tudo isso de uma maneira nativa e sem a necessidade de instalar esses navegadores, a aplicação utilizando técnicas de máquina virtual permite criar sandbox para a execução temporária dessas ferramentas. Dessa forma ficando bastante fácil verificar se sua aplicação possui erros de acessibilidade em um determinado navegador ou problemas de CSS e Javascript.

Para saber mais acesse:
http://spoon.net/browsers/

Artigos relacionados

1. Formatando JSON
2. Livro Técnicas de Acessibilidade: Criando uma web para todos
3. Pencil, uma ferramenta para esboço e protótipo de telas

Página inicial no Android

As modificações necessárias foram poucas, pois ambos celulares utilizam navegadores baseados no WebKit.

Página interna

Em breve também devo estar começando a desenvolver aplicações para essa plataforma, que pelo que já venho acompanhando, é fantástica e permitirá aplicações realmente inovadoras.

Artigos relacionados

1. Site para iPhone
2. AllJoyn
3. Criando menu no Android

Para saber mais acesse:
http://ead.fieb.org.br/inclusao

Artigos relacionados

1. Olimpíada do Conhecimento
2. Tchau SENAI, Olá Instituto Recôncavo de Tecnologia!
3. Livro Técnicas de Acessibilidade: Criando uma web para todos

Facebook: desafio de escalabilidade

Antes de entrar em detalhes, aqui estão alguns factóides para dar uma idéia do desafio de escalabilidade com o qual o Facebook tem que lidar:

• O Facebook serve mais de 550 bilhões de visualizações de páginas por mês;
• Há mais fotos no Facebook do que em todos os outros sites de fotos juntos (incluindo sites como o Flickr);
• Mais de 3 bilhões de fotos são visualizadas por dia;
• Mais de 25 bilhões de tipos de conteúdo (atualizações de status, comentários, etc) são compartilhados todo mês;
• O Facebook tem mais de 60 mil servidores.

Softwares para escalar

A infraestrutura de software que o Facebook usa pode ser vista como a de um site LAMP, mas com melhorias e extensões de vários serviços. Por exemplo:

• O Facebook usa PHP, mas tem um compilador que permite que o sistema execute código nativo nos servidores web, aumentando significativamente seu desempenho;
• O Facebook usa Linux, mas é um Linux otimizado para garantir alta vazão de rede;
• O Facebook usa MySQL, mas principalmente para persistência de chaves-valores (Hashes), movendo lógicas de consultas e JOINS para a camada de aplicação dos servidores web em que otimizações são mais fáceis de implementar, usando por exemplo caches em memória;
• Por fim, há sistemas customizados, como o Haystack, um objeto de armazenamento altamente escalável usado para servir a imensa quantidade de fotos do Facebook, e o Scribe, um sistema de logging (registro de ações) que consegue operar na escala do Facebook (nada trivial).

Vamos ao que interessa. Abaixo são apresentados os softwares (alguns) que o Facebook usa para fornecer a todos nós a maior rede social do mundo.

Memcached

O Memcached é no momento um dos softwares mais famosos na Internet. É um sistema de cache em memória distribuído que o Facebook (e vários outros sites) usam como uma camada de cache entre aplicação web e banco de dados (já que acesso a disco rígido é relativamente lento). Ao longo dos anos, o Facebook realizou diversas otimizações no Memcached e nos softwares que rodam em conjunto com ele.

O Facebook roda milhares de servidores Memcached com dezenas de tearabytes de dados em cache a todo momento. É provavelmente a maior instalação de Memcached do mundo.

HipHop for PHP

PHP é uma linguagem interpretada e por isso seu código quando executado é relativamente lento quando comparado com código que executa nativamente. O HipHop converte PHP em código C++ que pode ser então compilado e apresentar um desempenho melhor. Isso permite que o Facebook aproveite muito melhor seus servidores web já que dependem demais de PHP para servir conteúdo.

Uma pequena equipe de engenheiros no Facebook (inicialmente, apenas três) passou 18 meses desenvolvendo o HipHop, que agora é usado em produção.

Haystack

Haystack é o sistema de armazenamento e recuperação de fotos de alto desempenho do Facebook (a rigor, o Haystack é um armazenador de objetos, então ele não armazena apenas fotos). Existem mais de 20 bilhões de fotos no Facebook e cada uma é armazenada em quatro diferentes resoluções, resultando em mais 80 bilhões de fotos.

O desafio do Haystack não é apenas armazenar bilhões de fotos, mas também executar tarefas com elas em que o desempenho é crítico, como por exemplo remoção, atualização ou acesso.

BigPipe

O BigPipe é um sistema dinâmico para servir páginas web que o Facebook desenvolveu. Ele é capaz de dividir uma página em seções (chamadas “pagelets“) e servi-las em paralelo com desempenho ideal.

Por exemplo, a janela de chat é carregada separadamente, o feed de notícias é carregado separadamente, e assim por diante. Esses “pagelets” podem ser carregados em paralelo, que é de onde vem o ganho de desempenho, e os usuários recebem um site que funciona mesmo se uma parte dele for desativada ou estiver com defeitos.

Cassandra

Cassandra é um sistema de armazenamento distribuído baseado no projeto do BigTable. Ele é um dos filhos de destaque do movimento NoSQL e se tornou open source (virou um projeto Apache). O Facebook o usa na pesquisa Inbox.

Além do Facebook, uma série de outros sites também o usam, como o Twitter e o Digg. É um sistema capaz de armazenar uma quantidade imensa de dados sem comprometer o tempo de busca e acesso a eles.

Scribe

Scribe é um sistema de logging flexível e escalável que o Facebook usa para uma infinidade de propósitos internos. Ele foi criado para ser capaz de registrar todas as ações ocorridas no Facebook, e automaticamente lida com novas categorias de ações registradas conforme aparecem (o Facebook tem centenas).

Hadoop e Hive

O Hadoop é uma implementação open source de MapReduce que permite a execução de cálculos em uma quantidade massiva de dados. O Facebook o usa para análise de dados de sua rede. O Hive é uma interface de acesso ao Hadoop através de consultas SQL, facilitando seu uso, e teve origem dentro do Facebook.

Tanto o Hadoop quanto o Hive são open source (projetos Apache) e são usados por uma série de grandes sites, como o Yahoo e o Twitter.

Thrift

O Facebook usa diferentes linguagens para os seus diferentes serviços. PHP é usada para front-end, Erlang é usada para Chat, Java e C++ são usados em diversas áreas. Thrift é um framework cross-language desenvolvido internamente que junta todas as diferentes linguagens, permitindo que elas conversem entre si. Isso facilita enormemente o desenvolvimento cross-language no Facebook.

O Facebook tornou o Thrift open source e adicionou suporte a mais linguagens de programação.

Varnish

O Varnish é um acelerador HTTP, que pode agir como um balanceador de carga e também realiza cache de conteúdo para servi-lo rapidamente.

O Facebook usa o Varnish para servir fotos, lidando com bilhões de requisições todos os dias. Como quase tudo que o Facebook usa, o Varnish também é open source.

Outras coisas que ajudam o Facebook a funcionar bem

Foram mencionados os softwares que constituem o Facebook e o ajudam a escalar. Mas operar um sistema tão grande é uma tarefa complexa, por isso serão listadas outras coisas que ajudam o Facebook a funcionar sem problemas:

Lançamento gradual de novas funcionalidades e execuções no escuro

O Facebook tem um sistema chamado de “Gatekeeper” (porteiro) que permite que eles rodem diferentes versões do sistema para diferentes conjuntos de usuários. Ele permite que o Facebook lance novas funcionalidades gradualmente e que testes A/B sejam realizados com usuários.

O “Gatekeeper” também é responsável por realizar o que é chamado de “dark launches” (lançamentos no escuro), que é a ativação de elementos de uma nova funcionalidade antes de ela ir pro ar. É uma maneira de realizar testes de carga do sistema antes de uma funcionalidade ser oficialmente lançada. Normalmente os “dark launches” são realizados duas semanas antes do lançamento oficial da funcionalidade.

Monitoramento do sistema em produção

O Facebook cuidadosamente monitora seu sistema e o desempenho de cada função PHP executada em ambiente de produção. Com isso é possível projetar um perfil do sistema que está no ar com a ajuda de uma ferramenta chamada XHProf e identificar gargá-los ou áreas que estão operando incorretamente.

Desativação gradual de recursos para aumento de desempenho

Se o Facebook tiver algum problema de desempenho, existe um grande número de recursos não-críticos que podem ser desativados para aumentar o desempenho de funcionalidades vitais da rede social. Desta forma, em uma situação de emergência, o núcleo da rede social poderá continuar funcionando normalmente.

Coisas que não foram mencionadas

O hardware usado pelo Facebook não entrou em discussão neste artigo, mas é um aspecto importante de analisar quando se pensa em escalabilidade. Por exemplo, o Facebook usa a rede CDN para servir conteúdo estático e possui enormes data centers que hospedam milhares de servidores.

E além do que foi mencionado, existem diversos outros softwares envolvidos na operação do Facebook. Neste artigo foram destacadas as escolhas mais interessantes que o Facebook fez.

Facebook e projetos open source

Antes de encerrar o artigo, é importante mencionar o quanto o Facebook, assim como outras grandes empresas de Internet, apoia projetos open source. O Facebook não apenas usa e contribui com software open source como Linux, Memcached, MySQL e Hadoop, como também desenvolve internamente diversas ferramentas que são disponibilizadas como projetos open source.

Uma lista com todos os projetos open source em que o Facebook atua pode ser encontrada na página Open Source – Desenvolvedores do Facebook.

Mais desafios de escalabilidade por vir

O Facebook cresce a passos incríveis. Sua base de usuários aumenta quase que exponencialmente e já superou 500 milhões de usuários. Ele tem mantido uma taxa de cerca de 100 milhões de novos usuários a cada 6 meses.

O rápido crescimento significa que o Facebook vai ter problemas e diversos desafios de desempenho para apresentar cada vez mais páginas, buscas, imagens, mensagens e todos os outros recursos com os quais os usuários interagem. Para um site como o Facebook, este sempre será um fato com o qual ele terá que viver, e seus engenheiros estarão sempre atentos e criando novas maneiras de fazer o sistema escalar.

Vamos acompanhar o que os engenheiros do Facebook estão desenvolvendo! Com certeza surgirão coisas interessantes, afinal de contas, eles estão escalando uma montanha que muitos de nós podemos apenas sonhar; um site com mais pessoas do que a maioria dos países. Quando isso acontece, é preciso ser criativo.

Fonte: Bit a Bit

Este artigo é uma adaptação/atualização para o português do artigo em inglês Exploring the software behind Facebook, the world’s largest site.

Artigos relacionados

Nenhum artigo relacionado.

A mudança para o WordPress versão 3.0 já é algo que venho querendo a algum tempo, pois nessa versão ele fica ainda mais caracterizado como um sistema de gerenciamento de conteúdo para sites,e  não simplesmente um sistema de blogs. Essa versão traz em especial a união do projeto WordPress MU ao WordPress, permitindo agora que existam diversos sites dentro de um mesmo ambiente administrativo. Outra coisa bacana nessa versão é o sistema de menus, permitindo que se crie diversos menus de forma dinâmica para a inserção no site.

Página inicial da versão para iPhone

Aproveitando que estava fazendo essa mudança, e também que estou envolvido com alguns projetos de aplicativos e sites para iPhone, disponibilizei uma versão do site para o dispositivo, além do iPhone ele também deve funcionar com outros aparelhos, como os com iPod Touchm Android, Palm, BlackBerry e aqueles que possuem navegador baseado no WebKit.

Menu do site na versão para iPhone

Para acessar essa versão basta acessar esse site com um dos dispositivos citados.

Artigos relacionados

1. Agora é a vez do Android
2. Livro Técnicas de Acessibilidade: Criando uma web para todos
3. RASEA, Controle de acesso para suas aplicações