No mundo atual, manter um contato contínuo com clientes e parceiros pode ser uma tarefa difícil, ainda mais para grandes empresas. Uma forma de realizar essa comunicação é utilizando e-mails. Porém, o monitoramento para que eles realmente cheguem a um destinatário pode ser difícil e até mesmo de alto custo. Assim, a utilização de um meio externo para realizar esse trabalho é uma ótima opção.
Como isso impacta o marketing da minha empresa?
O serviço em nuvem de e-mail da Amazon, o Amazon Simple Email Service (SES), é eficaz, flexível e dimensionáveis. Ele possui uma noção de Inbound Marketing, um conjunto de estratégias que se baseia na ideia de criação de conteúdo para um público específico. O conceito traz a ideia de uma comunicação direta com o cliente, criando, assim, um relacionamento duradouro como esse. Com essa ideia em mente, o serviço da Amazon possibilita que empresas apliquem o Inbound Marketing no seu cotidiano, através dos e-mails de comunicações transacionais, marketing ou de grande escala. Devido às suas opções flexíveis de implantação por IP e autenticação por e-mail, o Amazon SES torna-se confiável, sendo capaz de aumentar a capacidade de entrega e proteger a reputação do remetente.
Muitas empresas já se beneficiam do serviço da Amazon SES. Um grande exemplo é o aplicativo Duolingo, que disponibiliza o aprendizado de diversas línguas a milhões de usuários pelo mundo. Através do Amazon Simple Email Service, o aplicativo é capaz de enviar e-mails em grande escala para seus usuários, motivando-os a praticar diariamente.
Quanto custa?
Quando pensamos em Amazon sempre nos veem a cabeça valores justos e acessíveis, no caso do Amazon SES não iria ser diferente. Com um preço inicial de 0 USD para os primeiros 62.000 e-mails enviados a cada mês e 0,10 USD para cada 1.000 e-mails recebidos depois disso.
Uma fator interessante é a forma de contabilizar os email. Por exemplo, se você tiver 768 KB de e-mail recebidos, será contabilizado como três blocos de e-mail recebidos. Se você tiver 255 KB de e-mail recebidos, será contabilizado como zero blocos de e-mail recebidos.
Vantagens
Como a Duolingo, milhares de outras empresas podem usufruir dos benefícios desse serviço. Além da aplicação do Inbound Marketing, o Amazon SES oferece:
Rápida integração: A configuração de e-mails é feita em minutos e o serviço é compatível com o recebimento de e-mails, permitindo a interação com os clientes em grande escala.
Eficiência: É possível analisar a eficácia de alcance de cada email com estatística de envio, entregas de e-mail e devoluções.
Otimização da capacidade de entrega: É possível maximizar a capacidade de entrega através de um painel de reputação que conta com insights de performance e feedback antispam.
Dimensionamento seguro: As opções de autenticação do Amazon SES garantem o envio de e-mails seguros e com o nome de domínio do usuário.
Desvantagens
Além dos pontos positivos que o Amazon SES pode oferecer, há também certas questões que devem ser ponderadas:
O serviço de e-mail não é a solução mais intuitiva que há.
É um serviço um tanto quanto robusto, por assim dizer.
Pode ser complicado de apurar/decifrar mensagens de resposta.
O serviço de e-mail da Amazon é uma solução muito útil para empresas que procuram um engajamento em grande escala, de forma rápida e segura. O fato de ser um tanto quanto robusto, permite que seja incorporado ao software desejado, oferecendo maior flexibilidade.
Por Gustavo Gedoz Kozoroski Artigo do Seminário de Engenharia de Software Fonte Micreiros.com
O avanço e a popularização das tecnologias abriu aos usuários a possibilidade de navegar livremente pela internet, podendo contratar e utilizar diversos serviços remotamente por exemplo. Assim, tornou-se fundamental investir em estratégias que possam adicionar maior segurança e confidencialidade nos métodos de identificação dos usuários (ALVES et al., 2017). Através de processos de autenticação e autorização pode-se proteger o acesso a um determinado recurso, estabelecendo regras e permissões que podem variar dependendo de quem o requisita, e para isso existem padrões e protocolos que especificam a melhor forma de projetar estas etapas do sistema, como gerenciar a identidade, mover dados pessoais com segurança e decidir quem pode acessar aplicativos e dados.
Autenticação
A autenticação é o processo através do qual um requerente prova quem afirma ser, ou seja, se verifica e confirma a autenticidade do usuário (RAHMAN; SHUVA; ALI, 2016). Neste processo, usualmente feito antes da autorização, o usuário é “desafiado” através de senhas ou até reconhecimento facial, de forma que sua identidade seja validada. A autenticação é um pré-requisito para o acesso aos recursos de um sistema e permite que as aplicações e serviços permaneçam confiáveis, impedindo acessos não autorizados. A autenticação pode se enquadrar em três categorias que respondem a três questionamentos “What you know”, “What you have” e “What you are”, respectivamente, são elas:
Single-Factor Authentication depende de um único fator, podendo ser senha, código, PIN, etc..
Two-Factor Authentication requer dois fatores para o sistema permitir o acesso a algum serviço, indo além de apenas nome de usuário e senha.
Multi-Factor Authentication (MFA) exige a utilização de dois ou mais fatores de segurança de categorias independentes. Esta categoria usualmente utiliza reconhecimento facial, impressão digital, leitura de íris ou reconhecimento de voz.
Autorização
Uma vez que o usuário já foi autenticado, a autorização é o método que determina o que o mesmo pode ou não acessar dentro do sistema. Este processo é redigido por meio de policies, rules e definição de roles, utilizadas para decidir qual o nível de acesso atribuído a um usuário autenticado para um recurso (DOULIGERIS; SERPANOS, 2007).
Autenticação vs. Autorização
Em poucas palavras, a autenticação verifica quem é o usuário enquanto a autorização verifica ao que ele tem acesso. A Tabela a seguir apresenta as principais diferenças entre os dois processos:
AUTENTICAÇÃO
AUTORIZAÇÃO
Determina se o usuário é quem afirma ser
Determina o que o usuário pode ou não acessar
Desafia o usuário a validar suas credenciais
Verifica se o acesso é permitido através de políticas e regras
Geralmente feito antes da autorização
Geralmente feito após autenticação bem sucedida
Geralmente transmite informações por meio de um ID Token
Geralmente transmite informações por meio de um Access Token
Geralmente regido pelo protocolo OpenID Connect (OIDC)
Geralmente regido pela estrutura OAuth 2.0
Exemplo: funcionários de uma empresa são obrigados a se autenticar por meio da rede antes de acessar o email da empresa
Exemplo: depois do funcionário se autenticar, o sistema determina quais informações o mesmo tem permissão para acessar
Fonte: adaptado de Auth0
Tokens
O token é um objeto composto por informações, o qual sozinho não possui significado, porém quando utilizado em conjunto com um sistema de Autenticação Baseado em Token (Token Based Authentication) funciona garantindo que todas as solicitações feitas a um determinado servidor sejam acompanhadas por um token assinado e válido. Os principais tipos de tokens são:
ID Token: possui informações do usuário autenticado, e as utiliza inclusive para personalizar a experiência do mesmo. É utilizado somente pelo Client App que requisitou a autenticação.
Access Token: são utilizados a cada request como credenciais para informar ao serviço requisitado que o portador do token foi previamente autorizado a acessar a API e executar um conjunto de ações.
Na Prática
A seguir está apresentado o fluxo de autenticação e autorização por meio de token entre Usuário, Client App, Auth Server e um Web Service (API).
Fonte: Auth0
Conclusões
Boas práticas de segurança tornam-se cada vez mais indispensáveis no desenvolvimento de um projeto de software. Identificar o usuário, validar suas credenciais e restringir seu acesso a determinados recursos é o ponto de partida para diminuir riscos e possíveis falhas que possam comprometer a integridade do sistema, além de proporcionar uma melhor experiência a quem o utiliza.
Autor: Gustavo Sachet
Referências:
ALVES, Késia Cristina. O impacto do registro digital nos processos de legalização de empresas nos escritórios de contabilidade da cidade de Uberlândia. 2017. 27 f. Trabalho de Conclusão de Curso (Graduação em Ciências Contábeis) – Universidade Federal de Uberlândia, 2017.
DOULIGERIS, Christos; SERPANOS, Dimitrios N. Network Security: Current Status and Future Directions. Wiley-Ieee Press, 2007. 592 p.
RAHMAN, Md. Tanvir; SHUVA, Taslima Ferdaus; ALI, K. M. Akkas. Trusted Device along with Trusted Location and Biometry based Authentication Method. International Journal Of Computer Applications, v. 150, n. 4, p. 26-30, set. 2016.
O banco de dados baseado em grafos é relativamente simples de ser desenhado, diferente do banco relacional onde o modelo básico são tabelas e as suas relações, o modelo básico desse tipo de banco são os grafos, onde podemos inserir um dado sem se preocupar quais relacionamentos ele possuirá, pois, essa relação acontece de forma mais simples.
Esse tipo de modelo representa de forma mais explícita os relacionamentos entre os dados, fornecendo uma modelagem mais simples, com melhor performance e maior naturalidade na linguagem para escrever as consultas. Os grafos contêm vértices (nós), arestas (relacionamentos), que são usados para representar e armazenar os dados. Na figura os vértices são representados pelos círculos e as setas são as arestas.
Imagem 2 – Representação de grafos
Por que armazenar dados em grafos?
O banco de dados de grafos facilita o armazenamento de dados que possuem muitos conteúdos associados e a representação de como esses dados se conectam ou se correlacionam com outros dados.
Para facilitar o entendimento podemos usar como exemplo uma rede social. Os usuários na rede seriam os nós e as linhas conectando os usuários indicariam as suas relações. Podemos ligar um usuário a outro pelo relacionamento de adicionar amigo ou podemos adicionar vértices de outro tipo como as publicações, onde o usuário se relaciona através de uma curtida ou compartilhando a publicação.
Imagem 3 – Exemplo de relacionamento de uma rede social
Modelos para implementar o banco de dados de grafos
No banco de dados baseado em grafos existem alguns modelos para que esses grafos possam ser implementados. Os modelos mais conhecidos são grafo de propriedade e o RDF. O primeiro foca em análises e em consultas já o grafo RDF destaca a integração dos dados.
Grafos de propriedades – são usados para modelar relacionamentos entre dados e com base nos relacionamentos permitem a consulta e a análise desses dados.
Grafo RDF – Os grafos RDF (Resource Description Framework) podem representar metadados complexos e instruções. Permite a troca de informações através de um formato padrão com estrutura bem definida.
Exemplo de banco de dados de grafos e linguagem de consulta
O exemplo de banco de dados baseado em grafos mais famoso é o Neo4j, que foi criado para oferecer suporte a grandes estruturas de grafos e retornar centenas de milhares de relacionamentos. Ele possui versão open-source e outra paga, que pode ser adquirida por empresas.
Uma das linguagens de consulta bastante utilizada é a Cypher, que inicialmente foi desenvolvida para o Neo4j, mas ela passou a ser desenvolvida como um projeto separado e muitas outras empresas adotaram essa linguagem como um sistema de consulta.
O banco de dados de grafo possui uma grande usabilidade e é uma potente ideia onde é possível interligar dados e descobrir conhecimento.
Atualmente é cada vez mais difícil capturar a atenção de uma pessoa em um aplicativo, pois existem diversos fatores que tiram a atenção do usuário quando ele está usando algum aplicativo que não o engaje, não pegue a atenção plena do usuário, alguns exemplos são as notificações de outros aplicativos, como por exemplo alguma marcação em publicação em redes sociais, se o usuário não estiver engajado no aplicativos em questão ele sairá para ver a notificação.
O que é Gamificação / Gamification?
Gamificação ou Gamification são técnicas, estratégias, designs e mecânicas de jogos utilizadas para trazer engajamento, aumento de produtividade, foco dentre outros fatores para tarefas, aulas ou até mesmo aplicativos que não são voltados para jogos.
Um bom exemplo de gamificação é o Nike Plus, onde ao atingir metas pré-estipuladas o usuário ganha troféus e status dentro da ferramenta, criando assim uma competitividade entre os usuários.
Outro termo utilizado é ludificação, onde ele tem seu uso no marketing com o significado de incentivar o envolvimento com o produto ou serviço.
Qual o ganho do uso de gamificação?
Nada melhor do que o usuário utilizado o aplicativo que lhe foi ofertado correto? Por isso a gamificação se torna algo com grande valor, pois com o uso de frameworks de gamificação, pode-se fazer sistemas de pontuações, nomeações, avatares dentre outras ferramentas que farão o usuário ficar cativado e utilizar mais vezes o aplicativo.
Um exemplo de framework é o Octalysis que foi desenvolvido por Yu-Kai Chou (foto ao lado) e lançado em 2010, onde este se tornou referência mundial, pois Chou já estava trabalhando em “gamificação” antes da mesma ser reconhecida pelo termo.
Octalysis: Conceito e Funcionalidades
O framework Octalysis trouxe como princípio 8 Cores Drives que motivam as pessoas a fazerem suas tarefas ou utilizar algo da melhor forma, usando a diversão como um mecanismo para engajá-los, são eles:
SignificadoÉpico (Meaning)
Este Core tem significado de dar importância ao usuário, lhe dar título, fazendo ele se sentir como “O escolhido” se sentir especial.
CriatividadeeFeedback (Empowerment)
O feedback dentro do octalysis diz respeito a mostrar para o usuário que ele está avançando, crescendo, um exemplo são plataformas de línguas como a Pearson, onde está presente o leveling (Nivelação).
InfluênciaSocial (Social Influence)
O Core Social e de afinidade fala sobre motivar as pessoas por meio do sentimento de nostalgia, competitividade e inveja, ou seja, mostrar os status de outros usuários para que se possa ter uma certa rivalidade.
Imprevisibilidade (Unpredictability)
Para os curiosos esse é um ponto a ser explorado, pois a vontade de saber o que irá acontecer em seguida, como por exemplo temos a vontade de assistir mais de um episódio de séries, ler mais uma página, jogar mais uma partida.
Perda (Avoidance)
A perda ou prevenção é o progredir com cuidado, pois há um certo risco de perder uma parte do progresso ou até perder tudo, isso causa tensão e fazendo com que o usuário fique mais preso à aquilo que está fazendo.
Escassez (Scarcity)
A Impaciência e Escassez é uma tática muito usada em jogos para deixar as pessoas ansiosas para poder jogar, a aplicação da mesma fora do mundo dos jogos não é diferente, um exemplo é a exclusividade, para ter funções a mais o usuário deverá pagar para ter.
Propriedade (Ownership)
A propriedade nada mais é do que a liberdade de ser diferente, como a criação de um avatar personalizado para cada pessoa, isso vai fazê-la se sentir única, outra é a posse, que pode ser tratada como acumulo de troféus/insígnias.
Realização (Accomplishment)
A realização está ligada com praticamente todos os outros Cores, onde nessa temos a questão dos desafios que darão recompensas / conquistas para o usuário, porém o desafio não pode ser algo fácil de ser conquistado, pois perderá o significado, deve ser algo desafiador onde no início será fácil, porém conforme ir avançando vá se tornando mais difícil para que o usuário crie vontade de crescer dentro da ferramenta.
Conclusão
A Gamificação está se tornando cada vez mais uma ferramenta presente no dia a dia das pessoas, pois como comprovado em pesquisas como a da TalentMS a gamificação de coisas tornou as pessoas mais produtivas (89%) e felizes (88%) no trabalho. Outro ponto é o mercado de gamificação, onde ele aumenta em cada dia, em 2018 movimentou cerca de 5,5 bilhões de dólares, sendo procurado pela maior parte das empresas mundiais.
Quando desejamos extrair informações de imagens ou vídeos, a maior dificuldade está no reconhecimento das informações, separar um texto com uma imagem no fundo pode parecer uma tarefa muito difícil. Porém não é, hoje possuímos muitas bibliotecas que podem nos auxiliar nestas tarefas e fazer isto com apenas algumas linhas de código. E o melhor de tudo, de graça.
OCR
OCR é um acrónimo para o inglês Optical Character Recognition, é uma tecnologia para reconhecer caracteres a partir de uma imagem. Com estudos desde 1950 hoje ele possui um estágio de evolução bem avançado, possuindo algumas ferramentas bem consolidadas.
Muito importante na utilização destas bibliotecas é o tratamento das imagens, é comum surgirem ruídos após a extração, este podem ser reduzidos seguindo algumas práticas abordadas pelas próprias documentações, como por exemplo, deixar a imagem em tons de cinza e aumentar o Canal Alfa dos elementos.
1 – Tesseract OCR
Originalmente desenvolvido pela Hewlett-Packard e por um tempo mantido pelo Google. Atualmente o projeto está hospedado no GitHub. Sua primeira versão esteve disponível para utilização na linguagem C, hoje ele já possui sua versão em Python. Com ele é possível transformar imagens de múltiplos formatos para um texto de saída simples.
2 – GOCR
Desenvolvido por Jörg Schulenburg em meados dos anos 2000. O GOCR pode ser usado como um aplicativo de linha de comando independente ou como back-end para outros programas. Ele vem com uma interface gráfica gocr.tcl.
3 – Kraken
Projeto mais modesto porém com muito potencial para crescimento. Uma de suas principais características é a análise de layout totalmente treinável e o suporte para reconhecimento de multi-script.
Reconhecimento de objetos
O reconhecimento de objetos consiste no conceito de visão computacional, permitir que os computadores interpretem visualmente informações, neste caso, ser capaz de reconhecer objetos pré-definidos ou não. Este campo de pesquisa permite reconstruções de cena, detecção de eventos, reconhecimento de objetos, aprendizagem de máquina, restauração de imagens entre outros.
4 – OpenCv
Desenvolvida pela Intel, em 2000. É totalmente livre ao uso acadêmico e comercial, para o desenvolvimento de aplicativos na área de Visão computacional. Possui módulos de Processamento de Imagens e Video I/O, Estrutura de dados, Álgebra Linear, GUI, além de mais de 350 algoritmos de Visão computacional como: Filtros de imagem, calibração de câmera, reconhecimento de objetos, análise estrutural e outros.
5 – BoofCV
Suas funcionalidades cobrem uma variedade de assuntos, processamento de imagem de baixo nível, calibração de câmera, detecção / rastreamento de recursos, estrutura de movimento, detecção fiducial e reconhecimento.
Conclusão
Hoje, diferente de apenas alguns anos atrás, possuímos a disponibilidade de diversas ferramentas para realizarmos ideias que por muito achamos não realistas, por serem muito avançadas tecnologicamente ou acharmos que não possuímos os recursos necessários.
Se trata apenas de uma ilusão criada por nós mesmos, temos uma gama enorme de possibilidades disponibilizadas gratuitamente e que podemos até mesmo contribuir para melhorias de código e performance. Bibliotecas de reconhecimento de objetos e OCR são aplicáveis em diversos projetos de variadas áreas e cada vez mais estarão presentes em nossas vidas.
Com tecnologias cada vez mais visuais, o desenvolvedor front-end precisa se reinventar para sempre entregar softwares com mais qualidade e velocidade. Para isso muitas tecnologias são lançadas a todo tempo, facilitando a vida dos programadores e acelerando o processo de programação.
Editores de texto
Talvez sejam a principal ferramenta de um programador. Características como layout, funcionalidades, atalhos e até mesmo cores podem fazer a diferença na escolha. Outro detalhe importante é a linguagem de programação que será desenvolvida, muitos dos editores são otimizados e/ou feitos para determinada linguagem.
VSCode
Ou Visual Studio Code, é um editor desenvolvido pela Microsoft, multiplataforma, que pode ser instalado em Windows, Linux e MacOS. Características: extensível, suporte nativo ao git, IntelliSense, depuração direta no editor.
Sublime Text
É um editor que busca simplicidade e facilidade em sua utilização. Multiplataforma, funciona em em Windows, Linux e MacOS. Características: ampla comunidade, grande gama de plugins, coloração de sintaxe personalizável.
Atom
Desenvolvido pelo GitHub, é um editor de código open source multiplataforma. Caraterísticas: ampla comunidade, suporte nativo ao git, instalador de pacotes integrado, interface simples.
Frameworks
Framework são conjuntos de códigos fonte genéricos agrupados, que facilitam a criação de algum sistema. Eles podem facilitar o desenvolvimento de uma aplicação, tanto individualmente quanto coletivamente, uma vez que em alguns casos podem fragmentar o código fonte em pequenas partes melhorando o desempenho em equipe.
Bootstrap
O Bootstrap é uma biblioteca que visa facilitar o desenvolvimento web, com uma série de estilos e componentes. Ele traz uma padronização de layout, com um sistema de grid que é amplamente utilizável. O framework é tão grande, que vários outros frameworks derivados são criados a partir deles.
React
React é um framework Javascript do Facebook para construção de interfaces de usuário. Ele tem como premissa a componentização de blocos e páginas, assim dividindo as partes lógicas e responsabilidades de cada parte, isso tem grande impacto no trabalho em equipe pois cada programador pode focar em um componente diferente de forma mais individual, com menor dependência.
Angular
É um framework Javascript para construir páginas web dinâmicas. Ele fornece tecnologia para construir aplicativos para web baseados em uma única página dinâmica. Também permite ao desenvolvedor fazer uso da linguagem de marcação HTML para definir dados associados, validações, e response handlers para ações do usuário.
Ferramentas e plugins
Sass
Sass é um compilador CSS que permite escrever os estilos web de forma mais inteligente e rápida. Ele transforma o código escrito de forma hierárquica em CSS interpretado pelos navegadores. Também funciona modularizado e contém várias funções para facilitar a escrita.
Emmet
É uma extensão que facilita a digitação do código em diversos editores. Ele funciona como autocomplete e também possui diversas palavras chaves que aumentam a rapidez na escrita. Também é altamente customizável, possibilitando atalhos customizáveis.
ESLint
O Eslint funciona como uma forma scanner no código que procura por problemas e más práticas. Também é possível indentar o código, de forma que a aplicação toda use o mesmo padrão e regras. Ele é muito customizável, isso permite que as equipes definam suas próprias regras de codificação, e se os ajustes ocorrem de forma automática ou manual.
Como pode se notar, o desenvolvimento de software está crescendo cada vez mais. Programadores e empresas precisam buscar soluções que facilitem a codificação e interações entre a equipe. Muitas ferramentas estão nascendo e é preciso escolher com sabedoria.
Os IDEs vêm com muitos recursos extras, como por exemplo o preenchimento automático de texto, podendo dar mais flexibilidade ao usuário. Com a ajuda de IDEs, é possível aumentar a produtividade. Existem diversos IDEs na Internet e muitos deles são de código aberto.
Desenvolvimento
Nesta lista de IDE Javascript, selecionei 4 de código aberto e 4 premium (pagos). Todos eles estão no top 10 da lista de IDEs para JavaScrip cujos dowloads foram mais procurados entre 2020 e 2021, conforme a pesquisa anual da Github.
Características de uma IDE
Muitas são as características presentes em uma IDE, as mais comuns são:
Editor de código-fonte: podendo escrever comandos suportados por uma determinada linguagem de programação;
Preenchimento inteligente: recurso de uma IDE no qual permite o preenchimento de trechos de códigos com a finalidade de agilizar o desenvolvimento;
Compilador ou interpretador: é necessário que toda IDE possua um compilador (ou um interpretador), que transforme todo o código-fonte escrito em linguagem de máquina;
Debbuger: mais utilizado para encontrar e corrigir erros no código-fonte;
Geração automática de código: recurso no qual permite a criação de trechos de códigos predefinidos, trazendo agilidade aos diversos processos de desenvolvimento;
Refatoração: ferramenta que, em conjunto com testes automatizados, garantam uma melhoria constante do código-fonte e erradicação de bugs.
Vantagens e desvantagens de uma IDE
Apesar da facilidade de criação de aplicações, as IDEs possuem diversas vantagens e desvantagens em sua utilização. Dentre elas é possível citar:
Vantagens de uma IDE
Aumento da produtividade: Por possuir diversas ferramentas que auxiliam na criação de aplicações, o desenvolvedor só utilizará esta ferramenta, aumentando assim sua produtividade;
Diminuição gastos: Por ser uma solução completa, muitas vezes esta é a única ferramenta que o desenvolvedor precisa adquirir para a construção de suas aplicações;
Mede desempenho: IDEs possuem ferramentas para medição de desempenho da execução de aplicações;
Geração automática de códigos: é o recurso que permite a criação de trechos de códigos predefinidos;
Facilidade em fazer verificações e correção de erros: Diversas IDEs possuem ferramentas que analisam o código que está sendo desenvolvido, permitindo que possíveis erros sejam corrigidos no momento do seu desenvolvimento;
Completa: Com um único software o desenvolvedor consegue desenvolver, testar e corrigir uma aplicação.
Desvantagens de uma IDE
Pagas: Muitas IDEs são pagas, o que dificulta sua utilização pela comunidade;
Facilidade no desenvolvimento: Sendo possível prover diversas facilidades na hora do desenvolvimento (como a geração automática de códigos), mas podem também contribuir para que muitos desenvolvedores se tornem “mal acostumados” na hora de desenvolver, se tornando dependentes da IDE;
Ambiente lento: Apesar de possuir uma solução completa, isso tem um custo. A maioria das IDEs consomem muito mais recursos de hardware do computador que um simples editor de texto.
IDE´s java script
Eclipse
Visual Studio Code
NetBeans
Atom, um IDE Javascript
IDE Javascript Premium
Visual Studio
WebStorm – IDE Javascript
Sublime Text
Considerações Finais
A utilização de uma IDE não é obrigatória, podendo também ser possível desenvolver aplicações sem que o desenvolver utilize a mesma. Em certas situações o desenvolvedor poderá a escolher por diversas vantagens que sua utilização prove aos usuários, nada melhor que analisar todas estas questões a fim de escolher aquela que mais se adequa a sua forma de desenvolvimento.
Em um mundo como vivemos hoje em dia, com milhares de distrações para qualquer lado que olhamos, é incontestável a dificuldade em criar uma determinada tarefa/tema que prenda a atenção e o interesse da pessoa e que faça com que se engaje a essa tarefa/tema.
O que é Gamificação?
A Gamificação é uma metodologia que adapta os conceitos, ideias e dinâmicas dos jogos para o mundo real, que tem como alguns de seus objetivos: motivar, causar interesse, curiosidade, engajamento e incentivar as pessoas a realizar determinada atividade.
Alguns dos elementos que essa metodologia busca do mundo dos jogos para implementar no mundo real e alcançar seus objetivos, são:
• Competição;
• Cooperação;
• Aplicação de fases;
• Recompensas;
Com o uso desse método é amenizado a dor que a maioria das pessoas sente ao tentar aprender algo novo.
Por que implementar a Gamificação?
Por que essa metodologia busca resolver um dos problemas da atualidade, que é a falta de interesse e motivação das pessoas.
Diversas pesquisas comprovam que as pessoas se sentem mais motivadas, felizes e produtivas quando estão trabalhando em algo que está gamificado.
Como implementar a Gamificação?
Quando estamos falando sobre a implementação da Gamificação em algum cenário, muitos buscam algo pronto, como um jogo já pronto, embora um jogo pronto possa funcionar em várias ocasiões, implementar um projeto de Gamificação que foi estudado para um determinado cenário, sempre trará mais benefícios.
Para levantar o que é preciso fazer e implementar na hora de criar um projeto de Gamificação, depende muito do seu cenário, se é para educação, se é empresarial, se é no ramo da saúde, então o ideia é sempre consultar alguém experiente e profissional.
Entretanto, alguns passos são sempre utilizados, independente da área que esteja, são eles:
• Estabelecer missões e desafios;
• Sistema de pontuação;
• Sistema de Ranking;
• Premiações
Esses sistemas/métodos estão presente em praticamente todos os projetos de Gamificação, pois sistemas de ranqueamento e recomeças são ações que incentivam a continuar até que seus objetivos sejam alcançados, pois, se sentem empolgados a realizar uma ação ou progredir com a tarefa, além de já estarmos bem habituados a esses sistemas, que estão presente em praticamente tudo que a sociedade jovem pratica.
Benefícios da Gamificação
O uso dessa metodologia traz muitos benefícios, dentre alguns dos benefícios, estão:
– Ameniza a dor do aprendizado
No método tradicional de ensino para as pessoas de hoje em dia, é comum com que associem o aprendizado a algo chato, simplesmente obrigatório, com o uso da Gamificação tornando o ensino mais atrativo e divertido, essa dor é amenizada.
– Estimula a persistência
Com a Gamificação, o aprendizado se torna interessante, alguns dos métodos utilizados dentro da Gamificação faz com que a pessoa queira seguir, continuar com o que está fazendo.
– Melhora o foco
Com as grandes distrações dos dias atuais, juntando com o método tradicional de ensino que é associado como algo chato, qualquer mínimo detalhe é o suficiente para tirar o foco da pessoa do aprendizado, portanto, a Gamificação fazendo com que o aprendizado deixe de ser algo chato, para ser algo interessante, curioso, fazendo com que a pessoa se engaje e até mesmo divertido algumas vezes, faz com que o foco dessa pessoa não seja perdido por qualquer distração.
Conclusão
A eficácia dessa metodologia não tem como ser negada, por essa razão o crescimento no uso desta metodologia está tão em alta.
Os benefícios gerados na utilização da Gamificação são muito importantes, ao gerar motivação para uma pessoa seguir, quebra uma das maiores barreiras para o aprendizado e sucesso de uma pessoa, e essa barreira é a desmotivação.
Alguns estudos sobre a Gamificação aponta que cerca de 83% das pessoas que passaram por um treinamento que havia Gamificação responderam de maneira positiva, e que 89% se sentem mais produtivas no trabalho, quando o mesmo está gamificado.
Um framework é uma combinação de bibliotecas, auxiliares e ferramentas que auxiliam a construir e executar aplicativos da web com menos esforços. “É de conhecimento público que existem mais frameworks para desenvolvimento web, que estrelas na via láctea”. Com isso, foi realizado uma pesquisa para descobrir os frameworks mais utilizados atualmente para node JS.
EXPRESS JS:
Express é uma estrutura Node.js Model-View-Controller (MVC) popular, rápida, mínima e flexível que oferece uma coleção poderosa de recursos para desenvolvimento de aplicativos móveis e da web.
É um conjunto de bibliotecas de roteamento que fornece uma camada fina de recursos fundamentais de aplicativos da web, que se somam aos adoráveis recursos existentes do Node.js. Ele se concentra em alto desempenho e oferece suporte a roteamento robusto e auxiliares HTTP (redirecionamento, cache, etc). Ele vem com um sistema de visualização que suporta mais de 14 mecanismos de template, negociação de conteúdo e um executável para gerar aplicativos rapidamente.
Além disso, o Express vem com uma infinidade de métodos, funções e middlewares de utilitários HTTP fáceis de usar, permitindo que os desenvolvedores escrevam APIs robustas de maneira fácil e rápida.
SOCKET.IO:
Socket.io é uma estrutura full-stack rápida e confiável para a construção de aplicativos em tempo real. Ele é projetado para comunicação baseada em eventos bidirecionais em tempo real.
Ele vem com suporte para reconexão automática, detecção de desconexão, binário, multiplexação e salas. Possui uma API simples e conveniente e funciona em qualquer plataforma, navegador ou dispositivo (com foco igualmente na confiabilidade e velocidade).
SAILS:
Sails foca em dois pilares: estabilidade e facilidade de uso, sem excluir diversos componentes prontos para uso. Ele é um derivado do Socket e do Express. O framework MVC oferece suporte a autenticação, ORM próprio para integração com banco de dados, padronização de templates e WebSockets. Além disso tudo, a solução ainda agrega um gerador de APIs batizado de Blue prints que permite que o desenvolvedor customize suas APIs com o mínimo de codificação manual. Sua arquitetura MVC lembra a de frameworks como Ruby on Rails. No entanto, é diferente porque oferece suporte ao estilo mais moderno e orientado a dados de desenvolvimento de aplicativos da web e API.
Ele suporta APIs REST geradas automaticamente, fácil integração com WebSocket e é compatível com qualquer front-end: Angular, React, iOS, Android, Windows Phone, bem como hardware personalizado.
METEOR JS:
O Meteor.js é uma estrutura Node.js full-stack ultra-simples para a construção de aplicativos modernos e móveis da web. É compatível com a web, iOS, Android ou desktop. Permite uma prototipagem rápida e produz código multiplataforma (Android, iOS, Web). Ele se integra com MongoDB e usa o protocolo DDP (Distributed Data Protocol) para propagar as mudanças nos dados para todos os clientes do serviço em tempo real sem requerer qualquer código de sincronização específico.
Ele integra coleções-chave de tecnologias para construir aplicativos reativos de cliente conectado, uma ferramenta de construção e um conjunto de pacotes com curadoria da comunidade Node.js e JavaScript geral.
KOA:
Koa é um novo framework construído pelos desenvolvedores do Express e Socket.io, usa funções assíncronas ES2017. Possui uma base menor, mais expressiva e mais robusta para o desenvolvimento de aplicativos da web e APIs. Ele emprega promisses e funções assíncronas para livrar os aplicativos de “call-back hell” e simplificar o tratamento de erros. O propósito aqui é oferecer um middleware que permite que o cliente tenha acesso a funcionalidades como delegação de eventos, canais de call-back, eventos e execução de código assíncrono. Ele usa alguns métodos ECMAScript (ES6) poderosos que ainda nem chegaram a todos os navegadores. Para os desenvolvedores, isso representa uma aceleração no trabalho de se criar aplicações web e APIs.
Referencial:
https://medium.com/rapaduratech/top-10-frameworks-para-conhecer-em-nodejs-1e4b47e2320a – acessado em 24/10/2020
https://www.tecmint.com/best-nodejs-frameworks-for-developers/ – acessado em 24/10/2020
https://www.codigofonte.com.br/artigos/top-10-frameworks-de-node-js – acessado em 24/10/2020
Nos dias atuais e na era da informação, se torna cada vez mais fácil ter acesso a um bom conteúdo para estudar e se aperfeiçoar. Isso possibilitou que nós, desenvolvedores, tenhamos uma grande quantidade de tecnologias à nossa disposição para solucionar os problemas corriqueiros de nosso dia a dia. Este texto tem como objetivo comparar duas excelentes tecnologias que empoderam milhões de desenvolvedores ao redor do mundo. Durante este post, irei abordar diversos pontos que considerei importantes para a escolha de uma stack e espero que talvez, encurte a sua jornada.
O NodeJS é um runtime JavaScript, construído sobre o V8, um motor de renderização, criado pelo Google e considerado por muitos, um dos maiores avanços na engenharia de software, depois do Linux e do Git. Foi criado por Ryan Dahl e apresentado em 2009. É open-source e se tornou o mais popular ecossistema multiplataforma para o desenvolvimento de aplicações. De uma forma sucinta, o V8 transforma o código JavaScript em C++ e realiza sua execução.
O Go ou Golang teve seu início em 2007, originalmente por uma equipe do Google. Em 2009, foi apresentada ao público e lançada como open-source. A equipe core de criação e design da linguagem, são ícones no mundo de desenvolvimento de software. Entre eles estão: Robert Griesemer, Rob Pike e Ken Thompson. A proposta da linguagem foi trazer boa performance, segurança e aumentar a produtividade, sendo uma alternativa ao C++ e ao Java.
NodeJS – Especificações
O NodeJS, como comentando anteriormente foi construído sobre o V8, porém, ele não se limita apenas a isso. Sua arquitetura é complexa, a estrutura principal é composta por 6 módulos distintos, que comunicam-se para permitir que as aplicações sejam executadas. Esses módulos são: V8, Libuv, http-parser, c-ares, OpenSSL e zlib. Podemos ver essa disposição de dependências na imagem a seguir:
Com a utilização de JavaScript, o código é dinamicamente tipado e vem recebendo evoluções conforme novas especificações do Ecmascript são lançadas.
Não podemos falar de Node, sem mencionar que o mesmo é orientado a eventos, assíncrono e não bloqueante. Para organizar isso, utiliza uma thread principal, para que todo o processo do event loop seja controlado. Esse é o motivo de ser chamado de single-threaded, mesmo utilizando worker threads em outros processos.
Ao contrário do que muitos pensam, o NodeJS não compila o código e executa posteriormente, assim como C ou o GO. Os códigos são compilados a tempo de execução, em um processo chamado de JIT (Just-in-time), trazendo grandes benefícios como otimização dos códigos durante a execução do programa.
Go – Especificações
Go ou Golang é uma linguagem de programação procedural e fortemente tipada, com uma sintaxe parecida com C. Apesar de sua tipagem, ela permite que ocorra uma inferência de tipos, no momento da declaração de uma variável, facilitando assim a vida dos programadores. Como comentado anteriormente, ela foi desenvolvida para ser altamente escalável e ter uma curva de aprendizagem menor que o C e o C++. Diferentemente do NodeJS, é uma linguagem compilada, que permite distribuir seus binários.
Por ser uma linguagem relativamente nova, ela foi criada com o intuito de utilizar todos os núcleos de processamento dos CPU’s modernos. Para tornar essa utilização de múltiplos cores mais amigável, foram criadas as Goroutines, que abstraem a necessidade de trabalhar manualmente com as threads.
Mesmo sendo uma linguagem compilada, GO possui um garbage collector, que foi casos de polêmicas em sua utilização em grande escala. Esse garbage collector recebeu muitas melhorias desde então.
Go instaurou uma cultura diferente das demais linguagens, sempre prezando pela simplicidade e procurando ao máximo trazer o máximo de ferramentas em seu core, facilitando assim a vida dos desenvolvedores. Essa abordagem divide opiniões, onde alguns acham que torna-se inflexível e outros acreditam que isso pode prevenir algumas decisões errôneas.
Aplicações das Tecnologias
O NodeJS está em praticamente todos os lugares. Ele é comumente utilizado para realizar a criação de API’s, com express, é utilizado em projetos React, é utilizado em aplicações desktop multiplataforma através do Eletron, é utilizado em aplicativos móveis através do React Native e também pode ser utilizado em aplicações embarcadas.
GO é geralmente utilizado para construir API’s, scripts e aplicações embarcadas. É bem versátil e tem diversas bibliotecas para a utilização em interfaces para aplicações desktop. Por se tratar de algo criado e desenhado para rodar em servidores, não é suportada na Web, apesar de ter iniciativas executando através do WebAssembly.
Curva de Aprendizado
Todo e qualquer desenvolvedor, nos dias atuais, precisa saber o básico de JavaScript, com isso, ao meu ver, a curva de aprendizagem do NodeJS é menor. Porém, GO é muito simples, possui uma boa documentação e desenvolvedores originalmente de linguagens como: Java, C#, C e C++, tem grandes facilidades na evolução.
Ferramental Disponível e Gerenciamento de Dependências
O gerenciamento de pacotes do Go é infinitamente superior ao do NodeJS. Golang cria uma pasta no repositório local do usuário, e mesmo que múltiplos projetos utilizem as mesmas dependências, elas são armazenadas uma única vez. Poupando muito espaço se compararmos com o node_modules, que requer que as dependências fiquem na mesma pasta do package.json.
Quanto ao ferramental de desenvolvimento, tanto um quanto o outro é possível escolher seu editor de código favorito, atualmente os principais dão suporte a linguagem. Existem também IDEs construídas por empresas como a JetBrains para ambas as tecnologias.
Usando como base o Visual Studio Code, o GO se destaca em possuir um Linter que é instalado e configurado automaticamente ao iniciar um arquivo da respectiva extensão. Isso facilita bastante, pois tudo é baixado diretamente pelo editor e requer apenas uma extensão. No NodeJS para termos um bom linter, é necessário baixar a extensão e configurar manualmente os arquivos no projeto.
Em questão de bibliotecas, o NodeJS tem uma grande vantagem, tendo uma comunidade maior, com mais variedade e possuindo inúmeros projetos open source maduros, bem codificados e consolidados. GO tem uma comunidade em constante crescimento, e cada vez mais, novas bibliotecas são criadas e disponibilizadas no Github.
NodeJS tem frameworks muito populares e maduros, como Express, NestJS, LoopBack, etc. Enquanto o GO possui frameworks com uma popularidade menor, porém, muito eficientes, como o GIN, Fiber, etc.
Mercado
O mercado de tecnologia como um todo está bem aquecido. Para ambas as linguagens, existem bastante vagas em aberto, a diferença existe na busca de perfil, onde as vagas para GO, buscam geralmente pessoas com mais experiência na área. Isso não quer dizer que não existam vagas, para Junior, porém, se compararmos com o NodeJS, esse número é menor.
Quanto a empresas que utilizam determinada tecnologia, para o NodeJS podemos citar, Uber, Netflix, Paypal, Trello e muitas outras. O GO também está tendo uma rápida adoção e já temos casos de uso no Mercado Livre, Twitch, SendGrid, Dropbox e o próprio Google. Também vale salientar que o Docker, Kubernetes e o Terraform são construídos nesta tecnologia.
Performance
Para comparar a performance, me baseei em dados do TechEmpower, um dos mais renomados benchmarks, com os testes mais efetivos e em diversos segmentos. No atual momento que escrevo este texto, o Round é o 19.
Acredito que um dos testes mais relevantes são os de Data Updates, onde é bem perceptível que os frameworks Go, tem grande vantagem:
Desconsiderando o es4x, que é o JavaScript rodando no Vert.x, os frameworks escritos em GO dominam o ranking da posição 2 à 20, aparecendo sutilmente o Fastify.
Em outro cenário, realizando múltiplas requisições no banco de dados, podemos perceber novamente que o Go tem uma grande vantagem:
Também dominando as 20 primeiras posições do ranking, desconsiderando novamente o es4x.
Conclusão
O GO tem claramente um melhor gerenciamento de dependências, mais performance e está em um mercado ascendente, onde aqueles que se aventurarem em seu profundo entendimento, poderão colher bons frutos. Porém, é recomendado para equipes mais maduras, que tenham a capacidade de manter uma arquitetura de microsserviços e as aplicações Frontend desacopladas.
NodeJS tem um mercado maior, com uma curva de aprendizado menor e possibilita que desenvolvedores possam atuar em diferentes partes da arquitetura, sem ter que aprender uma nova tecnologia. Tem uma performance aceitável e uma quantidade de frameworks e bibliotecas exuberante.
Ao comparar duas tecnologias, a ideia não é definir qual é a melhor e sim explanar as diferenças para que a escolha seja a mais adequada para um determinado contexto.
A Autenticação em sistemas computacionais consiste em confirmar a autenticidade de uma pessoa dentro de um determinado contexto e está relacionado diretamente à segurança do sistema verificando a permissão e os limites de acesso do usuário.
Há diversas formas de autenticação dentro de um sistema como por exemplo: os Smart Cards conhecidos como tokens, a biometria e a mais difundida e aceita que é o uso de senha.
Framework e Autenticação
Dentro do universo JavaScripts temos diversos frameworks e bibliotecas que utilizamos como ferramentas para desenvolvimento visando o uso das ferramentas Node.js e React.js, temos alguns frameworks que auxiliam no processo de criação dessas autenticações tais como o Passport.js, cujo download está estimado em mais de 905 mil segundo o site (openbase.io/packages/top-nodejs-authentication-libraries).
Passport.js é um framework que utiliza a teoria de middlewares e dispõe de mais de 500 estratégias de autenticação, contando com as estratégias de autenticação através da conta do Facebook, Twitter, Google e muito mais, uma das estratégias mais usadas e que também está disponível é o JWT (JSON WEB Token).
Exemplo de Autenticação com Passport.js em uma estrutura já cirada:
O JWT consiste em métodos abertos e padrões da indústria que representam as solicitações entre as partes com segurança utilizando objeto JSON, permitindo a codificação e decodificação de informações através de assinaturas digital usando um segredo com o algoritmo HMAC(Hash-Based Message Authentication Code, é utilizado especificamente para calcular um MAC ) ou um par de chaves pública / privada usando RSA ou ECDSA.
A estrutura do JWT consiste em:
Cabeçalho – formado por duas aparte: o tipo de token, que é JWT, e o algoritmo de assinatura usados, como HMAC SHA256 ou RSA.
Carga útil – As declarações são declarações sobre uma entidade (normalmente, o usuário) e dados adicionais. Existem três tipos de reivindicações: registradas, públicas e privadas.
Declarações registradas: trata-se de um conjunto de declarações predefinidas que não são obrigatórias, mas recomendadas, para fornecer um conjunto de declarações úteis e interoperáveis. Alguns deles são: iss (emissor), exp (prazo de validade), sub (assunto), aud (público) e outros.
Reivindicações públicas: podem ser definidas à vontade por aqueles que usam JWT. Mas, para evitar colisões, eles devem ser definidos no IANA JSON Web Token Registry ou como um URI que contém um namespace resistente a colisões.
Reivindicações privadas: são as reivindicações personalizadas criadas para compartilhar informações entre as partes que concordam em usá-las e não são reivindicações registradas ou públicas.
Assinatura – Para criar a parte da assinatura, você deve pegar o cabeçalho codificado, a carga útil codificada, um segredo, o algoritmo especificado no cabeçalho e assiná-lo.
Comparando o JWT
Em comparação do JWT com outras formas de autenticação, como o SWT (Simple Web Tokens) e o SAML (Security Assertion Markup Language Tokens), percebemos que o JSON ganha em tamanho e menor verbosidade tornando o JSON uma boa opção para transmissão de dados em HTML e HTTP.
SWT – somente pode ser assinado simetricamente por um segredo compartilhado usando o algoritmo HMAC.
SAML e o JWT – além do uso já mencionado também pode usar os pares de chaves pública / privada na forma de um certificado X.509 para assinatura.
Em comparativo do SAML que utiliza o XML nas suas estruturas e o JWT que utiliza JSON temos o JWT com a maior simplicidade e menor verbosidade dificultando a criação de brecha de segurança pela complexidade de estrutura, quanto aos analisadores JSON são comuns na maioria das linguagens de programação, mapeando diretamente para objetos já por outro lado, XML não possui um mapeamento natural de documento para objeto tornando mais simples e fácil trabalhar com JWT do que com asserções SAML.
Você já imaginou executar suas funções de backend sem possuir um servidor? A arquitetura serverless nos permite essa facilidade.
No entanto, como o nome da arquitetura sugere (serverless, do inglês, sem servidor), existe sim um servidor executando tais funções, ele somente não é gerenciado por você, mas pela plataforma cloud no modelo FaaS (Function as a Service) que você irá utilizar, como por exemplo Amazon Web Services (AWS), Microsoft Azure, Google Cloud, entre outras. Com isso, evita-se a configuração de servidores complexos e/ou ambientes isolados como os containers.
Surgimento
A origem da hospedagem de recursos de computação em cloud não iniciaram a partir do serverless. Inicialmente, possuia-se três formas de aplicar serviços de computação em nuvem, sendo eles:
IasS (Infrastructure as a Service): Permite ao usuário selecionar um conjunto de recursos específicos para sua aplicação, e a partir disso, configurá-la de acordo com sua necessidade.
PaaS (Platform as a Service): Conta com os recursos da IaaS – servidores, armazenamento e rede – e acrescenta o acesso a ferramentas de gerenciamento da aplicação, como por exemplo, IDE’s, SGBD’s e middlewares.
SaaS (Software as a Service): Proporciona o acesso a um software completo dentro de um datacenter do provedor escolhido, incluindo a camada de apresentação da aplicação.
Todas essas estruturas possuem um valor mensal de acordo com o provedor de serviços, que nos garantem alta disponibilidade e segurança dos dados, tanto para os detentores da aplicação quanto para os usuários finais, além da escalabilidade.
Mas afinal, o que é serverless?
O serverless é uma arquitetura que utiliza como padrão o modelo FaaS, que consiste em executar funções como serviço, ou seja, as funções de nossos códigos são armazenadas na nuvem e executadas individualmente, sem necessidade de um datacenter privado executando sua camada de processamento de dados. No entanto, o serverless não possuí somente o modelo de funções como serviço, existe também o modelo BaaS (Backend as a Service) como por exemplo o Google Firebase, que possibilita a criação da infraestrutura de dados e execução de códigos, comumente utilizados para autenticação de usuários de forma simples e segura. Além deste, temos o modelo CasS (Containers as a Service) que tem como objetivo a utilização de um container de baixo custo na nuvem, sem necessidade de um datacenter.
Como funciona e quanto custa?
Cada provedor possui seu próprio recurso de execução de códigos, como por exemplo, o AWS Lambda, o Google Cloud Functions ou o Azure Automation. Suas funções são hospedadas gratuitamente nos provedores de cloud, e o valor é variado de acordo com o número de execuções e/ou tempo de execução da função, o exemplo abaixo é disponibilizado pela AWS deixando mais evidente o calculo de custo.
Exemplo de cálculo para cobranças mensais (AWS)
Onde e como utilizar?
Tendo em vista a utilização do modelo FaaS, podemos utilizar o serverless como um facilitador para nossas aplicações, sendo recomendado para execução de funções assíncronas, ou seja, funções que podem ser executadas sem impedir a navegabilidade do usuário ou que consumam muito processamento de dados no servidor comum. Por exemplo, o envio de um e-mail, o upload de uma imagem ou a geração de um relatório. O serverless possui uma ótima sinergia com a estrutura de microsserviços, onde há facilidade ao mover uma funcionalidade específica para a arquitetura serverless. Um ponto a ser considerado, antes de começar a utilizar deste modelo, é se a função possui um objetivo bem definido e não causa um grande impacto na aplicação, pois estas funções são stateless, ou seja, não armazena seu estado. A cada execução a função será reconstruída do zero, sem considerar os dados já processados anteriormente.
Serverless framework
O framework Serverless é um framework web gratuito e de código aberto, escrito em Node.js o que facilita o desenvolvimento de funções como serviço. Serverless é o primeiro primeiro framework que foi originalmente desenvolvido para construir aplicações exclusivamente na AWS Lambda. Atualmente, aplicações desenvolvidas com o framework Serverless podem ser entregues e publicadas em outros provedores de funções como serviços, conforme consta no site do framework.
Vantagens
Não existe a necessidade de configuração de um servidor dedicado;
Os valores disponibilizados pelos provedores atuais são extremamente baratos;
Suas funções são auto escaláveis não importando o consumo;
A realização do deploy é muito simples, e existem ferramentas que automatizam isso.
Desvantagens
Ao possuir grande intervalo de tempo entre execuções podem ocasionar perda de performance;
O custo pode ficar muito alto caso suas funções demorem cerca de 300 segundos, sendo este o limite de tempo de execução.
Execução de testes e debug é extremamente difícil;
A utilização em conjunto com aplicações que possuem execuções constantes pode aumentar consideravelmente o custo.
Concluindo
O cenário atual de desenvolvimento está cada vez mais suscetível à mudança das arquiteturas tradicionais para serviços em cloud, sendo necessário uma série de adaptações de códigos. Com isso, fica visível a utilidade da arquitetura serverless, levando em conta a sua facilidade de implantação utilizando o Serverless framework.
O Armazenamento de diversas imagens em aplicativos é uma dúvida constante, na questão de aplicativos móveis esta preocupação aumenta, pois é inevitável que a utilização de uma outra ferramenta não inclusa no próprio dispositivo deverá ser utilizada. Os métodos com que o desenvolvedor se depara para a utilização do armazenamento são dois a utilização de um campo do tipo BLOB(Binary Large Object – grande objeto binário) ou de um campo no banco de dados que referencia o caminho da imagem e armazenando ela em um servidor, sendo está podendo ser feita de diversas formas, as mais mencionadas são a utilização de um servidor para o armazenamento de imagens ou a utilização de um serviço que já faça este controle um exemplo seria o Firebase Cloud Storage.
Armazenamento com BLOB
A utilização do armazenamento no banco de dados com o tipo de arquivo BLOB não é muito recomendada, mas é uma opção viável para utilização em softwares que não necessitam de uma grande quantidade de armazenamento de imagens ou outros tipos de arquivos. Mas este tipo de armazenamento ainda possui alguns vantagens e desvantagens, que seriam:
Vantagens:
Organização: Todosos dados ficam centrados em apenas um local, fazendo com que a realização de backups seja feita de forma mais fácil, necessitando apenas armazenar os dados contidos no banco de dados.
Desvantagens:
Banco de Dados muito grande: Com o armazenamento feito diretamente no banco de dados à consequência de deixá-lo muito grande é inevitável se existe a necessidade de guardar diversos arquivos.
Lentidão: Sempre que for necessário consultar a imagem no banco de dados esta consulta deverá consultar uma grande quantidade de dados.
Armazenamento da referência do arquivo
A utilização de referencias da imagem salva é uma ótima solução para quem possui uma necessidade de armazenamento maior. Com ela deve-se armazenar o caminho da imagem no banco de dados e ao mesmo tempo salva-la em algum local que possa ser acessível posteriormente, essa utilização pode ser feita de diversas formas e maneiras, dando uma liberdade maior para o desenvolvedor escolher qual seria a melhor solução para seu caso.
Algumas vantagens e desvantagens são listadas para a sua utilização, mas cada uma dessas deve levar em consideração onde será armazenado o arquivo, vantagens e desvantagens do armazenamento em um servidor:
Vantagens:
Velocidade: A velocidade é uma das grandes vantagens deste tipo de armazenamento, isso se da em consequência que a sua consulta será redirecionada diretamente ao caminho no qual a imagem está armazenada.
Desvantagens:
Inconsistência: Qualquer modificação de local ou de exclusão feita diretamente no local no qual está armazenado as imagens é um fator de risco para a consistência com o banco de dados, pois o caminho pode estar apontando para um local no qual a imagem pode não estar mais localizada.
Utilização de um serviço específico para armazenamento
Hoje existem diversos serviços que disponibilizam o armazenamento de imagens e arquivos para aplicações. Alguns deles são totalmente de graça e outros sendo pagos conforme a utilização. Este tipo de armazenamento também possui suas vantagens e desvantagens, sendo elas:
Vantagens:
Organização: Os arquivos ficam armazenados em outro local que não interfere diretamente com o servidor e nem o banco de dados.
Segurança: Os arquivos ficam seguros por serem administrados apenas no local de armazenamento que seria a ferramenta exterior.
Velocidade: A velocidade aumenta por ser apenas armazenada uma URL no qual está armazenada a imagem, fazendo assim com que a consulta seja feita de uma forma mais rápida e direcionada.
Desvantagens
Dependência: Conforme a quantidade de dados armazenados vai crescendo a dependência com o serviço utilizado fica maior, tendo assim uma maior dificuldade de desvinculação com a solução utilizada.
Firebase Cloud Storage
O Firebase é uma plataforma que foi adquirida pela Google e desde 2014 está a crescer com o tempo, possuindo diversos serviços para a utilização em aplicações móveis e para web.
O Cloud Storage do Firebase é um destes serviços dedicados ao armazenamento de arquivos, tendo funções de upload e download de arquivos, além destas funções primitivas ele ainda conta com um controle de perda de conexão e de acesso a arquivos. Em relação a perda de conexão na hora de upload ou download a operação pode ser retornada de onde parou, poupando tempo e largura de banda. Já o controle de acesso pode ser feito diretamente no Firebase, podendo ser definido quais usuários podem acessar quais arquivos.
Armazenamento de Imagens no Firebase
O armazenamento das imagens e seu controle pode ser feito de duas formas, sendo uma delas diretamente no console de controle do Firebase, e a outra forma por meio da aplicação que utiliza os serviços do Firebase.
O Cloud Storage permite que o usuário crie pastas para um melhor controle das informações, além disso ao ser feito o upload da imagem para o Storage ele retorna uma URL de acesso ao arquivo, se o arquivo for do tipo imagem ela pode ser acessada diretamente pelo navegador, podendo ser feita o download por este meio. Além disso o Storage possui uma área para o controle de tokens das imagens, podendo ser adicionados novos ou excluídos conforme a necessidade, fazendo com que o caminho da imagem seja alterado.
Além das informações armazenadas o Firebase possui gráficos que mostram a usabilidade do Storage pela aplicação, podendo ser consultado a quantidade de Bytes e objetos armazenados, mostrando essas informações por datas de quando foram utilizados.
Algumas considerações devem ser feitas ao começar a utilizar o Firebase como uma solução para armazenar as imagens de uma aplicação, uma delas é que o Storage tem um limitador de 5GB de armazenamentos gratuitos, depois que isso é ultrapassado o valor fica de US$ 0,026/GB, mas a cobrança só é feita por utilização, então enquanto a aplicação utilize até os limites nada será cobrado a mais independente do tempo de utilização.
Depois de analisado e pesquisado sobre o assunto a forma que traz mais vantagens e que possui uma melhor integração com uma aplicação seria a utilização de serviços para armazenar imagens como o Firebase Cloud Storage.
A clusterização de dados é uma técnica que visa fazer agrupamentos automáticos de dados, levando em consideração o grau de semelhança, tem por objetivo agrupar através de aprendizado não supervisionado casos de uma base em k grupos, também denominados clusters, a classificação de dados surgiu com a necessidade de separar os dados em determinados grupos com semelhanças de atributos.
Existem diferentes formas de realizar a clusterização de dados, o scikit-learn por exemplo, é uma biblioteca para a linguagem python que disponibiliza de vários algoritmos para clusterização de dados, um dos mais conhecidos é o algoritmo K-Means.
Antes de iniciar a exemplificação do funcionamento do algoritmo, deve-se compreender alguns termos.
Cluster: Cluster ou grupos, são grupos de entidades com as mesmas características.
Centroide: Podemos definir centroide como centro de cada cluster/grupo.
Ponto: Ponto pode ser definido como um conjunto de dados.
Algoritmo K-Means
Este algoritmo é capaz de realizar o treinamento de um modelo para fazer o agrupamento de objetos, ele trabalha com processos de similaridade, ou seja, a principal ideia é encontrar itens semelhantes um com os outros, e mais distintos possíveis dentre os membros de outros clusters/grupos de acordo com seus atributos.
Funcionamento do algoritmo K-Means
O funcionamento do algoritmo é composto por cálculos de distância e média dos pontos até os centroides para poder definir uma posição clara entre os grupos. Vamos representar o funcionamento do algoritmo em 3 passos:
1° Passo: Inicializar os centroides de forma aleatória:
O algoritmo inicia os centroides de forma aleatória, começando de uma ponta até o centro do cluster, de acordo com que o algoritmo é executado.
Figura 1 – Inicialização dos centroides
2° Passo: Para cada ponto na base de dados, calcular a distância para cada centroide e associar ao que estiver mais perto:
Neste passo o algoritmo visa calcular para cada ponto na base de dados a distância entre todos os centroides, ao realizar o cálculo de distância, o algoritmo atribui o ponto ao centroide que possuir uma menor distância.O cálculo de distância é executado para todos os pontos mais de uma vez, em conjunto com os próximos passos, e cada ponto pode pertencer a um cluster diferente conforme o refinamento dos processos do algoritmo.
Figura 2 – Cálculo da distancia entre os centroides
3° Passo: Cálculo da média dos pontos relacionados a cada centroide, definição de um novo centroide (repetição das etapas 2 e 3):
Nesta etapa é realizado o cálculo da média dos pontos ligados aos seus respectivos centroides, o cálculo da média é feito para definir uma nova posição do centroide, em conjunto com isso é realizado um processo repetitivo entre as etapas 2 e 3 para poder fazer a nova definição dos centroides, com objetivo de direcioná-los mais ao centro do cluster, e será realocado os pontos que estiverem mais próximos de outros clusters. O algoritmo finaliza o processo quando não possuir mais elementos para fazer a atualização.
Figura 3 Cálculo da média dos pontos em cada centroide
Exemplo de utilização do K-Means
Visando um cenário em que os dados são de um grupo de pessoas com os respectivos salários e idades, temos uma base populada de dados em que os grupos/clusters estão misturados, para realizar a clusterização destes dados pode-se aplicar três os passos do algoritmo.
Primeiramente deve-se inicializar os centroides.
Figura 4 Inicialização dos centroides
Após a inicialização temos o processo de realizar o cálculo de distância e atribuir os pontos aos respectivos centroides.
Figura 5 – Cálculo de distancia e atribuição de pontos aos centroides
Por fim são calculadas as médias dos pontos relacionados a cada centroide, redefinido a posição dos centroides e executados os passos 2 e 3 até finalizar o algoritmo.
Figura 6 – Cálculo de médias e redefinição dos centroides
Assim tem-se as pessoas com mais idade e um melhor salário representadas pela cor azul, pessoas com mais idade e um baixo salário representadas na cor vermelha, e pessoas novas com um baixo salário representadas na cor verde.
K-Means na prática
Primeiramente é necessário importar a biblioteca.
fromsklearn.clusterimport KMeans importnumpyasnp
A implementação mais básica do k-means que contém um vetor [X] que contém os pontos amostrados. O objetivo é classificar os pontos amostrados em clusters indicados pela variável K.
Compreender o processo de um algoritmo de clusterização de dados que atua através de aprendizado não supervisionado, nos permite atingir resultados mais precisos.
O funcionamento do algoritmo foi apresentado por meio dos passos, para melhor entender a estrutura em que o algoritmo K-Means trabalha, e facilitar a visualização da modificação na estrutura dos dados.
Para implementar o algoritmo em um sistema, pode ser necessário a integração com outras bibliotecas, que possibilitam a criação e visualização de novas funcionalidades.
Google Speech-To-Text é um entre os diversos serviços oferecidos pela Google Cloud e realiza a conversão de áudios para texto utilizando modelos de redes neurais e machine learning. A medida que o Speech-to-text é utilizado, evolui com velocidade e hoje, pouco tempo depois de passar do modelo BETA em abril de 2017, já possui suporte para o reconhecimento de mais de 120 idiomas.
PRINCIPAIS RECURSOS
Dentre os principais recursos destacam-se a capacidade de transcrever áudio para texto em tempo real, identificação automática do idioma falado, seleção de modelos aprimorados para transcrição de cada caso de uso como comandos realizados via smartphone ou smart TV, vídeos, ligações telefônicas, dentre outros.
O recurso de transcrição de vídeo por exemplo, é ideal para indexar ou legendar vídeos de diversos interlocutores. Este modelo utiliza tecnologias de Machine Learning e ainda é capaz de identificar os locutores da conversa. Também capaz de reconhecer nomes próprios como nomes e lugares e aplica a formatação correta para o idioma selecionado, como em datas e números de telefone.
Outros recursos interessantes como robustez a ruído, o que permite lidar com áudios barulhentos e poluídos pelo som de ambientes, pontuação automática que permite a API pontuar as transcrições com vírgulas, pontos de interrogação e pontos finais, além do filtro de conteúdo impróprio.
CONSUMO DA API
A API pode ser consumida através do protocolo REST, realizando uma chamada no formato Json ou utilizando o protocolo gRPC, este por sua vez menos conhecido, porém se trata de protocolo desenvolvido pela Google principalmente para comunicação entre os microsserviços em seus datacenters.
A utilização pode ocorrer de forma síncrona para áudios de até 1 minuto, utilizando o protocolo REST ou gRPC. De forma assíncrona para áudios de até 480 minutos também nos protocolos REST e gRPC. Já para o para a transcrição de streaming deve ser utilizado o protocolo gRPC.
Este é um exemplo de reconhecimento de fala em streaming em um arquivo de áudio local utilizando a linguagem Python.
def transcribe_streaming(stream_file):
"""Streams transcription of the given audio file."""
import io
from google.cloud import speech
from google.cloud.speech import enums
from google.cloud.speech import types
client = speech.SpeechClient()
with io.open(stream_file, 'rb') as audio_file:
content = audio_file.read()
# In practice, stream should be a generator yielding chunks of audio data.
stream = [content]
requests = (types.StreamingRecognizeRequest(audio_content=chunk)
for chunk in stream)
config = types.RecognitionConfig(
encoding=enums.RecognitionConfig.AudioEncoding.LINEAR16,
sample_rate_hertz=16000,
language_code='en-US')
streaming_config = types.StreamingRecognitionConfig(config=config)
# streaming_recognize returns a generator.
responses = client.streaming_recognize(streaming_config, requests)
for response in responses:
# Once the transcription has settled, the first result will contain the
# is_final result. The other results will be for subsequent portions of
# the audio.
for result in response.results:
print('Finished: {}'.format(result.is_final))
print('Stability: {}'.format(result.stability))
alternatives = result.alternatives
# The alternatives are ordered from most likely to least.
for alternative in alternatives:
print('Confidence: {}'.format(alternative.confidence))
print(u'Transcript: {}'.format(alternative.transcript))
Quanto ao processamento, normalmente o Speech-to-Text leva metade do tempo real do áudio, ou seja, para áudios de 30 segundos, é levado em média 15 segundos para realizar a transcrição e retorno do texto.
A sua utilização é muito simples e em menos de 5 minutos é possível elaborar o tutorial básico para realizar a transcrição de um áudio em texto, conforme o tutorial disponibilizado pela Google:
Esta é uma API com recursos bastante poderosos e que já está presente em dispositivos que utilizamos em nosso dia a dia por mais que, as vezes isso passe despercebido, nos celulares que possuem sistema operacional Android por exemplo, este recurso é utilizado para realizar pesquisas por áudio.
