Métodos de comunicação Arduino e servidores de aplicação

O que é um Arduino?

O Arduino é uma placa de prototipagem eletrônica que pode ser usada para desenvolver projetos de automação residencial, como desligar automaticamente as luzes, ajustar a temperatura de um ar-condicionado e muito mais. O melhor de tudo é que essa tecnologia é de código aberto, o que significa que é acessível a qualquer pessoa.

Esse pequeno processador de computador montado em uma placa com diversos outros componentes que manipulam sua entrada e saída, torna mais fácil para você conectar tudo ao mundo virtual, esse será o tema mais abordado neste Artigo.

Como podemos ver na imagem abaixo, não temos componentes no Arduíno que forneçam uma rede ao usuário seja WI-FI ou via cabo. Podemos utilizar diversos componentes que cumprem essa função, inclusive outros microcontroladores que já possuem tal funcionalidade inserida no próprio hardware. Segue exemplos:

Arduino Uno R3

Ethernet Shield W5100

Esse módulo fornece acesso à rede nos protocolos UDP ou TCP, conectando o seu Arduino à Internet de forma fácil e rápida. Seu formato de Shield facilita a conexão com a placa Arduino Uno, Arduino Mega e com outras placas da família Arduino, sua configuração para acesso a internet é bem simples, bastando apenas conectar a placa à sua rede através de um cabo de rede RJ45, além de seguir algumas instruções de uso da biblioteca ethernet.

ESP8266 NodeMCU

O módulo Wifi ESP8266 NodeMCU é uma placa de desenvolvimento que combina o chip ESP8266, uma interface usb-serial e um regulador de tensão 3.3V. A programação pode ser feita usando LUA ou a IDE do Arduino, utilizando a comunicação via cabo micro-usb. Através do desenvolvimento e combinação desses dois hardwares conseguimos conectar nosso Arduino a qualquer servidor de aplicação, sendo compatível com arquivos do tipo JSON.

Partindo para uma integração mais completa, temos uma maneira de comunicar qualquer microcontrolador a servidores de aplicação de maneira mais eficiente e simples, porém com um custo mais elevado. Raspberry Pi 4, trata-se de um microcomputador com um processador muito mais veloz, saídas HDMI o que garante uma ótima resolução para displays e conectividades como  Wifi , Wireless, Bluetooth 5.0 e cabo Ethernet.

Raspberry Pi 4

A Raspberry Pi 4B inclui um alto-desempenho 64-bit processador quad-core e características dual-display suporte em resoluções de até 4K através de um par de micro-portas HDMI, hardware de decodificação de vídeo até 4 GB de RAM, dual-band 2.4/5.0 GHz wireless LAN, Bluetooth 5.0, Gigabit Ethernet, USB 3.0 e 2.0 entre outras características.

O que é um Webservice?

Para que diferentes sistemas, tanto Microcontroladores quanto qualquer outro programa ou solução para internet das coisas, ou até mesmo em ambientes empresariais e profissionais, possam trocar informações e consumir dados do mesmo servidor ou não, solicitando ou enviando informações, utilizamos um Webservice. Com os exemplos de conectar um Microcontrolador com a internet e demais módulos citados no tópico anterior, podemos ver a importância que um Servidor Web tem de gerenciar requisições, tráfego de atualização dos dados entre tantas outras tarefas.

Para compreendermos melhor qual sua função e a ligação com o tópico discutido anteriormente sobre Microcontroladores, iremos ter acesso a um exemplo que está ao alcance do conhecimento e tecnologia de todos, uma automação residencial via comando de voz utilizando a Amazon Alexa, baseada no Webservice da Amazon (aws.com), atuando juntamente com componentes como o Arduino.

Através do modelo MKR1010, podemos utilizar o próprio site do Arduino (IoT Cloud) para configurar e criar nossas “coisas” no menu Things. Criando os objetos e pareando com o dispositivo Arduino, irá gerar um código fonte de onde o Arduino irá disponibilizar um painel de controle online que permite já testar todas as funcionalidades da sua aplicação.

Ao selecionar o dispositivo que cadastramos, teremos acesso as variáveis a serem desenvolvidas, na aba Sketch irá ocorrer todo desenvolvimento do comportamento das nossas variáveis.

Pronto, a parte mais complicada do processo todo seria essa, agora já temos um painel online que irá receber/mandar requisições para nosso microcontrolador, podendo ser realizado testes e ajustes antes mesmo de realmente ver a solução como um todo.

Com esta etapa concluída, podemos partir para outra parte da integração que se trata do robô Alexa. No site aws.com podemos configurar Skills para solução que estamos criando.

 Arduino já possui algumas Skills e ajuda muito programadores nesses tipos de integrações, só instalar e sair utilizando-as.

Nas configurações dessas habilidades, a única coisa, que ainda temos de fazer, é criar o Account Linking que é responsável pela comunicação entre Arduino, Alexa e o Usuário que irá utilizar aplicação.

Com isso ao direcionar um comando de voz ao robô Alexa, nossa aplicação estará devidamente integrada e realizará as funções mediante as solicitações.

Autor: João Pedro Tisatto Salvador

Amazon SES: Entenda as vantagens e desvantagens de se usar

Email

No mundo atual, manter um contato contínuo com clientes e parceiros pode ser uma tarefa difícil, ainda mais para grandes empresas. Uma forma de realizar essa comunicação é utilizando e-mails. Porém, o monitoramento para que eles realmente cheguem a um destinatário pode ser difícil e até mesmo de alto custo. Assim, a utilização de um meio externo para realizar esse trabalho é uma ótima opção.

Como isso impacta o marketing da minha empresa?

O serviço em nuvem de e-mail da Amazon, o Amazon Simple Email Service (SES), é eficaz, flexível e dimensionáveis. Ele possui uma noção de Inbound Marketing, um conjunto de estratégias que se baseia na ideia de criação de conteúdo para um público específico. O conceito traz a ideia de uma comunicação direta com o cliente, criando, assim, um relacionamento duradouro como esse. Com essa ideia em mente, o serviço da Amazon possibilita que empresas apliquem o Inbound Marketing no seu cotidiano, através dos e-mails de comunicações transacionais, marketing ou de grande escala. Devido às suas opções flexíveis de implantação por IP e autenticação por e-mail, o Amazon SES torna-se confiável, sendo capaz de aumentar a capacidade de entrega e proteger a reputação do remetente.

Muitas empresas já se beneficiam do serviço da Amazon SES. Um grande exemplo é o aplicativo Duolingo, que disponibiliza o aprendizado de diversas línguas a milhões de usuários pelo mundo. Através do Amazon Simple Email Service, o aplicativo é capaz de enviar e-mails em grande escala para seus usuários, motivando-os a praticar diariamente.

Quanto custa?

Quando pensamos em Amazon sempre nos veem a cabeça valores justos e acessíveis, no caso do Amazon SES não iria ser diferente. Com um preço inicial de 0 USD para os primeiros 62.000 e-mails enviados a cada mês e 0,10 USD para cada 1.000 e-mails recebidos depois disso.

Uma fator interessante é a forma de contabilizar os email. Por exemplo, se você tiver 768 KB de e-mail recebidos, será contabilizado como três blocos de e-mail recebidos. Se você tiver 255 KB de e-mail recebidos, será contabilizado como zero blocos de e-mail recebidos.

Vantagens

Como a Duolingo, milhares de outras empresas podem usufruir dos benefícios desse serviço. Além da aplicação do Inbound Marketing, o Amazon SES oferece:

  • Rápida integração: A configuração de e-mails é feita em minutos e o serviço é compatível com o recebimento de e-mails, permitindo a interação com os clientes em grande escala.
  • Eficiência: É possível analisar a eficácia de alcance de cada email com estatística de envio, entregas de e-mail e devoluções.
  • Otimização da capacidade de entrega: É possível maximizar a capacidade de entrega através de um painel de reputação que conta com insights de performance e feedback antispam.
  • Dimensionamento seguro: As opções de autenticação do Amazon SES garantem o envio de e-mails seguros e com o nome de domínio do usuário.

Desvantagens

Além dos pontos positivos que o Amazon SES pode oferecer, há também certas questões que devem ser ponderadas:

  • O serviço de e-mail não é a solução mais intuitiva que há.
  • É um serviço um tanto quanto robusto, por assim dizer.
  • Pode ser complicado de apurar/decifrar mensagens de resposta.

O serviço de e-mail da Amazon é uma solução muito útil para empresas que procuram um engajamento em grande escala, de forma rápida e segura. O fato de ser um tanto quanto robusto, permite que seja incorporado ao software desejado, oferecendo maior flexibilidade.

Por Gustavo Gedoz Kozoroski
Artigo do Seminário de Engenharia de Software
Fonte Micreiros.com

Banco de Dados Baseado em Grafos e suas Principais Características

O banco de dados baseado em grafos é relativamente simples de ser desenhado, diferente do banco relacional onde o modelo básico são tabelas e as suas relações, o modelo básico desse tipo de banco são os grafos, onde podemos inserir um dado sem se preocupar quais relacionamentos ele possuirá, pois, essa relação acontece de forma mais simples.

Esse tipo de modelo representa de forma mais explícita os relacionamentos entre os dados, fornecendo uma modelagem mais simples, com melhor performance e maior naturalidade na linguagem para escrever as consultas.  Os grafos contêm vértices (nós), arestas (relacionamentos), que são usados para representar e armazenar os dados. Na figura os vértices são representados pelos círculos e as setas são as arestas.

Imagem 2 – Representação de grafos

Por que armazenar dados em grafos?

O banco de dados de grafos facilita o armazenamento de dados que possuem muitos conteúdos associados e a representação de como esses dados se conectam ou se correlacionam com outros dados.   

Para facilitar o entendimento podemos usar como exemplo uma rede social. Os usuários na rede seriam os nós e as linhas conectando os usuários indicariam as suas relações. Podemos ligar um usuário a outro pelo relacionamento de adicionar amigo ou podemos adicionar vértices de outro tipo como as publicações, onde o usuário se relaciona através de uma curtida ou compartilhando a publicação.  

Imagem 3 – Exemplo de relacionamento de uma rede social

Modelos para implementar o banco de dados de grafos

No banco de dados baseado em grafos existem alguns modelos para que esses grafos possam ser implementados. Os modelos mais conhecidos são grafo de propriedade e o RDF. O primeiro foca em análises e em consultas já o grafo RDF destaca a integração dos dados.

  • Grafos de propriedades – são usados para modelar relacionamentos entre dados e com base nos relacionamentos permitem a consulta e a análise desses dados.
  • Grafo RDF – Os grafos RDF (Resource Description Framework) podem representar metadados complexos e instruções. Permite a troca de informações através de um formato padrão com estrutura bem definida.

Exemplo de banco de dados de grafos e linguagem de consulta

O exemplo de banco de dados baseado em grafos mais famoso é o Neo4j, que foi criado para oferecer suporte a grandes estruturas de grafos e retornar centenas de milhares de relacionamentos. Ele possui versão open-source e outra paga, que pode ser adquirida por empresas.

Uma das linguagens de consulta bastante utilizada é a Cypher, que inicialmente foi desenvolvida para o Neo4j, mas ela passou a ser desenvolvida como um projeto separado e muitas outras empresas adotaram essa linguagem como um sistema de consulta.

O banco de dados de grafo possui uma grande usabilidade e é uma potente ideia onde é possível interligar dados e descobrir conhecimento.

Referências:

https://imasters.com.br/banco-de-dados/graphdb-series-o-que-e-um-banco-de-dados-de-grafos/?trace=1519021197&source=single

https://www.oracle.com/br/big-data/what-is-graph-database/

Autora: Reginara Ferreira Borges

Gamificação: Como tornar seu aplicativo mais atrativo

Atualmente é cada vez mais difícil capturar a atenção de uma pessoa em um aplicativo, pois existem diversos fatores que tiram a atenção do usuário quando ele está usando algum aplicativo que não o engaje, não pegue a atenção plena do usuário, alguns exemplos são as notificações de outros aplicativos, como por exemplo alguma marcação em publicação em redes sociais, se o usuário não estiver engajado no aplicativos em questão ele sairá para ver a notificação.

O que é Gamificação / Gamification?

Gamificação ou Gamification são técnicas, estratégias, designs e mecânicas de jogos utilizadas para trazer engajamento, aumento de produtividade, foco dentre outros fatores para tarefas, aulas ou até mesmo aplicativos que não são voltados para jogos.

Um bom exemplo de gamificação é o Nike Plus, onde ao atingir metas pré-estipuladas o usuário ganha troféus e status dentro da ferramenta, criando assim uma competitividade entre os usuários.

Outro termo utilizado é ludificação, onde ele tem seu uso no marketing com o significado de incentivar o envolvimento com o produto ou serviço.

Qual o ganho do uso de gamificação?

Nada melhor do que o usuário utilizado o aplicativo que lhe foi ofertado correto? Por isso a gamificação se torna algo com grande valor, pois com o uso de frameworks de gamificação, pode-se fazer sistemas de pontuações, nomeações, avatares dentre outras ferramentas que farão o usuário ficar cativado e utilizar mais vezes o aplicativo.

Um exemplo de framework é o Octalysis que foi desenvolvido por Yu-Kai Chou (foto ao lado) e lançado em 2010, onde este se tornou referência mundial, pois Chou já estava trabalhando em “gamificação” antes da mesma ser reconhecida pelo termo.

Octalysis: Conceito e Funcionalidades

O framework Octalysis trouxe como princípio 8 Cores Drives que motivam as pessoas a fazerem suas tarefas ou utilizar algo da melhor forma, usando a diversão como um mecanismo para engajá-los, são eles:

  • Significado Épico (Meaning)

Este Core tem significado de dar importância ao usuário, lhe dar título, fazendo ele se sentir como “O escolhido” se sentir especial.

  • Criatividade e Feedback (Empowerment)

O feedback dentro do octalysis diz respeito a mostrar para o usuário que ele está avançando, crescendo, um exemplo são plataformas de línguas como a Pearson, onde está presente o leveling (Nivelação).

  • Influência Social (Social Influence)

O Core Social e de afinidade fala sobre motivar as pessoas por meio do sentimento de nostalgia, competitividade e inveja, ou seja, mostrar os status de outros usuários para que se possa ter uma certa rivalidade.

  • Imprevisibilidade (Unpredictability)

Para os curiosos esse é um ponto a ser explorado, pois a vontade de saber o que irá acontecer em seguida, como por exemplo temos a vontade de assistir mais de um episódio de séries, ler mais uma página, jogar mais uma partida.

  • Perda (Avoidance)

A perda ou prevenção é o progredir com cuidado, pois há um certo risco de perder uma parte do progresso ou até perder tudo, isso causa tensão e fazendo com que o usuário fique mais preso à aquilo que está fazendo.

  • Escassez (Scarcity)

A Impaciência e Escassez é uma tática muito usada em jogos para deixar as pessoas ansiosas para poder jogar, a aplicação da mesma fora do mundo dos jogos não é diferente, um exemplo é a exclusividade, para ter funções a mais o usuário deverá pagar para ter.

  • Propriedade (Ownership)

A propriedade nada mais é do que a liberdade de ser diferente, como a criação de um avatar personalizado para cada pessoa, isso vai fazê-la se sentir única, outra é a posse, que pode ser tratada como acumulo de troféus/insígnias.

  • Realização (Accomplishment)

A realização está ligada com praticamente todos os outros Cores, onde nessa temos a questão dos desafios que darão recompensas / conquistas para o usuário, porém o desafio não pode ser algo fácil de ser conquistado, pois perderá o significado, deve ser algo desafiador onde no início será fácil, porém conforme ir avançando vá se tornando mais difícil para que o usuário crie vontade de crescer dentro da ferramenta.

Conclusão

A Gamificação está se tornando cada vez mais uma ferramenta presente no dia a dia das pessoas, pois como comprovado em pesquisas como a da TalentMS a gamificação de coisas tornou as pessoas mais produtivas (89%) e felizes (88%) no trabalho. Outro ponto é o mercado de gamificação, onde ele aumenta em cada dia, em 2018 movimentou cerca de 5,5 bilhões de dólares, sendo procurado pela maior parte das empresas mundiais.

Referências:






* https://www.youtube.com/watch?v=CK_4JfDZIjA&ab_channel=VIDDIA-Educa%C3%A7%C3%A3oOnline 



 * https://www.youtube.com/watch?v=26DaeUOijZE&ab_channel=Fant%C3%A1sticaF%C3%A1bricaCriativa  



* https://www.youtube.com/watch?v=eT5Jgt0jr1o&ab_channel=UILab



* https://www.orcestra.com.br/post/octalysis-o-framework-de-gamifica%C3%A7%C3%A3o-que-voc%C3%AA-precisa-conhecer



* https://posdigital.pucpr.br/blog/yu-kai-chou



* https://sambatech.com/blog/insights/gamification/ 



* https://neilpatel.com/br/blog/gamification-o-que-e/ 

Autor: Guilherme Oliveira Mota

5 Bibliotecas open source para reconhecimentos de objetos e OCR

Quando desejamos extrair informações de imagens ou vídeos, a maior dificuldade está no reconhecimento das informações, separar um texto com uma imagem no fundo pode parecer uma tarefa muito difícil. Porém não é, hoje possuímos muitas bibliotecas que podem nos auxiliar nestas tarefas e fazer isto com apenas algumas linhas de código. E o melhor de tudo, de graça.

OCR

OCR é um acrónimo para o inglês Optical Character Recognition, é uma tecnologia para reconhecer caracteres a partir de uma imagem. Com estudos desde 1950 hoje ele possui um estágio de evolução bem avançado, possuindo algumas ferramentas bem consolidadas.

Muito importante na utilização destas bibliotecas é o tratamento das imagens, é comum surgirem ruídos após a extração, este podem ser reduzidos seguindo algumas práticas abordadas pelas próprias documentações, como por exemplo, deixar a imagem em tons de cinza e aumentar o Canal Alfa dos elementos.

1 – Tesseract OCR

Originalmente desenvolvido pela Hewlett-Packard e por um tempo mantido pelo Google. Atualmente o projeto está hospedado no GitHub. Sua primeira versão esteve disponível para utilização na linguagem C, hoje ele já possui sua versão em Python. Com ele é possível transformar imagens de múltiplos formatos para um texto de saída simples.

2 – GOCR

Desenvolvido por Jörg Schulenburg em meados dos anos 2000. O GOCR pode ser usado como um aplicativo de linha de comando independente ou como back-end para outros programas. Ele vem com uma interface gráfica gocr.tcl.

3 – Kraken

Projeto mais modesto porém com muito potencial para crescimento. Uma de suas principais características é a análise de layout totalmente treinável e o suporte para reconhecimento de multi-script.

Reconhecimento de objetos

O reconhecimento de objetos consiste no conceito de visão computacional, permitir que os computadores interpretem visualmente informações, neste caso, ser capaz de reconhecer objetos pré-definidos ou não. Este campo de pesquisa permite reconstruções de cena, detecção de eventos, reconhecimento de objetos, aprendizagem de máquina, restauração de imagens entre outros.

4 – OpenCv

Desenvolvida pela Intel, em 2000. É totalmente livre ao uso acadêmico e comercial, para o desenvolvimento de aplicativos na área de Visão computacional. Possui módulos de Processamento de Imagens e Video I/O, Estrutura de dados, Álgebra Linear, GUI, além de mais de 350 algoritmos de Visão computacional como: Filtros de imagem, calibração de câmera, reconhecimento de objetos, análise estrutural e outros.

5 – BoofCV

Suas funcionalidades cobrem uma variedade de assuntos, processamento de imagem de baixo nível, calibração de câmera, detecção / rastreamento de recursos, estrutura de movimento, detecção fiducial e reconhecimento.

Conclusão

Hoje, diferente de apenas alguns anos atrás, possuímos a disponibilidade de diversas ferramentas para realizarmos ideias que por muito achamos não realistas, por serem muito avançadas tecnologicamente ou acharmos que não possuímos os recursos necessários.

Se trata apenas de uma ilusão criada por nós mesmos, temos uma gama enorme de possibilidades disponibilizadas gratuitamente e que podemos até mesmo contribuir para melhorias de código e performance. Bibliotecas de reconhecimento de objetos e OCR são aplicáveis em diversos projetos de variadas áreas e cada vez mais estarão presentes em nossas vidas.

Autor: Fernando Waldow Martens

Referencias

https://www.hitechnectar.com/blogs/open-source-ocr-tools/#:~:text=A9T9-,Tesseract,available%20open-source%20systems%20available

https://medium.com/data-hackers/ocr-da-introdu%C3%A7%C3%A3o-%C3%A0-aplica%C3%A7%C3%A3o-359c9aff56f3

https://pt.wikipedia.org/wiki/Reconhecimento_%C3%B3tico_de_caracteres

https://pt.wikipedia.org/wiki/OpenCV

https://github.com/tesseract-ocr/tesseract

IDEs para desenvolvimento em Java Script

Introdução

Os IDEs vêm com muitos recursos extras, como por exemplo o preenchimento automático de texto, podendo dar mais flexibilidade ao usuário. Com a ajuda de IDEs, é possível aumentar a produtividade. Existem diversos IDEs na Internet e muitos deles são de código aberto.  

Desenvolvimento

Nesta lista de IDE Javascript, selecionei 4 de código aberto e 4 premium (pagos). Todos eles estão no top 10 da lista de IDEs para JavaScrip cujos dowloads foram mais procurados entre 2020 e 2021, conforme a pesquisa anual da Github. 

Características de uma IDE 

Muitas são as características presentes em uma IDE, as mais comuns são: 

  • Editor de código-fonte: podendo escrever comandos suportados por uma determinada linguagem de programação; 
  • Preenchimento inteligente: recurso de uma IDE no qual permite o preenchimento de trechos de códigos com a finalidade de agilizar o desenvolvimento; 
  • Compilador ou interpretador: é necessário que toda IDE possua um compilador (ou um interpretador), que transforme todo o código-fonte escrito em linguagem de máquina; 
  • Debbuger: mais utilizado para encontrar e corrigir erros no código-fonte; 
  • Geração automática de código: recurso no qual permite a criação de trechos de códigos predefinidos, trazendo agilidade aos diversos processos de desenvolvimento; 
  • Refatoração: ferramenta que, em conjunto com testes automatizados, garantam uma melhoria constante do código-fonte e erradicação de bugs. 

 Vantagens e desvantagens de uma IDE 

Apesar da facilidade de criação de aplicações, as IDEs possuem diversas vantagens e desvantagens em sua utilização. Dentre elas é possível citar: 

Vantagens de uma IDE 

 Aumento da produtividade: Por possuir diversas ferramentas que auxiliam na criação de aplicações, o desenvolvedor só utilizará esta ferramenta, aumentando assim sua produtividade; 

  • Diminuição gastos: Por ser uma solução completa, muitas vezes esta é a única ferramenta que o desenvolvedor precisa adquirir para a construção de suas aplicações; 
  • Mede desempenho: IDEs possuem ferramentas para medição de desempenho da execução de aplicações; 
  • Geração automática de códigos: é o recurso que permite a criação de trechos de códigos predefinidos; 
  • Facilidade em fazer verificações e correção de erros: Diversas IDEs possuem ferramentas que analisam o código que está sendo desenvolvido, permitindo que possíveis erros sejam corrigidos no momento do seu desenvolvimento; 
  • Completa: Com um único software o desenvolvedor consegue desenvolver, testar e corrigir uma aplicação. 

Desvantagens de uma IDE

  • Pagas: Muitas IDEs são pagas, o que dificulta sua utilização pela comunidade; 
  • Facilidade no desenvolvimento: Sendo possível prover diversas facilidades na hora do desenvolvimento (como a geração automática de códigos), mas podem também contribuir para que muitos desenvolvedores se tornem “mal acostumados” na hora de desenvolver, se tornando dependentes da IDE; 
  • Ambiente lento: Apesar de possuir uma solução completa, isso tem um custo. A maioria das IDEs consomem muito mais recursos de hardware do computador que um simples editor de texto. 

 IDE´s java script  

  • Eclipse 
  • Visual Studio Code 
  • NetBeans 
  • Atom, um IDE Javascript 

 IDE Javascript Premium 

  • Visual Studio 
  • WebStorm – IDE Javascript 
  • Sublime Text 

 Considerações Finais 

A utilização de uma IDE não é obrigatória, podendo também ser possível desenvolver aplicações sem que o desenvolver utilize a mesma. Em certas situações o desenvolvedor poderá a escolher por diversas vantagens que sua utilização prove aos usuários, nada melhor que analisar todas estas questões a fim de escolher aquela que mais se adequa a sua forma de desenvolvimento.  

 Referências 

MARIANA, Paldoam. 7 Ide´s java script. São Paulo: Geek Hunter, 2021. 

RED HAT, O que é a IDE?. São Paulo: Red Hat, 2021. 

Autora: Brenda Andrade Ribeiro

NodeJS vs Go

NodeJS vs Golang

Nos dias atuais e na era da informação, se torna cada vez mais fácil ter acesso a um bom conteúdo para estudar e se aperfeiçoar. Isso possibilitou que nós, desenvolvedores, tenhamos uma grande quantidade de tecnologias à nossa disposição para solucionar os problemas corriqueiros de nosso dia a dia. Este texto tem como objetivo comparar duas excelentes tecnologias que empoderam milhões de desenvolvedores ao redor do mundo. Durante este post, irei  abordar diversos pontos que considerei importantes para a escolha de uma stack e espero que talvez, encurte a sua jornada.

O NodeJS é um runtime JavaScript, construído sobre o V8, um motor de renderização, criado pelo Google e considerado por muitos, um dos maiores avanços na engenharia de software, depois do Linux e do Git. Foi criado por Ryan Dahl e apresentado em 2009. É open-source e se tornou o mais popular ecossistema multiplataforma para o desenvolvimento de aplicações. De uma forma sucinta, o V8 transforma o código JavaScript em C++ e realiza sua execução.

O Go ou Golang teve seu início em 2007, originalmente por uma equipe do Google. Em 2009, foi apresentada ao público e lançada como open-source. A equipe core de criação e design da linguagem, são ícones no mundo de desenvolvimento de software. Entre eles estão: Robert Griesemer, Rob Pike e Ken Thompson. A proposta da linguagem foi trazer boa performance, segurança e aumentar a produtividade, sendo uma alternativa ao C++ e ao Java.

NodeJS – Especificações

O NodeJS, como comentando anteriormente foi construído sobre o V8, porém, ele não se limita apenas a isso. Sua arquitetura é complexa, a estrutura principal é composta por 6 módulos distintos, que comunicam-se para permitir que as aplicações sejam executadas. Esses módulos são: V8, Libuv, http-parser, c-ares, OpenSSL e zlib. Podemos ver essa disposição de dependências na imagem a seguir:

Image Source: https://dev.to/khaosdoctor/node-js-under-the-hood-1-getting-to-know-our-tools-1465

Com a utilização de JavaScript, o código é dinamicamente tipado e vem recebendo evoluções conforme novas especificações do Ecmascript são lançadas.

Não podemos falar de Node, sem mencionar que o mesmo é orientado a eventos, assíncrono e não bloqueante. Para organizar isso, utiliza uma thread principal, para que todo o processo do event loop seja controlado. Esse é o motivo de ser chamado de single-threaded, mesmo utilizando worker threads em outros processos.

Ao contrário do que muitos pensam, o NodeJS não compila o código e executa posteriormente, assim como C ou o GO. Os códigos são compilados a tempo de execução, em um processo chamado de JIT (Just-in-time), trazendo grandes benefícios como otimização dos códigos durante a execução do programa.

Go – Especificações

Go ou Golang é uma linguagem de programação procedural e fortemente tipada, com uma sintaxe parecida com C. Apesar de sua tipagem, ela permite que ocorra uma inferência de tipos, no momento da declaração de uma variável, facilitando assim a vida dos programadores. Como comentado anteriormente, ela foi desenvolvida para ser altamente escalável e ter uma curva de aprendizagem menor que o C e o C++. Diferentemente do NodeJS, é uma linguagem compilada, que permite distribuir seus binários.

Por ser uma linguagem relativamente nova, ela foi criada com o intuito de utilizar todos os núcleos de processamento dos CPU’s modernos. Para tornar essa utilização de múltiplos cores mais amigável, foram criadas as Goroutines, que abstraem a necessidade de trabalhar manualmente com as threads.

Mesmo sendo uma linguagem compilada, GO possui um garbage collector, que foi casos de polêmicas em sua utilização em grande escala. Esse garbage collector recebeu muitas melhorias desde então.

Go instaurou uma cultura diferente das demais linguagens, sempre prezando pela simplicidade e procurando ao máximo trazer o máximo de ferramentas em seu core, facilitando assim a vida dos desenvolvedores. Essa abordagem divide opiniões, onde alguns acham que torna-se inflexível e outros acreditam que isso pode prevenir algumas decisões errôneas.

Aplicações das Tecnologias

O NodeJS está em praticamente todos os lugares. Ele é comumente utilizado para realizar a criação de API’s, com express, é utilizado em projetos React, é utilizado em aplicações desktop multiplataforma através do Eletron, é utilizado em aplicativos móveis através do React Native e também pode ser utilizado em aplicações embarcadas.

GO é geralmente utilizado para construir API’s, scripts e aplicações embarcadas. É bem versátil e tem diversas bibliotecas para a utilização em interfaces para aplicações desktop. Por se tratar de algo criado e desenhado para rodar em servidores, não é suportada na Web, apesar de ter iniciativas executando através do WebAssembly.

Curva de Aprendizado

Todo e qualquer desenvolvedor, nos dias atuais, precisa saber o básico de JavaScript, com isso, ao meu ver, a curva de aprendizagem do NodeJS é menor. Porém, GO é muito simples, possui uma boa documentação e desenvolvedores originalmente de linguagens como: Java, C#, C e C++, tem grandes facilidades na evolução.

Ferramental Disponível e Gerenciamento de Dependências

O gerenciamento de pacotes do Go é infinitamente superior ao do NodeJS. Golang cria uma pasta no repositório local do usuário, e mesmo que múltiplos projetos utilizem as mesmas dependências, elas são armazenadas uma única vez. Poupando muito espaço se compararmos com o node_modules, que requer que as dependências fiquem na mesma pasta do package.json.

Quanto ao ferramental de desenvolvimento, tanto um quanto o outro é possível escolher seu editor de código favorito, atualmente os principais dão suporte a linguagem. Existem também IDEs construídas por empresas como a JetBrains para ambas as tecnologias. 

Usando como base o Visual Studio Code, o GO se destaca em possuir um Linter que é instalado e configurado automaticamente ao iniciar um arquivo da respectiva extensão. Isso facilita bastante, pois tudo é baixado diretamente pelo editor e requer apenas uma extensão. No NodeJS para termos um bom linter, é necessário baixar a extensão e configurar manualmente os arquivos no projeto.

Em questão de bibliotecas, o NodeJS tem uma grande vantagem, tendo uma comunidade maior, com mais variedade e possuindo inúmeros projetos open source maduros, bem codificados e consolidados. GO tem uma comunidade em constante crescimento, e cada vez mais, novas bibliotecas são criadas e disponibilizadas no Github.

NodeJS tem frameworks muito populares e maduros, como Express, NestJS, LoopBack, etc. Enquanto o GO possui frameworks com uma popularidade menor, porém, muito eficientes, como o GIN, Fiber, etc.

Mercado

O mercado de tecnologia como um todo está bem aquecido. Para ambas as linguagens, existem bastante vagas em aberto, a diferença existe na busca de perfil, onde as vagas para GO, buscam geralmente pessoas com mais experiência na área. Isso não quer dizer que não existam vagas, para Junior, porém, se compararmos com o NodeJS, esse número é menor.

Quanto a empresas que utilizam determinada tecnologia, para o NodeJS podemos citar, Uber, Netflix, Paypal, Trello e muitas outras. O GO também está tendo uma rápida adoção e já temos casos de uso no Mercado Livre, Twitch, SendGrid, Dropbox e o próprio Google. Também vale salientar que o Docker, Kubernetes e o Terraform são construídos nesta tecnologia.

Performance

Para comparar a performance, me baseei em dados do TechEmpower, um dos mais renomados benchmarks, com os testes mais efetivos e em diversos segmentos. No atual momento que escrevo este texto, o Round é o 19.

Acredito que um dos testes mais relevantes são os de Data Updates, onde é bem perceptível que os frameworks Go, tem grande vantagem:

Desconsiderando o es4x, que é o JavaScript rodando no Vert.x, os frameworks escritos em GO dominam o ranking da posição 2 à 20, aparecendo sutilmente o Fastify.

Em outro cenário, realizando múltiplas requisições no banco de dados, podemos perceber novamente que o Go tem uma grande vantagem:

Também dominando as 20 primeiras posições do ranking, desconsiderando novamente o es4x.

Conclusão

O GO tem claramente um melhor gerenciamento de dependências, mais performance e está em um mercado ascendente, onde aqueles que se aventurarem em seu profundo entendimento, poderão colher bons frutos. Porém, é recomendado para equipes mais maduras, que tenham a capacidade de manter uma arquitetura de microsserviços e as aplicações Frontend desacopladas. 

NodeJS tem um mercado maior, com uma curva de aprendizado menor e possibilita que desenvolvedores possam atuar em diferentes partes da arquitetura, sem ter que aprender uma nova tecnologia. Tem uma performance aceitável e uma quantidade de frameworks e bibliotecas exuberante.

Ao comparar duas tecnologias, a ideia não é definir qual é a melhor e sim explanar as diferenças para que a escolha seja a mais adequada para um determinado contexto.

Autor: Francisco Felipe de Lima.

Fonte de referências:

https://productcoalition.com/reasons-why-golang-is-better-than-other-programming-languages-4714082bb1b1#:~:text=Golang%20emerged%20as%20an%20alternative,scalable%20servers%20and%20software%20systems.

https://www.geeksforgeeks.org/golang/?ref=lbp

https://www.quora.com/What-kind-of-applications-or-software-can-you-make-with-Golang

https://github.com/gofiber/fiber

https://medium.com/@blogger.ashishsharma/golang-vs-node-js-comparison-and-why-developers-prefer-node-js-9e669319df52

https://dev.to/khaosdoctor/node-js-under-the-hood-1-getting-to-know-our-tools-1465

https://blog.bitsrc.io/the-jit-in-javascript-just-in-time-compiler-798b66e44143

https://blog.gopheracademy.com/advent-2018/go-in-the-browser/

https://docs.gofiber.io/benchmarks https://www.techempower.com/benchmarks/

Arquitetura Serverless: O que você precisa saber

logo serverless framework

Você já imaginou executar suas funções de backend sem possuir um servidor? A arquitetura serverless nos permite essa facilidade.

No entanto, como o nome da arquitetura sugere (serverless, do inglês, sem servidor), existe sim um servidor executando tais funções, ele somente não é gerenciado por você, mas pela plataforma cloud  no modelo FaaS (Function as a Service) que você irá utilizar, como por exemplo Amazon Web Services (AWS), Microsoft Azure, Google Cloud, entre outras. Com isso, evita-se a configuração de servidores complexos e/ou ambientes isolados como os containers.

Surgimento

A origem da hospedagem de recursos de computação em cloud não iniciaram a partir do serverless. Inicialmente, possuia-se três formas de aplicar serviços de computação em nuvem, sendo eles:

  • IasS (Infrastructure as a Service): Permite ao usuário selecionar um conjunto de recursos específicos para sua aplicação, e a partir disso, configurá-la de acordo com sua necessidade.
  • PaaS (Platform as a Service): Conta com os recursos da IaaS – servidores, armazenamento e rede – e acrescenta o acesso a ferramentas de gerenciamento da aplicação, como por exemplo, IDE’s, SGBD’s e middlewares.
  • SaaS (Software as a Service): Proporciona o acesso a um software completo dentro de um datacenter do provedor escolhido, incluindo a camada de apresentação da aplicação.

Todas essas estruturas possuem um valor mensal de acordo com o provedor de serviços, que nos garantem alta disponibilidade e segurança dos dados, tanto para os detentores da aplicação quanto para os usuários finais, além da escalabilidade.

Mas afinal, o que é serverless?

O serverless é uma arquitetura que utiliza como padrão o modelo FaaS, que consiste em executar funções como serviço, ou seja, as funções de nossos códigos são armazenadas na nuvem e executadas individualmente, sem necessidade de um datacenter privado executando sua camada de processamento de dados. No entanto, o serverless  não possuí somente o modelo de funções como serviço, existe também o modelo BaaS (Backend as a Service) como por exemplo o Google Firebase, que possibilita a criação da infraestrutura de dados e execução de códigos, comumente utilizados para autenticação de usuários de forma simples e segura. Além deste, temos o modelo CasS (Containers as a Service) que tem como objetivo a utilização de um container de baixo custo na nuvem, sem necessidade de um datacenter.

Como funciona e quanto custa?

Cada provedor possui seu próprio recurso de execução de códigos, como por exemplo, o AWS Lambda, o Google Cloud Functions ou o Azure Automation. Suas funções são hospedadas gratuitamente nos provedores de cloud, e o valor é variado de acordo com o número de execuções e/ou tempo de execução da função, o exemplo abaixo é disponibilizado pela AWS deixando mais evidente o calculo de custo.

calculo de custo aws lambda
Exemplo de cálculo para cobranças mensais (AWS)

Onde e como utilizar?

Tendo em vista a utilização do modelo FaaS, podemos utilizar o serverless como um facilitador para nossas aplicações, sendo recomendado para execução de funções assíncronas, ou seja, funções que podem ser executadas sem impedir a navegabilidade do usuário ou que consumam muito processamento de dados no servidor comum. Por exemplo, o envio de um e-mail, o upload de uma imagem ou a geração de um relatório. O serverless possui uma ótima sinergia com a estrutura de microsserviços, onde há facilidade ao mover uma funcionalidade específica para a arquitetura serverless. Um ponto a ser considerado, antes de começar a utilizar deste modelo, é se a função possui um objetivo bem definido e não causa um grande impacto na aplicação, pois estas funções são stateless, ou seja, não armazena seu estado. A cada execução a função será reconstruída do zero, sem considerar os dados já processados anteriormente.

Serverless framework

O framework Serverless é um framework web gratuito e de código aberto, escrito em Node.js o que facilita o desenvolvimento de funções como serviço. Serverless é o primeiro primeiro framework que foi originalmente desenvolvido para construir aplicações exclusivamente na AWS Lambda. Atualmente, aplicações desenvolvidas com o framework Serverless podem ser entregues e publicadas em outros provedores de funções como serviços, conforme consta no site do framework.

Vantagens

  • Não existe a necessidade de configuração de um servidor dedicado;
  • Os valores disponibilizados pelos provedores atuais são extremamente baratos;
  • Suas funções são auto escaláveis não importando o consumo;
  • A realização do deploy é muito simples, e existem ferramentas que automatizam isso.

Desvantagens

  • Ao possuir grande intervalo de tempo entre execuções podem ocasionar perda de performance;
  • O custo pode ficar muito alto caso suas funções demorem cerca de 300 segundos, sendo este o limite de tempo de execução.
  • Execução de testes e debug é extremamente difícil;
  • A utilização em conjunto com aplicações que possuem execuções constantes pode aumentar consideravelmente o custo.

Concluindo

O cenário atual de desenvolvimento está cada vez mais suscetível à mudança das arquiteturas tradicionais para serviços em cloud, sendo necessário uma série de adaptações de códigos. Com isso, fica visível a utilidade da arquitetura serverless, levando em conta a sua facilidade de implantação utilizando o Serverless framework.

Autor: Mateus Catel.

Links Relacionados

https://blog.rocketseat.com.br/serverless-nodejs-lambda/

https://www.riuni.unisul.br/bitstream/handle/12345/8450/TCC-FINAL-COM-ASSINATURAS.pdf

https://read.acloud.guru/six-months-of-serverless-lessons-learned-f6da86a73526

https://www.youtube.com/watch?v=FaybjGx3uQI

https://www.serverless.com/

https://aws.amazon.com/pt/lambda/

Clusterização de dados K-Means na biblioteca scikit-learn

A clusterização de dados é uma técnica que visa fazer agrupamentos automáticos de dados, levando em consideração o grau de semelhança, tem por objetivo agrupar através de aprendizado não supervisionado casos de uma base em k grupos, também denominados clusters, a classificação de dados surgiu com a necessidade de separar os dados em determinados grupos com semelhanças de atributos.

Existem diferentes formas de realizar a clusterização de dados, o scikit-learn por exemplo, é uma biblioteca para a linguagem python que disponibiliza de vários algoritmos para clusterização de dados, um dos mais conhecidos é o algoritmo K-Means.

Antes de iniciar a exemplificação do funcionamento do algoritmo, deve-se compreender alguns termos.

  • Cluster: Cluster ou grupos, são grupos de entidades com as mesmas características.
  • Centroide: Podemos definir centroide como centro de cada cluster/grupo.
  • Ponto: Ponto pode ser definido como um conjunto de dados.

Algoritmo K-Means

Este algoritmo é capaz de realizar o treinamento de um modelo para fazer o agrupamento de objetos, ele trabalha com processos de similaridade, ou seja, a principal ideia é encontrar itens semelhantes um com os outros, e mais distintos possíveis dentre os membros de outros clusters/grupos de acordo com seus atributos.

Funcionamento do algoritmo K-Means

O funcionamento do algoritmo é composto por cálculos de distância e média dos pontos até os centroides para poder definir uma posição clara entre os grupos. Vamos representar o funcionamento do algoritmo em 3 passos:

1° Passo: Inicializar os centroides de forma aleatória:

O algoritmo inicia os centroides de forma aleatória, começando de uma ponta até o centro do cluster, de acordo com que o algoritmo é executado.

Figura 1 – Inicialização dos centroides

2° Passo: Para cada ponto na base de dados, calcular a distância para cada centroide e associar ao que estiver mais perto:

Neste passo o algoritmo visa calcular para cada ponto na base de dados a distância entre todos os centroides, ao realizar o cálculo de distância, o algoritmo atribui o ponto ao centroide que possuir uma menor distância.O cálculo de distância é executado para todos os pontos mais de uma vez, em conjunto com os próximos passos, e cada ponto pode pertencer a um cluster diferente conforme o refinamento dos processos do algoritmo.

Figura 2 – Cálculo da distancia entre os centroides

3° Passo: Cálculo da média dos pontos relacionados a cada centroide, definição de um novo centroide (repetição das etapas 2 e 3):

Nesta etapa é realizado o cálculo da média dos pontos ligados aos seus respectivos centroides, o cálculo da média é feito para definir uma nova posição do centroide, em conjunto com isso é realizado um processo repetitivo entre as etapas 2 e 3 para poder fazer a nova definição dos centroides, com objetivo de direcioná-los mais ao centro do cluster, e será realocado os pontos que estiverem mais próximos de outros clusters. O algoritmo finaliza o processo quando não possuir mais elementos para fazer a atualização.

Figura 3 Cálculo da média dos pontos em cada centroide

Exemplo de utilização do K-Means

Visando um cenário em que os dados são de um grupo de pessoas com os respectivos salários e idades, temos uma base populada de dados em que os grupos/clusters estão misturados, para realizar a clusterização destes dados pode-se aplicar três os passos do algoritmo.

Primeiramente deve-se inicializar os centroides.

Figura 4 Inicialização dos centroides

Após a inicialização temos o processo de realizar o cálculo de distância e atribuir os pontos aos respectivos centroides.

Figura 5 – Cálculo de distancia e atribuição de pontos aos centroides

Por fim são calculadas as médias dos pontos relacionados a cada centroide, redefinido a posição dos centroides e executados os passos 2 e 3 até finalizar o algoritmo.

Figura 6 – Cálculo de médias e redefinição dos centroides

Assim tem-se as pessoas com mais idade e um melhor salário representadas pela cor azul, pessoas com mais idade e um baixo salário representadas na cor vermelha, e pessoas novas com um baixo salário representadas na cor verde.

K-Means na prática

Primeiramente é necessário importar a biblioteca.

from sklearn.cluster import KMeans import numpy as np

A implementação mais básica do k-means que contém um vetor [X] que contém os pontos amostrados. O objetivo é classificar os pontos amostrados em clusters indicados pela variável K.

X = np.array([[1, 2], [1, 4], [1, 0],[4, 2], [4, 4], [4, 0]]) kmeans = KMeans(n_clusters=2, random_state=0).fit(X) kmeans.labels_
array([0, 0, 0, 1, 1, 1])
kmeans.predict([[0, 0], [4, 4]])
array([0, 1])
kmeans.cluster_centers_
array([[1., 2.], [4., 2.]])

CONCLUSÃO

Compreender o processo de um algoritmo de clusterização de dados que atua através de aprendizado não supervisionado, nos permite atingir resultados mais precisos.

O funcionamento do algoritmo foi apresentado por meio dos passos, para melhor entender a estrutura em que o algoritmo K-Means trabalha, e facilitar a visualização da modificação na estrutura dos dados.

Para implementar o algoritmo em um sistema, pode ser necessário a integração com outras bibliotecas, que possibilitam a criação e visualização de novas funcionalidades.

REFERÊNCIAS

https://lamfo-unb.github.io/2017/10/05/Introducao_basica_a_clusterizacao/

https://www.alura.com.br/artigos/agrupando-dados-com-python

https://docs.aws.amazon.com/pt_br/sagemaker/latest/dg/sagemaker-dg.pdf#algo-kmeans-tech-notes

https://www.devmedia.com.br/data-mining-na-pratica-algoritmo-k-means/4584

Autor: Guilherme Zimmer De Gasperi

Criação de chatbot com Watson Assistent

Chatbot

Chatbot, ou assistente pessoal, é um programa de inteligência artificial, que busca simular uma conversa entre dois humanos, e surgiu pela necessidade de as pessoas quererem interagir com os computadores utilizando a linguagem natural, sendo através da fala ou da escrita.

Para facilitar este processo, existem plataformas específicas para a criação de chatbots, que facilitam e automatizam este processo, muitas vezes sem tornar necessário o conhecimento de programação e técnicas de inteligência artificial, um exemplo deste formato de plataforma é o Watson Assistent da IBM.

O Watson Assistent utiliza tecnologias como a PLN para extrair informações de textos, como a intenção (intent) e entidades (entity), ele disponibiliza um dashboard web para realizar a configuração do assistente, e também possui uma API que permite o desenvolvimento de aplicações personalizadas para a interação com o usuário.

Conceitos

O foco deste artigo será apresentar os conceitos básicos para criar um chatbot, e demonstrar os passos para a criação de um fluxo de conversa pelo Watson Assistent, sendo assim este trabalho não irá se ater aos quesitos mais técnicos, envolvendo técnicas de inteligência artificial, que realizam o processamento da linguagem natural e a classificação.

Antes de começar a configurar o chat, é importante compreender alguns conceitos que serão necessários para criar o fluxo de conversa.

  • Intenções

Uma intenção é um objetivo expresso nas informações de um cliente, por exemplo, se um chatbot ajuda os usuários a lidar com despesas, as intenções seriam coisas como “visualizar x (valor devido)”, “pagar y (fatura)” e “cancelar z (conta)”. Ao reconhecer a intenção expressa na entrada de um cliente, o serviço de Assistência escolhe o fluxo de diálogo correto para responder a ele.

  • Entidades

Uma entidade representa uma classe de objeto ou um tipo de dados que é relevante para a finalidade de um usuário. Ao reconhecer as entidades mencionadas na entrada do usuário, o serviço de Assistência pode escolher as ações específicas a serem executadas para cumprir uma intenção.

As entidades são também a maneira do Watson lidar com partes significativas de uma entrada que deve ser usada para alterar a maneira como responde à intenção. Por exemplo, caso o chatbot tenha questionado ao usuário em qual cidade ele mora, seria aguardado como resposta uma entidade do tipo cidade, sendo assim a reposta poderia parecer com algo do tipo “Eu moro em São Paulo”, neste caso “São Paulo” seria a entidade reconhecida.

  • Diálogo

O diálogo é onde será configurado todo o fluxo da conversa, e permear a maneira que o chatbot irá interagir com o usuário. A caixa de diálogo existente no dashboard do Watson é configurada como uma árvore lógica com muitas condições “se houver”. Cada intenção inicia um nó à esquerda e a lógica flui de cima para baixo através de suas intenções. Se uma determinada intenção é acionada por um enunciado, seu nó é aberto e a lógica continua para as entidades.

Criando o chatbot

A seguir será apresentado os passos para a implementação do chatbot, para poder replicar esta implementação, será necessário possuir uma conta na IBM Clound,  e criar uma nova instância do Watson Assistent.

Para a configuração do chatbot será utilizado como contexto uma loja de roupas, que possui uma filial em Caxias do Sul e outra em Porto Alegre, com horários de funcionamento diferentes, e o robô irá responder o horário de funcionamento de cada uma das lojas.

Configurando as intenções

A primeira parte será criar uma Intent, neste ponto será necessário informar um nome, que posteriormente servira como uma forma de identificar a intenção, e também uma descrição, para facilitar a compreensão de seu funcionamento. Para o exemplo atual, a intent se chamara “#horarios”.

A screenshot of a social media post

Description automatically generated
Figura 1 – Configuração de intent

Agora devem ser inseridos os exemplos de frases ou palavras que podem ser inseridos pelo usuário, e que devem representar esta intent. Para o exemplo de “#horarios” pode ser “Qual o horário de funcionamento?” e também “Horário de funcionamento”, o recomendado pela IBM é de no mínimo 5 exemplos, pois com mais exemplos, é maior a probabilidade do algoritmo identificar a intenção, esses exemplos devem ser preferencialmente únicos entre as intenções, para permitir uma classificação mais especifica e precisa.

Vale ressaltar que o algoritmo utilizado não irá classificar somente frases iguais aos exemplos, e sim aquelas que possuem uma semântica parecida, tornando necessário a utilização de frases diferentes, variando as palavras e maneira de escrever.

Figura 2 – Exemplos de intent

Configurando as entidades

Para responder à questão anterior, será necessário que o robô identifique a cidade da loja em questão, para isto é necessário uma entity de cidades, permitindo identificar a qual loja o usuário está se referindo.

O primeiro passo será informar o nome da entity, que assim como a intent, servirá para identificar a entidade posteriormente, para o exemplo atual a entity se chamara “@cidade”. Também será necessário a informação dos valores para esta entidade, que neste caso será “Caxias do Sul” e “Porto Alegre”.

Figura 3 – Configuração de entity

É possível a inserção de sinônimos e padrões para a identificação da entity, para a opção de padrões ou petterns, são utilizados regex, que são comumente utilizados para obter valores numéricos ou e-mails. No exemplo atual será utilizado somente os sinônimos, e isto se torna bastante útil para cidades, pois “Caxias do Sul” por exemplo, é normalmente referenciada somente como “Caxias”, já “Porto Alegre” pode ser chamada de “POA”, e sem estes sinônimos se torna inviável para o robô identificar a entidade.

A screenshot of a cell phone

Description automatically generated
Figura 4 – Configuração de sinônimos de entity

Configurando o diálogo

Com as intenções e entidades definidas, já é possível criar o diálogo. Para esta etapa existe uma grande variedade de opções, e elas variam de acordo com a aplicação, então para não se aprofundar em cada uma destas opções, será focada apenas nas que serão utilizadas para a proposta atual.

Por padrão, já existem dois nodos, ou nós, um para as mensagens iniciais, como “Olá” ou “Boa Tarde”, e o outro para quando o robô não compreende uma das intenções do usuário, eles podem ser utilizados como base para os futuros nodos.

Para o diálogo dos horários, primeiro será necessário criar um nodo, isso pode ser feito clicando em “Add node” conforme a figura abaixo.

Figura 5 – Criação de novos nodos de diálogo

 O próximo passo é configurar o nodo, para isto basta clicar sobre ele. O primeiro campo é seu nome, que pode ser de acordo com o diálogo que ele representa, depois deve ser configurado a condição para que caia neste diálogo, para este exemplo é a intent “#horarios”.

Figura 6 – Configuração do nodo de diálogo

Para a próxima configuração deve ser acessado a opção de customização no nodo, acessível pelo botão “Customize”, conforme aparece na imagem anterior. A opção “Slots” deverá ser ativada, isto fara com que o usuário fique preso no nodo em questão, enquanto não fornecer a informação necessária, no caso, a cidade da loja.

Figura 7 – Configuração de Slot de conversa

Esta opção fara com que libere um novo campo de configuração para o nodo, que é onde deverá ser informado qual a condição de saída do nodo.

Figura 8 – Campos para checagem de slot de conversa

Para a configuração desta checagem deverá ser acessado a opção de customização do slot, acessível pelo botão com símbolo de engrenagem, conforme aparece na figura anterior. A primeira opção a ser configurada, é o valor que deverá ser checado, no caso, é a entidade de cidades, a opção “Save it as”, é o nome da variável de contexto em que o valor detectado deverá ser salvo.

Abaixo das opções anteriores deverá ser configurado uma mensagem de texto para quando a mensagem não atende a condição, que neste caso é o questionamento sobre a cidade da loja, aqui podem ser inseridas mais que uma mensagem, e elas poderão ser enviadas tanto de maneira sequencial, quanto randômica.

Figura 9 – Configuração inicial de slot de conversa

Por último deverá ser configurado a mensagem final de acordo com a cidade escolhida pelo usuário, esta configuração fica logo abaixo das configurações anteriores. Deverá ser inserido uma condição para cada cidade, conforme os campos a esquerda, e a direita deve ser informado o texto de resposta de acordo com a condição.

Figura 10 – Mensagens finais de horários de funcionamento

Testando o chatbot

Com a execução dos passos anteriores já é possível realizar o diálogo proposto, para testar o que foi implementado, é possível utilizar o chat integrado do Watson Assistent, acessível no botão “Try it”.

Figura 11 – Chat para teste da configuração

Será apresentado um chat com o input de mensagem, onde pode ser enviado mensagens, simulando a ação do cliente. A resposta será de acordo com o que foi configurado até então, além de trazer as informações detalhadas do que foi identificado. Nas figuras a seguir é possível visualizar o resultado da conversa com o chatbot recém criado.

Figura 12 – Mensagem inicial para o chatbot
Figura 13 – Resposta final do chatbot

Conclusão

Os passos para a criação de chatbots apresentados aqui são específicos para a plataforma Watson Assistent, porém conceitos como Intent e Entity, são aplicáveis para outras plataformas do mercado. Os exemplos citados são de junho de 2020, e é possível que alguns aspectos e nomenclaturas alterem com o tempo, pois a plataforma sofre constantes alterações para sua melhoria.

O fluxo de conversa utilizado como exemplo é relativamente simples, e possui um objetivo acadêmico, buscando apresentar uma visão geral da plataforma. Para aplicações reais é comum que se utilize um número maior de intent, entity, e diálogos, assim como configurações mais complexas.

Para aplicações reais pode se tornar necessário também, a integração do chatbot com outros sistemas, permitindo a criação de novas interfaces, desenvolvimento de lógicas mais complexas e consumir dados do próprio sistema.

REFERÊNCIAS

https://cloud.ibm.com/docs/assistant?topic=assistant-getting-started

https://medium.com/ibmdeveloperbr/watson-assistant-como-criar-o-seu-chatbot-usando-skills-e-assistants-755b4677984b

https://ibm.com/cloud/watson-assistant/

https://www.ibm.com/watson/how-to-build-a-chatbot

https://www.devmedia.com.br/chatbot-ibm-watson/40166

https://medium.com/ibm-garage/designing-a-chatbot-with-ibm-watson-assistant-7e11b94c2b3d

https://repositorio-aberto.up.pt/bitstream/10216/119703/2/332692.pdf

Autor: João Pedro Kaspary

Utilização de NodeMCU em projetos IoT

Desde o princípio a tecnologia vem passando por crescente transformação. O que antes eram computadores gigantes que ocupavam salas inteiras apenas para fazer simples cálculos, se transformou em dispositivos indispensáveis para o dia-a-dia. São eles: celulares, notebooks, o computador de bordo do carro, a TV smart, o aspirador de pó inteligente, entre muitos outros. Esta grande massa de dispositivos geralmente está conectada à internet. Mas você já parou para pensar como isso funciona? Quais dispositivos podem ser conectados? Eu posso montar um projeto IoT? Aí está mais uma palavra que ouvimos muito hoje em dia. IoT significa Internet of Things (Internet das Coisas), que podemos entender como coisas conectadas na internet.

Já é possível termos um sistema de aquecimento que altera a temperatura de acordo com o clima, ou um medidor que avisa quando o gás está acabando. Para você que gosta de tecnologia, assim como eu, e quer conectar seu projeto na internet, este post é para você. Vamos falar sobre uma placa chamada NodeMCU, que pode ser conectada no Wi-Fi e é de fácil usabilidade.

O que é?

Antes de falar sobre a NodeMCU precisamos entender o que é módulo ESP-8266. Este módulo é fabricado pela Espressif Systems e contém vários elementos poderosos como CPU, RAM e Wi-Fi. A parte ruim é que para utilizá-lo, você precisa programá-lo enviando comandos com instruções de máquina de baixo nível. É aí que entra a NodeMCU.

A NodeMCU (Node MicroController Unit) é uma placa, criada para facilitar o desenvolvimento com o módulo ESP-8266. Ela já possui vários componentes que facilitarão sua vida: reguladores de tensão, leds, botão de reset, interface Serial-USB. Além disso, é possível fazer upload de sketchs do Arduino.

Como a placa tem acesso à internet, é possível fazer OTA (Over the Air) Upload, o que significa que você pode utilizar a rede Wi-Fi para atualizar o firmware da NodeMCU.

Abaixo, as principais características:

  • Processador ESP8266-12E
  • Arquitetura RISC de 32 bits
  • Processador pode operar em 80MHz / 160MHz
  • 4Mb de memória flash
  • 64Kb para instruções
  • 96Kb para dados
  • Wi-Fi nativo padrão 802.11b/g/n
  • Opera em modo AP, Station ou AP + Station
  • Pode ser alimentada com 5VDC através do conector micro USB
  • Possui 11 pinos digitais
  • Possui 1 pino analógico com resolução de 10 bits
  • Pinos digitais, exceto o D0, possuem interrupção, PWM, I2C e one wire
  • Pinos operam em nível lógico de 3.3V
  • Pinos não tolerantes a 5V
  • Possui conversor USB Serial integrado
  • Programável via USB ou WiFi (OTA)
  • Compatível com a IDE do Arduino
  • Compatível com módulos e sensores utilizados no Arduino

Como utilizar?

A utilização da NodeMCU é muito simples. Neste exemplo vamos utilizar o Platform.IO, que é uma plataforma para desenvolvimento de dispositivos embarcados. Antes de utilizar, você precisará instalar o Visual Studio Code, que é uma IDE muito utilizada hoje em dia por desenvolvedores. Aqui você encontra o passo a passo para instalar em seu computador.

Utilizando como Access Point

Um access point (ponto de acesso) é um dispositivo de rede usado no qual podemos nos conectar como se fosse um roteador wi-fi. Para utilizar a NodeMCU dessa maneira, precisaremos de duas bibliotecas: ESP8266WiFi.h e ESP8266WebServer.h. Por padrão, no Platform.io estas libs já estão instaladas.

Segue um código de exemplo que comanda dois leds de cores diferentes por meio de uma página web disponibilizada pelo access point da NodeMCU:

#include "Arduino.h"
 
#include "ESP8266WiFi.h"
#include "ESP8266WebServer.h"
 
#define PIN_LED_GREEN D4
bool ledGreenIsOn = false;
 
#define PIN_LED_RED D5
bool ledRedIsOn = false;
 
// declare server with port 80
ESP8266WebServer server(80);
 
// server main page html
const char serverPage[] PROGMEM = R"=====(
  <html>
    <button onclick="toggleLed('green')">
    toggle GREEN led
    </button>
    
    <button onclick="toggleLed('red')">
    toggle RED led
    </button>
 
    <script>
        function toggleLed(led) {
        console.log(`toggle led ${led}`);
 
        fetch("/toggleLed", {
            method: 'POST',
            headers: {
            "Content-Type": "application/x-www-form-urlencoded"
            },
            body: `led=${led}`
        });
        }
    </script>
  </html>        
)=====";
 
void setup()
{
    Serial.println(115200);

    Serial.println("init wi-fi ap mode...");
 
    // init pins
    pinMode(PIN_LED_GREEN, OUTPUT);
    pinMode(PIN_LED_RED, OUTPUT);
 
    // set wifi mode
    WiFi.mode(WIFI_AP);
 
    // define wifi configs
    IPAddress ip(10, 0, 0, 1);
    IPAddress gateway(10, 0, 0, 254);
    IPAddress subnet(255, 255, 255, 0);
 
    // set wifi configs
    WiFi.softAPConfig(ip, gateway, subnet);
 
    // init access point
    bool result = WiFi.softAP("My Network", "12345678");
 
    Serial.printf(result ? "Ready" : "Failed");
    Serial.println(WiFi.softAPIP());
 
    // define server routes
    server.on("/", HTTP_GET, []() {
        server.send(200, "text/html", serverPage);
    });
 
    server.on("/toggleLed", HTTP_POST, []() {
        String led = server.arg("led");
 
        Serial.println("toggle led \"" + led + "\"");
 
        uint8_t pinLed;
        bool state = false;
        if (led == "green")
        {
            pinLed = PIN_LED_GREEN;
            ledGreenIsOn = !ledGreenIsOn;
            state = ledGreenIsOn;
        }
        else if (led == "red")
        {
            pinLed = PIN_LED_RED;
            ledRedIsOn = !ledRedIsOn;
            state = ledRedIsOn;
        }
 
        digitalWrite(pinLed, state);
 
        server.send(200, "application/json", "{\"ok\":true}");
    });
 
    // init server
    server.begin();
}
 
void loop()
{
    server.handleClient();
}

Utilizando como Station

O modo station faz com que a NodeMCU se comporte como um outro dispositivo (celular, computador etc) conectado na rede. Assim é possível, por exemplo, fazer requisições HTTP para um servidor hospedado na web.

No exemplo vamos utilizar um LDR (Light Dependent Resistor). Segue o esquema se você quiser montar com sua NodeMCU:

O código de exemplo irá, a cada segundo, fazer uma requisição enviando a intensidade de luz no local:

#include "Arduino.h"
 
#include "ESP8266WiFi.h"
#include "ESP8266WiFiMulti.h"
#include "ESP8266HTTPClient.h"
 
#define PIN_LDR A0
 
ESP8266WiFiMulti wiFiMulti;
HTTPClient http;
 
void setup()
{
    Serial.println(115200);
 
    Serial.println("init wi-fi station mode...");
 
    // init pins
    pinMode(PIN_LDR, INPUT);
 
    // set wifi mode
    WiFi.mode(WIFI_STA);
 
    // connect to wi-fi network
    wiFiMulti.addAP("<network ssid>", "<network password>");
 
    // wait for connection
    int count = 0;
    while (wiFiMulti.run() != WL_CONNECTED)
    {
        Serial.print(".");
        delay(500);
 
        if (count >= 20)
        {
            Serial.println("wi-fi connection time out");
            return;
        }
 
        count++;
    }
 
    Serial.print("\nConnected as ");
    Serial.println(WiFi.localIP());
}
 
void loop()
{
    // run every 1000 miliseconds
    if (millis() % 1000 == 0)
    {
        int ldrValue = analogRead(PIN_LDR);
        float lightPercentage = 100 / 1024 * ldrValue;
 
        if (WiFi.isConnected())
        {
            String url = "<api end-point>";
 
            // init url
            http.begin(url);
 
            Serial.println("[HTTP] begin in " + url);
 
            // add headers
            http.addHeader("Content-Type", "application/json");
 
            // define json body
            String body = "";
            body += "{";
            body += "\"lightPercentage\": " + String(lightPercentage) + ",";
            body += "}";
 
            Serial.println("[HTTP] request body: " + body);
 
            // make http post
            int httpCode = http.POST(body);
 
            if (httpCode > 0)
            {
                Serial.println("[HTTP] POST " + String(httpCode));
 
                String response = http.getString();
                Serial.println("[HTTP] response: " + response);
            }
            else
            {
                Serial.println("[HTTP] POST failed, error: (" + String(httpCode) + ") " + http.errorToString(httpCode));
            }
 
            // end http
            http.end();
        }
        else
        {
            Serial.println("wi-fi not connected");
        }
    }
}

Considerações finais

A NodeMCU é uma excelente opção para ser utilizada em um projeto que necessita acesso à internet. A utilização é muito simples, o que proporciona um desenvolvimento bastante ágil. O preço médio fica um pouco acima o que um Arduino ou outra placa semelhante, mas o valor agregado do produto supera o seu preço.

Fontes

CURVELLO, André. Apresentando o módulo ESP8266. Embarcados. Disponível em: <https://www.embarcados.com.br/modulo-esp8266>. Acesso em 20 de junho de 2020.

GARRETT, Filipe. O que é access point? Veja para que serve o ponto de acesso de Wi-Fi. Embarcados. Disponível em: <https://www.techtudo.com.br/noticias/2018/06/o-que-e-access-point-veja-para-que-serve-o-ponto-de-acesso-de-wi-fi.ghtml>. Acesso em 20 de junho de 2020.

MURTA, Gustavo. NodeMCU – ESP12: Guia completo – Introdução (Parte 1). Blog Eletrogate. Disponível em: <https://blog.eletrogate.com/nodemcu-esp12-introducao-1>. Acesso em 20 de junho de 2020.

OLIVEIRA, Greici. NodeMCU – Uma plataforma com características singulares para o seu projeto ioT. Embarcados. Disponível em: <https://blogmasterwalkershop.com.br/embarcados/nodemcu/nodemcu-uma-plataforma-com-caracteristicas-singulares-para-o-seu-projeto-iot>. Acesso em 20 de junho de 2020.

YUAN, Michael. Conhecendo o NodeMCU e sua placa DEVKIT. IBM. Disponível em: <https://www.ibm.com/developerworks/br/library/iot-nodemcu-open-why-use>. Acesso em 20 de junho de 2020.

ESP8266. Espressif. Disponível em: <https://www.espressif.com/en/products/socs/esp8266/overview>. Acesso em 20 de junho de 2020.

Sensor de Luminosidade LDR 5mm. Filipe Flop. Disponível em: <https://www.filipeflop.com/produto/sensor-de-luminosidade-ldr-5mm>. Acesso em 20 de junho de 2020.

Como a tecnologia impacta nossas vidas?. Toikos Blog. Disponível em: <http://toikos.com.br/blog/post/tecnologia>. Acesso em 20 de junho de 2020.

Casas Inteligentes: como faço minha casa mais inteligente?. Toikos Blog. Disponível em: <http://toikos.com.br/blog/post/casas-inteligentes-como-fao-minha-casa-mais-inteligente>. Acesso em 20 de junho de 2020.


Autor: Igor Wilian Faoro