Arquivo da categoria: Big Data

O cenário de dados e IA de 2019

Segundo Matt Turck, em seu artigo original – aqui traduzido, disse que 2019:

Foi outro ano intenso no mundo dos dados, cheio de emoção, mas também de complexidade.

À medida que mais mundo fica on-line, a “informação de dados” de tudo continua a acelerar. Essa mega-tendência continua ganhando força, alimentada pela interseção de avanços separados em infraestrutura, computação em nuvem, inteligência artificial, código aberto e a digitalização geral de nossas economias e vidas.

Alguns anos atrás, a discussão sobre “Big Data” era principalmente técnica, centrada no surgimento de uma nova geração de ferramentas para coletar, processar e analisar grandes quantidades de dados. Muitas dessas tecnologias agora são bem compreendidas e implantadas em escala. Além disso, nos últimos dois anos, em particular, começamos a adicionar camadas de inteligência por meio de ciência de dados, aprendizado de máquina e IA em muitos aplicativos, que agora estão cada vez mais em produção em todos os tipos de produtos de consumo e B2B.

À medida que essas tecnologias continuam melhorando e se expandindo além do grupo inicial de adotantes (FAANG e startups) para a economia e o mundo em geral, a discussão está mudando do puramente técnico para uma conversa necessária sobre o impacto em nossas economias, sociedades e vidas.

Estamos apenas começando a realmente entender a natureza da interrupção à frente . Em um mundo em que a automação orientada a dados se torna a regra (produtos automatizados, carros automatizados, empresas automatizadas), qual é a nova natureza do trabalho? Como lidamos com o impacto social? Como pensamos em privacidade, segurança, liberdade?

Enquanto isso, as tecnologias subjacentes continuam a evoluir em ritmo acelerado, com um ecossistema sempre vibrante de startups, produtos e projetos, anunciando talvez mudanças ainda mais profundas pela frente. Nesse ecossistema, o ano foi caracterizado pelas primeiras entradas de uma consolidação esperada, e talvez pela passagem da guarda de uma época para outra, à medida que as primeiras tecnologias começaram a dar lugar à próxima geração.

Para tentar entender tudo isso, esta é a nossa sexta paisagem e o “estado da união” dos dados e do ecossistema de IA. Para quem estiver interessado em acompanhar a evolução, aqui estão as versões anteriores: 2012 , 2014 , 2016 , 2017 e 2018 .

Continuar lendo O cenário de dados e IA de 2019

120 previsões da IA ​​para 2020

Uma tradução – do Google – do artigo: 120 AI Predictions For 2020 escrito por: Gil Press (todos os direitos reservados ao autor)

Vejam também: 99 (Extra!) AI Predictions For 2020


Gil Press: “Alexa, me diga o que acontecerá em 2020.”

Amazon AI: “Eis o que encontrei na Wikipedia: O Campeonato da Europa de Futebol da UEFA 2020 … [continua a ler na Wikipedia]”

Gil Press: “Alexa, me dê uma previsão para 2020.”

Amazon AI: “O universo não me revelou a resposta.”

Bem, houve uma ligeira melhora em relação às respostas do ano passado , quando a resposta da Alexa à primeira pergunta foi: “Você deseja abrir ‘este dia na história’?”. Quanto ao universo, é um livro aberto para os 120 executivos seniores apresentados aqui, todos envolvidos com a IA, fornecendo previsões para 2020 para uma ampla gama de tópicos: veículos autônomos, deepfakes, pequenos dados, processamento de voz e linguagem natural, inteligência humana e aumentada, tendência e explicabilidade, processamento de borda e IoT e muitas aplicações promissoras de inteligência artificial e tecnologias e ferramentas de aprendizado de máquina.

Continuar lendo 120 previsões da IA ​​para 2020

Definindo a ciência de dados: o quê, onde e como é a ciência de dados

Ciência de dados – um termo universalmente reconhecível que precisa desesperadamente de divulgação.

Ciência de dados é um termo que foge a qualquer definição completa única, o que dificulta o uso, principalmente se o objetivo é usá-lo corretamente. A maioria dos artigos e publicações usa o termo livremente, com a suposição de que ele é universalmente entendido. No entanto, a ciência de dados – seus métodos, objetivos e aplicativos – evolui com o tempo e a tecnologia. A ciência de dados há 25 anos se referia à coleta e limpeza de conjuntos de dados e à aplicação de métodos estatísticos a esses dados. Em 2018, a ciência de dados cresceu para um campo que abrange análise de dados, análise preditiva, mineração de dados, inteligência de negócios, aprendizado de máquina e muito mais.

Continuar lendo Definindo a ciência de dados: o quê, onde e como é a ciência de dados

MySQL JSON Document Store

O MySQL é o banco de dados Open Source mais popular! Um banco de dados relacional compatível com ACID (sigla para Atomicity, Consistency, Isolation e Durability) que permite, entre outros, gerenciar seus dados com o SQL poderoso e comprovado, cuidar da integridade dos dados com transações, chaves estrangeiras… Mas você já sabe disso!

A Notação de Objeto JavaScript, mais conhecida como JSON, é um formato de troca de dados leve e muito popular. Use para armazenar e trocar dados.
Um documento JSON é um objeto padronizado que pode representar dados estruturados. E a estrutura está implícita no documento. Enfim, aposto que você também sabe disso!

Iniciado no MySQL 5.7.8, você pode manipular documentos JSON de forma “relacional”, usando consultas SQL e também armazenando-os usando o tipo de dados JSON nativo do MySQL. Também fornecemos um grande conjunto de funções JSON. Espero que você esteja ciente disso!

Conheça mais sobre – clicando nesse link! Exemplos e etc!

Documentação

Download do MySQL

MySQL_8.0_Document_Store_Architecture

Lei Geral de Proteção de Dados (LGPD)

PL 1179-2020 – Em 19 de Maio de 2020, o senado aprova a data original para vigência da LGPD (14 de Agosto de 2020) e as sanções ficam para Agosto de 2021.

LEI Nº 13.709, DE 14 DE AGOSTO DE 2018
Dispõe sobre a proteção de dados pessoais e altera a Lei nº 12.965, de 23 de abril de 2014 (Marco Civil da Internet).

No dia 14/08/2018 foi sancionada a Lei Geral de Proteção de Dados pessoal, selecionei duas matérias que julgo importante e nos dá uma base de como funcionará essa lei, mas antes um breve resumo…

Essa Lei determina uma série de cuidados e procedimentos para qualquer pessoa física ou jurídica, de direito público ou privado, que promova a coleta, tratamento, classificação, armazenamento, eliminação, transferência e compartilhamento de informações e dados pessoais.

Mas, afinal, o que é dado pessoal, de acordo com a Lei?
O conceito de dado pessoal é bastante abrangente, sendo definido como a “informação relacionada a pessoa identificada ou identificável”. Isso quer dizer que um dado é considerado pessoal quando ele permite a identificação, direta ou indireta, da pessoa natural por trás do dado, como por exemplo: nome, sobrenome, data de nascimento, documentos pessoais (como CPF, RG, CNH, Carteira de Trabalho, passaporte e título de eleitor), endereço residencial ou comercial, telefone, e-mail, cookies e endereço IP.

A Lei traz também a definição de dados pessoais sensíveis, que são aqueles que se referem à “origem racial ou étnica, convicção religiosa, opinião política, filiação a sindicato ou a organização de caráter religioso, filosófico ou político, dado referente à saúde ou à vida sexual, dado genético ou biométrico, quando vinculado a uma pessoa natural”. Por seu maior potencial lesivo, o tratamento desses dados deve observar regras ainda mais rígidas.

A partir de agosto de 2020, todo e qualquer tipo de empresa, independentemente do tamanho, precisará se adequar à lei e poderá ser fiscalizada e autuada em caso de descumprimento, desde um pequeno comércio que tem um cadastro de seus clientes para encaminhar mala direta de suas promoções e ofertas, aos grandes bancos e instituições financeiras, que mantêm um detalhado arquivo de informações sobre seus usuários.

A Lei ainda assegura o direito de indenização, quando o tratamento de dados resultar dano ao seu titular ou a terceiros, além de uma série de penalidades às empresas, que vão desde prazo para correção dos problemas até multa de 2% do seu faturamento, podendo chegar a R$ 50 milhões, dependendo do grau da infração.

Vejam as matérias abaixo:

Fonte e direitos: Tecnoblog

O presidente Michel Temer sancionou nesta terça-feira (14) o projeto de lei da Câmara 53/2018, que estabelece regras para a coleta e o tratamento de dados pessoais no Brasil. A lei, que entra em vigor daqui a 18 meses, é inspirada no Regulamento Geral sobre a Proteção de Dados (GDPR), que passou a valer na União Europeia em maio com o objetivo de assegurar a privacidade dos cidadãos.

A autoridade que seria criada para garantir a aplicação da lei, batizada de Agência Nacional de Proteção de Dados (ANPD), foi vetada por ser inconstitucional. Temer diz que houve “vício de iniciativa”, ou seja, a proposta não partiu do órgão competente. O presidente afirma, no entanto, que vai enviar ao Congresso um projeto sobre o mesmo tema, proposto pelo Executivo.

O que muda com a Lei de Geral de Proteção de Dados (LGPD)

Continuar lendo Lei Geral de Proteção de Dados (LGPD)

GDPR: a nova lei cibernética que pode afetar todo o mundo

A GDPR é uma nova lei europeia que entrará em vigor nos próximos dias. Ao reforçar as proteções de dados dos cidadãos da Europa, todas as empresas de pequeno, médio e grande porte terão que investir em cibersegurança. E não são apenas empresas locais: companhias de todo o mundo que têm negócios com a Europa precisarão se adequar. Ou seja, a mudança é global.

*** Entrará em vigor no dia 25 de Maio de 2018 ***

“A lei é clara: vazamentos de dados devem ser informados à DPA (comissão de proteção de dados) em até 72 horas e aos clientes afetados ‘sem demora injustificada'”

“Basicamente, as companhias terão que correr para aprender a proteger de maneira correta os dados de clientes”

Os 3 Pilares:
1. Governança de dados
2. Gestão de dados, que diz respeito à forma como tratar das atividades de processamento
3. Transparência de dados

E no Brasil?

Vejam a matéria completa clicando na imagem abaixo, ou no seguinte link.

gdpr

7 ferramentas gratuitas de análise de dados que você deve conhecer

O software de análise de dados não precisa custar muito para ser eficaz. Essas ferramentas gratuitas podem ajudar as empresas a descobrir novos insights e obter previsões valiosas a partir de várias fontes de dados.

São eles (em ordem alfabética)
1 -DataMelt
2 – KNIME Analytics Platform
3 – OpenRefine
4 – Orange
5 – R
6 – Tableau Public
7 – Trifacta Wrangler

Maiores detalhes clicando na matéria completa (imagem abaixo ou no neste link)

Por que as iniciativas de análise de dados ainda falham?

Talvez o problema esteja nas práticas de governança de dados. É preciso dar mais ênfase na qualidade e no contexto dos dados

Na matéria é listado 7 práticas problemáticas de uso de dados, são elas:
1 – Reunir dados, mas não integrá-los realmente
2 – Não perceber que as unidades de negócios têm necessidades exclusivas
3 – Recrutar apenas cientistas de dados
4 – Deixar de gerenciar o ciclo de vida dos dados
5 – Concentrar-se no volume, em vez de segmentar a relevância
6 – Fornecer dados, mas ignorar sua origem
7 – Fornecer dados, mas não ajudar os usuários a entender o contexto

Clique aqui para ver a matéria completa!

 

DATA & IA – Landscape

2019_Matt_Turck_Big_Data_Landscape_Final_Fullsize

Big Data – Landscape 2018

BIG Data – Landscape 2017

Big Data – Landscape 2016