Inteligência na Web e Big Data
Graduate course, Universidade Federal do ABC, Graduate in Computer Science, 2017
Entender como remodelar algoritmos típicos de Mineração de Dados para a aplicação em ambientes distribuídos. Aprender conceitos de paradigma funcional, paralelismo usando multithread, distribuição de dados, algoritmos online e Apache Spark.
Avisos:
Informações sobre o mini-curso do prof. Artur: https://folivetti.github.io/talks/2017-11-29-bigdata2017
A entrega dos projetos será no dia 08/12, não haverão apresentações.
Para o Lab4b, resposta do 3b: numCategories = (parsedTrainFeat .flatMap(lambda x: x) .distinct() .map(lambda x: (x[0], 1)) .reduceByKey(lambda x, y: x + y) .sortByKey() .collect())
Para o LAb4b utilize o arquivo dac_sample.txt no repositório do github. Para o LAb4a utilize o arquivo millionsongs.txt no repositório do github.
Salas alteradas para:
4ª FEIRAS……………S-302-2 (DAS 14 AS 16 HORAS)
6º FEIRAS……………S-302-1 (DAS 14 AS 16 HORAS)
Avaliações:
1 Prova (20%), 1 Projeto com seminário (40%) e atividades para entregar (40%).
Notas:
| Nome | Lista 01 | Lista 02 | Lista 03 | Lista 04 | Prova | Projeto | Final | |
|---|---|---|---|---|---|---|---|---|
| Andreia Gusmao | 0.5 | 1 | 0.3 | 0.3 | 1.5 | 2.5 | 6.1 | B |
| Angélica Custódio | 0.7 | 1 | 1 | 1 | 0.75 | 3 | 7.45 | B |
| Antonio de Abreu Batista Júnior | 0.5 | 1 | 0.75 | 0.5 | 1.25 | 2 | 6 | B |
| Carlos Portocarrero | 1 | 0 | 0.5 | 0.9 | 1.25 | 2.5 | 6.15 | B |
| Daniel Gonçalves | 1 | 0.5 | 0.9 | 0.2 | 0.75 | 4 | 7.35 | B |
| Daniel Rodrigues | 0 | 0 | 0 | 0 | 0 | 0 | 0 | F |
| Eduardo Cruz | 0.75 | 1 | 1 | 1 | 0.75 | 0.5 | 5 | C |
| Eulaliane Gonçalves | 0.3 | 1 | 1 | 1 | 1.25 | 4 | 8.55 | A |
| Fabricio Antoniasse | 1 | 0.6 | 1 | 1 | 1.25 | 4 | 8.85 | A |
| Fernanda Miyuki Yamada | 0.75 | 1 | 1 | 1 | 1.25 | 4 | 9 | A |
| Iara Miranda | 0.75 | 1 | 1 | 1 | 1.25 | 3 | 8 | A |
| Ivan Dimitry Ribeiro Zyrianoff | 1 | 1 | 1 | 1 | 1.5 | 4 | 9.5 | A |
| Laurindo dos Santo | 0.75 | 1 | 1 | 1 | 1.5 | 1 | 6.25 | B |
| Leandro Otani | 1 | 0.9 | 0.8 | 1 | 0.5 | 3.5 | 7.7 | B |
| Lincoln lima | 1 | 1 | 1 | 0.6 | 1.25 | 1.5 | 6.35 | B |
| Nelson Gonçalves de Oliveira | 0.75 | 0 | 0 | 1 | 0 | 0 | 1.75 | F |
| Noemia Albertini | 0 | 0 | 0 | 0 | 0.25 | 0 | 0.25 | F |
| Rafael Di Cesare Giannella | 1 | 1 | 1 | 1 | 1 | 4 | 9 | A |
| Rafael Sakurai | 1 | 0.5 | 1 | 0 | 1.75 | 4 | 8.25 | A |
| Ricardo Borges | 0 | 0 | 0 | 0 | 0 | 0 | 0 | F |
| Rodrigo Pennella | 0.5 | 0.6 | 1 | 1 | 0.75 | 1.5 | 5.35 | C |
| Thiago Donizetti dos Santos | 1 | 0.6 | 0 | 0 | 1.75 | 2.5 | 5.85 | C |
| Veruska Ayora | 0.75 | 1 | 1 | 0.5 | 1 | 2.5 | 6.75 | B |