kdetlaf / aggregations-2

MongoDB, CouchDB, Elasticsearch – przykładowe agregacje danych

Agregacje 2

Do aggregacji można wykorzystać te kolekcje:

• census1881
• zipcodes, przykładowe agregacje
• imieniny, przykładowe agregacje
• poland – Open Street Data dla Polski
• airports (B. Bedra)

Kolekcje zostały zaimportowane do bazy MongoDB działającej na maszynie wirtualnej. Do maszyny logujemy się w ten sposób:

mongo --username student --password sesja2013 153.19.1.202/test

Uwaga: Użytkownik student ma uprawnienia tylko do odczytu w bazie test.

Nasze agregacje

1. Bzyl, Włodzimierz. Imieniny.
2. Bełcik, Jakub.
3. Białkowski, Dominik.
4. Brzeziński, Damian.
5. Cała, Mariusz.
6. Dermont, Jacek.
7. Detlaf, Krzysztof.
8. Dępczyk, Michał.
9. Dobrzycki, Wojciech.
10. Dolata, Jędrzej.
11. Domurat, Szymon.
12. Duwe, Oskar.
13. Elszkowski, Adrian.
14. Gałka, Jacek.
15. Głowacki, Michał.
16. Gniado, Bartosz.
17. Groszek, Rafał.
18. Januszewski, Tomasz.
19. Jaźwiński, Robert.
20. Karczewski, Kamil.
21. Karwowski, Kamil.
22. Kłeczek, Piotr.
23. Kotłowski, Piotr.
24. Koźmiński, Marcin.
25. Królik, Przemysław.
26. Kubacki, Konrad.
27. Kwiatkowski, Mateusz.
28. Lewandowska, Marta.
29. Łuczun, Rafał.
30. Malinowski, Piotr.
31. Małecki, Maciej.
32. Matulewski, Damian.
33. Melzer, Grzegorz.
34. Mieszała, Konrad.
35. Motel, Mateusz.
36. Motławski, Mateusz.
37. Napiórkowski, Sebastain.
38. Osękowski, Dominik.
39. Osiński, Miłosz.
40. Ostrowski, Michał.
41. Paczyński, Łukasz.
42. Piasecka, Aleksandra.
43. Pietraszuk, Bartłomiej.
44. Pikora, Mateusz.
45. Plichta, Oskar.
46. Puchalski, Paweł.
47. Rogaszewski, Piotr.
48. Rybarczyk, Karolina.
49. Sawicki, Paweł.
50. Siora, Kacper.
51. Skiba, Marek.
52. Skowroński, Krzysztof.
53. Smykowski, Adrian.
54. Sott, Tomasz.
55. Stefanowicz, Michał.
56. Szygenda, Mateusz.
57. Tomczak, Robert.
58. Wąsowicz, Michał.
59. Winsławski, Bartłomiej.
60. Wiśniewski, Konrad.(/docs/kwisniewski/kwisniewski.md).
61. Wiśniewski, Piotr.
62. Zdunek, Kamil.
63. Żarkowski, Mateusz.

BigData (+1M)

GetGlue and Timestamped Event Data (ok. 11 GB, 19_831_300 json-ów, próbka 100 jsonów getglue101):

{
  "_id": ObjectId("5276918832cf3c2b84540440"),
  "comment": "",
  "modelName": "movies",
  "displayName": "",
  "title": "The Dark Knight",
  "timestamp": "2008-10-28T16:47:31Z",
  "image": "http://ia.media-imdb.com/images/...@@._V1._SX94_SY140_.jpg",
  "userId": "sippey",
  "private": "false",
  "director": "Christopher Nolan",
  "source": "http://www.imdb.com/title/tt0468569/",
  "version": "1",
  "link": "http://www.imdb.com/title/tt0468569/",
  "lastModified": "2011-12-16T19:39:33Z",
  "action": "Liked",
  "lctitle": "the dark knight",
  "objectKey": "movies/dark_knight/christopher_nolan"
}

Dane z lat 2007–2012, tylko filmy i przedstawienia TV.

Przykładowe aggregacje i zliczania: ilu jest różnych użytkowników w danych? jakie jest 10 najpopularniejszych filmów i przedstawień TV? ile jest różnych akcji?

Ściąga z Gita

• Scott Chacon, Pro Git; niekompletne tłumaczenie na język polski.

Dwa sposoby radzenia sobie z taką sytuacją: We can’t automatically merge this pull request.

Sposób 1:

git remote add miotla007 git://github.com/miotla007/aggregations-2.git
git fetch miotla007
git merge miotla007/master
  .. edycja .. rozwiązywanie konfliktów
git push origin master

git remote rm miotla007

Sposób 2 (sugerowany przez GitHub Team):

git checkout -b miotla007-master master
git pull git://github.com/miotla007/aggregations-2.git master
git checkout master
git merge miotla007-master
git push origin master

git branch -d miotla007-master

Undo różnych rzeczy:

git reset --merge           # merge
git reset --hard ORIG_HEAD  # rebase

Another common practice is to rebase the last few commits in your current branch

Interactive rebase on GitHub

Jak zmniejszyć liczbę commitów, zmienić ich kolejność i przeredagować wpisy log:

git checkout issue16                       # o ile commity są na tej gałęzi
git log --pretty=oneline HEAD~6..HEAD      # sprawdzamy które commity będziemy zmieniać
git rebase -i HEAD~6                       # poprawiamy ostatnich 6 commitów

.. edycja ..
....  edit -- jeśli chcemy poprawić ten commit lub coś do niego dodać
........  git reset HEAD^  # rollback the last commit
........  git status
........  git add --patch  # lub dodajemy/edytujemy pliki
........
........  git rebase --contiune
....  reword -- poprawiamy tekst wpisu do log

git log --pretty=oneline
git rebase master                          # o ile jesteśmy na gałęzi issue16
git checkout master
git merge issue16
git branch -d issue16                      # możemy usunąć scaloną gałąź

Na stronie manuala gitrevisions jest opisane znaczenie: HEAD^, ^HEAD, HEAD~n.

Stashing:

git stash
git stash list
git stash apply stash@{0}  # przykłady
git stash drop  stash@{0}

Zobacz też:

• Mark Dominus
  • Why can't Git resolve all conflicted merges?
  • My Git Habits
• Bert Belder, Checkout github pull requests locally
• Chris Wanstrath, hub makes git better with GitHub
• Scott Chacon, 6.4 Git Tools - Rewriting History