Learn google scholar prameters
sotetsuk opened this issue · comments
scalar.pyを参考にパラメータの意味を考える.
20160502時点現在のもの.
# Default URLs for visiting and submitting Settings pane, as of 3/14
GET_SETTINGS_URL = ScholarConf.SCHOLAR_SITE + '/scholar_settings?' \
+ 'sciifh=1&hl=en&as_sdt=0,5'
SET_SETTINGS_URL = ScholarConf.SCHOLAR_SITE + '/scholar_setprefs?' \
+ 'q=' \
+ '&scisig=%(scisig)s' \
+ '&inststart=0' \
+ '&as_sdt=1,5' \
+ '&as_sdtp=' \
+ '&num=%(num)s' \
+ '&scis=%(scis)s' \
+ '%(scisf)s' \
+ '&hl=en&lang=all&instq=&inst=569367360547434339&save='
SCHOLAR_QUERY_URL = ScholarConf.SCHOLAR_SITE + '/scholar?' \
+ 'as_q=%(words)s' \
+ '&as_epq=%(phrase)s' \
+ '&as_oq=%(words_some)s' \
+ '&as_eq=%(words_none)s' \
+ '&as_occt=%(scope)s' \
+ '&as_sauthors=%(authors)s' \
+ '&as_publication=%(pub)s' \
+ '&as_ylo=%(ylo)s' \
+ '&as_yhi=%(yhi)s' \
+ '&as_sdt=%(patents)s%%2C5' \
+ '&as_vis=%(citations)s' \
+ '&btnG=&hl=en' \
+ '&num=%(num)s'
パラメータリスト
q
: 検索時に投げられたクエリscisig
:start
: 検索を何番目から取ってくるかinststart
as_sdt
引用画面にていつの年から検索するかの条件を指定(とりうる値 `2005, 0,5``)as_sdtp
?num
: 検索件数の指定scis
hl
: 言語を指定lang
instq
inst
save
sciifh
scipsc
as_ylo
: 普通の検索においていつの年から検査うするかの条件を指定as_yhi
: 普通の検索においていつの年まで検索するかの条件を指定scilib
: マイライブラリの使用(=1
)scioq
: マイライブラリでの検索クエリscisbd
: 日付順で並び替えsciodt
: 引用画面を見ているときに0.5
?cites
: どの論文を引用している論文かをクラスタIDで指定するcluster
: クラスタIDrelated
: どの論文に関係する論文かを別にIDで指定するas_q
:scholar.py
からas_epq
:scholar.py
からas_oq
:scholar.py
からas_eq
:scholar.py
からas_occt
:scholar.py
からas_sauthors
:scholar.py
からas_publication
:scholar.py
から- ``as_vis
:
scholar.py` から
URL例
普通に検索クエリを投げる
https://scholar.google.co.jp/scholar?q=deeplearning&btnG=&hl=ja&as_sdt=0%2C5
ページネーションする
https://scholar.google.co.jp/scholar?start=10&q=deeplearning&hl=ja&as_sdt=0,5
マイライブラリを続けて開く
https://scholar.google.co.jp/scholar?scilib=1&scioq=deeplearning&hl=ja&as_sdt=0,5
2016年以降で検索する
https://scholar.google.co.jp/scholar?as_ylo=2016&q=panyanyan&hl=ja&as_sdt=0,5
2013〜2014で検索する
https://scholar.google.co.jp/scholar?q=pockemon&hl=ja&as_sdt=0%2C5&as_ylo=2003&as_yhi=2014
関連性で並び替えボタンを押す
https://scholar.google.co.jp/scholar?hl=ja&as_sdt=0,5&q=pockemon
日付順で並び替えボタンを押す
https://scholar.google.co.jp/scholar?hl=ja&as_sdt=0,5&q=pockemon&scisbd=1
引用画面に遷移
https://scholar.google.co.jp/scholar?cites=8108748482885444188&as_sdt=2005&sciodt=0,5&hl=ja
引用画面ページネーション後
https://scholar.google.co.jp/scholar?start=10&hl=ja&as_sdt=2005&sciodt=0,5&cites=8108748482885444188&scipsc=
ArticleのFooterみたいなとこのソース
<div class="gs_fl">
<a href="/scholar?cites=8108748482885444188&as_sdt=2005&sciodt=0,5&hl=en">Cited by 376</a>
<a href="/scholar?q=related:XOJff8gPiHAJ:scholar.google.com/&hl=en&as_sdt=0,5">Related articles</a>
<a href="/scholar?cluster=8108748482885444188&hl=en&as_sdt=0,5" class="gs_nph">All 5 versions</a>
<a href="/scholar.bib?q=info:XOJff8gPiHAJ:scholar.google.com/&output=citation&hl=en&ct=citation&cd=0" class="gs_nta gs_nph">Import into BibTeX</a>
<a onclick="return gs_ocit(event,'XOJff8gPiHAJ','0')" href="#" class="gs_nvi" role="button" aria-controls="gs_cit" aria-haspopup="true">Cite</a>
<span class="gs_nph">
<a id="gs_svl0" onclick="return gs_sva('XOJff8gPiHAJ','0')" href="#" title="Save this article to my library so that I can read or cite it later.">Save</a>
<span id="gs_svo0" class="gs_svm">Saving<span id="gs_svd0">...</span>
</span>
<a id="gs_svs0" style="display:none">Saved</a>
<span id="gs_sve0" class="gs_svm">Error saving. <a onclick="return gs_sva('XOJff8gPiHAJ','0')" href="#">Try again?</a>
</span></span>
<a href="#" class="gs_mor" role="button" onclick="return gs_more(this,1)">More</a>
<a href="#" class="gs_nvi" role="button" onclick="return gs_more(this,0)">Fewer</a>
</div>
TODO
- wikiにまとめる
関連リンク
クエリを作る
普通の検索
色々パラメータを指定できる Search Tips
- author e.g., `author:"d knuth"` - titleで検索はクォーテーションで囲む e.g., `"A History of the China Sea"` - sort by date => ボタン - 含まないとか - 年で検索参考(scholar.py)
-a AUTHORS, --author=AUTHORS Author name(s)
-A WORDS, --all=WORDS Results must contain all of these words
-s WORDS, --some=WORDS Results must contain at least one of these words. Pass
arguments in form -s "foo bar baz" for simple words, and
-s "a phrase, another phrase" for phrases
-n WORDS, --none=WORDS Results must contain none of these words. See -s|--some
re. formatting
-p PHRASE, --phrase=PHRASE Results must contain exact phrase
-t, --title-only Search title only
-P PUBLICATIONS, --pub=PUBLICATIONS Results must have appeared in this publication
--after=YEAR Results must have appeared in or after given year
--before=YEAR Results must have appeared in or before given year
--no-patents Do not include patents in results
--no-citations Do not include citations in results
-C CLUSTER_ID, --cluster-id=CLUSTER_ID Do not search, just use articles in given cluster ID
-c COUNT, --count=COUNT Maximum number of results
検索できる条件の仕様
--cluster-id
--author
--title
--query
--citing
--before
--after
--num
--start
query deep leanring
https://scholar.google.co.jp/scholar?hl=ja&q=deep+learning&btnG=&lr=
author deep learning author:"y bengio"
https://scholar.google.co.jp/scholar?hl=ja&q=deep+learning+author%3A%22y+bengio%22&btnG=&lr=
title "deep leanring"
https://scholar.google.co.jp/scholar?hl=ja&q=%22deep+leanring%22&btnG=&lr=
(一件しかヒットせず)
citing (引用元を押しただけ)
https://scholar.google.co.jp/scholar?cites=8108748482885444188&as_sdt=2005&sciodt=0,5&hl=ja
deep learning 2012年以降
https://scholar.google.co.jp/scholar?as_ylo=2012&q=deep+learning&hl=ja&as_sdt=0,5
deep learning 2015-2015
https://scholar.google.co.jp/scholar?q=deep+learning&hl=ja&as_sdt=0%2C5&as_ylo=2012&as_yhi=2015
deep learning -2015
https://scholar.google.co.jp/scholar?q=deep+learning&hl=ja&as_sdt=0%2C5&as_ylo=&as_yhi=2015
引用中での 2012-
https://scholar.google.co.jp/scholar?as_ylo=2012&hl=ja&as_sdt=2005&sciodt=0,5&cites=15932869302045479284&scipsc=
引用中での 2012-2015
https://scholar.google.co.jp/scholar?hl=ja&as_sdt=2005&sciodt=0%2C5&cites=15932869302045479284&scipsc=&as_ylo=2012&as_yhi=2015
引用中での**-2015**
https://scholar.google.co.jp/scholar?hl=ja&as_sdt=2005&sciodt=0%2C5&cites=15932869302045479284&scipsc=&as_ylo=&as_yhi=2015
deep learningで50番目から
https://scholar.google.co.jp/scholar?start=50&q=deep+learning&hl=ja&as_sdt=0,5
引用中で40番目から
https://scholar.google.co.jp/scholar?start=40&hl=ja&as_sdt=2005&sciodt=0,5&cites=16988628068303769209&scipsc=
BiBTeX取得用
ポップアップ
https://scholar.google.co.jp/scholar?q=info:XOJff8gPiHAJ:scholar.google.com/&output=cite&scirp=0&hl=ja
bibtexへ遷移
(前のページからスクレイピング)
https://scholar.google.co.jp/scholar.bib?q=info:XOJff8gPiHAJ:scholar.google.com/&output=citation&scisig=AAGBfm0AAAAAVycKX7aaMyFAf9KR6kSbIyZN4DxQG-zb&scisf=4&hl=ja
返すモノ仕様
- title
- year(bibtexそのまま)
- authors(bibtexそのまま)
- url
- cluster-id
- num-cites
- num-versions
- infoid (?)
- pdf-link(リスト?)
- pdf-source(リスト?)
- bibtex(bibtexの内容を取得するかはオプション)
- citing-id
アウトプットのタイプも
- json
- bibtex
コマンドライン引数
go-scholar: scraping google scholar searching results
Usage:
go-scholar search (--author=<author>|--title=<title>|--query=<query>) [--before=<year>|--after=<year>|--num-articles=<num-articles>|--start=<start>]
go-scholar find <cluster-id> [--before=<year>|--after=<year>|--num-articles=<num-articles>|--start=<start>]
go-scholar cite <cites-id> [--before=<year>|--after=<year>|--num-articles=<num-articles>|--start=<start>]
go-scholar -h | --help
go-scholar --version
Options:
--author=<author>
--title=<title>
--query=<query>
--before=<year>
--after=<year>
--num-articles=<num-articles>
--start=<start>
-h --help
--version
--before
--after
--num-articles
--start
は上記クエリに付随的と使われる
#12 ではカスタムサーチの存在に気づいた
あとはこのタスクはwikiにあとでうつす