Mimino666 / langdetect

Port of Google's language-detection library to Python.

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Langdetect not able to catch EOL while scanning string literals & few characters like '>'

anubhav0fnu opened this issue · comments

@Mimino666
There are few texts which your library is not able to recognize i.e posting EXCEPTIONS. Please suggest if on my end I can correct them in code. There are more of similar kind, Please suggest how to tackle these issues in general. Any suggestion will be helpful.
for example:

from langdetect import DetectorFactory
DetectorFactory.seed = 0
from langdetect import detect
detect("As of August 31, 2016,ccounted for 23 human cases of A(H7N9) virus infection, including four deaths; these infections were detected in Hong Kong (16 cases), Taiwan (four), Canada (two), and Malaysia (one).

Among 314 counties in China that reported at least one human A(H7N9) virus infection, 224 (71%) reported ≤2 infections. Most (83%) infections were reported in five eastern or southeastern coastal provinces. Whereas most infections in the first epidemic were identified during March–April 2013, the majority of infections identified in the subsequent three epidemics occurred during November–April of 2013–2014, 2014–2015, and 2015–2016 (Figure).")

1.COMPLE ERROR:

  File "<ipython-input-34-1102766c36f0>", line 1
    detect("As of August 31, 2016,ccounted for 23 human cases of A(H7N9) virus infection, including four deaths; these infections were detected in Hong Kong (16 cases), Taiwan (four), Canada (two), and Malaysia (one).
                                                                                                                                                                                                                         ^
SyntaxError: EOL while scanning string literal
detect(Home › Détente et loisirs › Santé › Epidémie de rougeole en Guinée : le Gouvernement prend des mesures… ›
Epidémie de rougeole en Guinée : le Gouvernement prend des mesures…
Santé
CONAKRY-Pour arrêter la progression de l’épidémie de rougeole qui frappe le pays, le gouvernement guinéen, à travers le ministère de la santé a lancé ce jeudi 6 avril 2017 une campagne de vaccination, à Conakry.
La cérémonie de lancement a été présidée par le ministre Abdourahmane Diallo. C’était en présence de certains partenaires de la Guinée dans le domaine sanitaires (OMS, UNICEF, MSF).
La campagne s’tendra du 7 au 15 avril 2017 dans les centres de santé et points de vaccination aménagés dans les quartiers et secteurs de la capitale. Elle touchera les enfants âgés de 6 mois à 10 ans.
Le Gouvernement avec l’appui de ses partenaires a mobilisé près de 3. 500.000 doses de vaccins contre la rougeole et a procédé à la vaccination des enfants de la Préfecture de N’zérékoré, qui était l’épicentre de cette épidémie, a indiqué le ministre de la santé.
Dr Abdourahmane Diallo a annoncé que des dispositions ont été également prises pour le traitement gratuit de tous les enfants malades de la rougeole dans les différentes formations sanitaires. Après N’zérékoré, Conakry est la deuxième localité la plus touchée par cette épidémie d’où, selon le ministre, la nécessité de la présente campagne de vaccination, l’unique moyen efficace pour arrêter la progression de l’épidémie.
Cette campagne de vaccination est totalement gratuite, a rappelé le ministre de la Santé, ajoutant qu’elle touchera un peu plus d’un million d’enfants âgé de 6 mois à 10 ans quel que soit leur statut vaccinal. Avant de clore son intervention, Dr Abourahmane Diallo a lancé un appel aux parents dans les différentes familles de faire vacciner leurs enfants.
« Je demande à toutes les familles, toutes les mères, les chefs de ménage des cinq communes de la ville de Conakry d’accepter que leurs enfants soient vaccinés contre la rougeole. Je lance un appel pressant aux vaccinateurs, aux mobilisateurs sociaux, aux superviseurs et à tous les acteurs impliqués dans la lutte contre la maladie, de faire preuve de responsabilité et d’engagement en vue de conférer à cette campagne un parfaite réussite », a lancé le ministre.
Les partenaires techniques et financiers s’engagent à accompagner le ministère de la Santé dans la riposte contre la présente épidémie de rougeole et le renforcement des services de vaccination dans le pays, a indiqué Dr Alfred Ki-Zerbo, représentant de l’organisation mondiale de la Santé en Guinée.
« Grâce à la vaccination anti rougeoleuse, les décès par rougeole dans le monde ont chuté de 79% entre 2000 et 2015, évitant 20.3 millions de décès », a renseigné M Ki-Zerbo.
La rougeole est une maladie très contagieuse due à un virus qui touche la couche infantile. Elle se transmet d’une personne à une autre par l’intermédiaire des gouttelettes émises par le malade. Elle est caractérisée par la fièvre, des éruptions cutanées, des conjonctivites, un rhume, une toux.  A ce jour 4254 cas de rougeole ont été notifiés dans 30 préfectures de la Guinée. La ville de Conakry en a enregistré 1590 soit 37% du total des cas.)

2.COMIPLE error

  File "<ipython-input-35-d0414f1599c5>", line 1
    detect(Home › Détente et loisirs › Santé › Epidémie de rougeole en Guinée : le Gouvernement prend des mesures… ›
                ^
SyntaxError: invalid character in identifier

This is not valid Python. Has nothing to do with langdetect.

use triple quotes

"""asd
qwe"""

or
"asd\nqwe"