DAMO-NLP-SG / M3Exam

Data and code for paper "M3Exam: A Multilingual, Multimodal, Multilevel Benchmark for Examining Large Language Models"

Geek Repo:Geek Repo

Github PK Tool:Github PK Tool

Inconsistent image placeholder and wrong images

zhangliang-04 opened this issue · comments

Dear authors,

Thanks for your open sourcing! It seems that the correct image placeholder would be (image)[image-x.png] or (image)[image-x.jpg]. However, I find a lot of inconsistent image placeholders in the multimodal split, such as (image)[image-1], [image-3.png], (image)[image-1.png], (image)[image-4.png.], (image)[image2.jpg] and (image)[image-30. jpg]...
Moreover, in most of these scenarios, the image is wrong or there is no image in the downloaded dataset.
It seems that there is something wrong with the preprocessing script, or there is some misunderstanding?

Thanks again if you can help me!

Thanks for pointing out this issue! We already conducted a post-processing to detect possible inconsistent placeholders. I will double-check the data to see whether we uploaded the wrong version for the multimodal questions. Thanks again

@IsakZhang are there any updates?

I found multiple inconsistencies:

  • image-13.png. -> image-13.png (trailing dot)
  • image-13c.png -> image-13.png (trailing character after digits)
  • image-13.c.png -> image-13.png (character surrounded by dots)

Also, in one sample for Portuguese (#438), one image is missing. The option text references the following images: '(image)[image-587.png]', '(image)[image-588.png]', '(image)[image-42.c.png]', '(image)[image-589.png]']. After the string replacements mentioned above, image-42.c.png becomes image-42.png, which is missing. There is an image-42.jpg, but it's not part of the question. I searched the sample via Google and found this: https://brainly.com.br/tarefa/46772957, which is indeed the sample, and we can see that the option c) is the missing image.

How did you handle this?

Update

I investigated further and found more issues with the Portuguese data, where there are missing images in the samples -- in most cases those images contained a space between the . and the suffix.

question_text background_description answer_text options need_image language level subject subject_category year image_ids images
438 Um marceneiro está construindo um portão de madeira. Já providenciou a estrutura principal, formada por quatro tábuas pregadas, conforme indicado na figura.\n\n(image)[image-590.png]\n\nVisando dar estabilidade ao portão, o marceneiro decidiu pregar tábuas para dar mais firmeza à estrutura principal, evitando a sua deformação.\nA opção que o marceneiro pode empregar, que faz uso do menor número de tábuas e que é capaz de conferir ao portão a firmeza desejada, é: [] C [(A) (image)[image-587.png], (B) (image)[image-588.png], (C) (image)[image-42.c.png], (D) (image)[image-589.png]] yes portuguese mid math math 2018 None None
443 Um investidor inicia um dia com x ações de uma empresa. No decorrer desse dia, ele efetua apenas dois tipos de operações, comprar ou vender ações. Para realizar essas operações, ele segue estes critérios:\n I. vende metade das ações que possui, assim que seu valor fica acima do valor ideal (Vi);\n II. compra a mesma quantidade de ações que possui, assim que seu valor fica abaixo do valor mínimo (Vm);\n III. vende todas as ações que possui, quando seu valor fica acima do valor ótimo (Vo). \n O gráfico apresenta o período de operações e a variação do valor de cada ação, em reais, no decorrer daquele dia e a indicação dos valores ideal, mínimo e ótimo. \n(image)[image-1. jpg]\n\nQuantas operações o investidor fez naquele dia? [] B [(A) 3, (B) 4, (C) 5, (D) 6, (E) 7] yes portuguese high math math 2015 None None
444 Atualmente existem diversas locadoras de veículos, permitindo uma concorrência saudável para o mercado, fazendo com que os preços se tornem acessíveis. \n Nas locadoras P e Q, o valor da diária de seus carros depende da distância percorrida, conforme o gráfico.\n(image)[image-2. jpg]\n\nO valor pago na locadora Q é menor ou igual àquele pago na locadora P para distâncias, em quilômetros, presentes em qual(is) intervalo(s)? [] D [(A) De 20 a 100., (B) De 80 a 130., (C) De 100 a 160., (D) De 0 a 20 e de 100 a 160., (E) De 40 a 80 e de 130 a 160.] yes portuguese high math math 2015 None None
445 No contexto da matemática recreativa, utilizando diversos materiais didáticos para motivar seus alunos, uma professora organizou um jogo com um tipo de baralho modificado. No início do jogo, vira-se uma carta do baralho na mesa e cada jogador recebe em mãos nove cartas. Deseja-se formar pares de cartas, sendo a primeira carta a da mesa e a segunda, uma carta na mão do jogador, que tenha um valor equivalente àquele descrito na carta da mesa. O objetivo do jogo é verificar qual jogador consegue o maior número de pares. Iniciado o jogo, a carta virada na mesa e as cartas da mão de um jogador são como no esquema:\n(image)[image-3. jpg]\n\nSegundo as regras do jogo, quantas cartas da mão desse jogador podem formar um par com a carta da mesa? [] E [(A) 9, (B) 7, (C) 5, (D) 4, (E) 3] yes portuguese high math math 2015 None None
446 Uma pesquisa de mercado foi realizada entre os consumidores das classes sociais A, B, C e D que costumam participar de promoções tipo sorteio ou concurso. Os dados comparativos, expressos no gráfico, revelam a participação desses consumidores em cinco categorias: via Correios (juntando embalagens ou recortando códigos de barra), via internet (cadastrando-se no site da empresa/marca promotora), via mídias sociais (redes sociais), via SMS (mensagem por celular) ou via rádio/TV. \n\nParticipação em promoções do tipo sorteio ou concurso em uma região\n(image)[image-4. jpg]\n\n Uma empresa vai lançar uma promoção utilizando apenas uma categoria nas classes A e B (A/B) e uma categoria nas classes C e D (C/D). \n\nDe acordo com o resultado da pesquisa, para atingir o maior número de consumidores das classes A/B e C/D, a empresa deve realizar a promoção, respectivamente, via [] B [(A) Correios e SMS., (B) internet e Correios., (C) internet e internet., (D) internet e mídias sociais., (E) rádio/TV e rádio/TV.] yes portuguese high math math 2015 None None
447 O Esquema I mostra a configuração de uma quadra de basquete. Os trapézios em cinza, chamados de garrafões, correspondem a áreas restritivas. \n(image)[image-6. jpg]\n\n Visando atender as orientações do Comitê Central da Federação Internacional de Basquete (Fiba) em 2010, que unificou as marcações das diversas ligas, foi prevista uma modificação nos garrafões das quadras, que passariam a ser retângulos, como mostra o Esquema II. \n(image)[image-7. jpg]\n\nApós executadas as modificações previstas, houve uma alteração na área ocupada por cada garrafão, que corresponde a um(a) [] A [(A) aumento de 5 800 cm^{2}., (B) aumento de 75 400 cm^{2}., (C) aumento de 214 600 cm^{2}., (D) diminuição de 63 800 cm^{2}., (E) diminuição de 272 600 cm^{2}.] yes portuguese high math math 2015 None None
448 Uma carga de 100 contêineres, idênticos ao modelo apresentado na Figura 1, deverá ser descarregada no porto de uma cidade. Para isso, uma área retangular de 10 m por 32 m foi cedida para o empilhamento desses contêineres (Figura 2). \n(image)[image-9. jpg]\n(image)[image-10. jpg]\n\n De acordo com as normas desse porto, os contêineres deverão ser empilhados de forma a não sobrarem espaços nem ultrapassarem a área delimitada. \n\nApós o empilhamento total da carga e atendendo à norma do porto, a altura mínima a ser atingida por essa pilha de contêineres é [] A [(A) 12,5 m., (B) 17,5 m., (C) 25,0 m., (D) 22,5 m., (E) 32,5 m.] yes portuguese high math math 2015 None None
449 Para uma alimentação saudável, recomenda-se ingerir, em relação ao total de calorias diárias, 60% de carboidratos, 10% de proteínas e 30% de gorduras. Uma nutricionista, para melhorar a visualização dessas porcentagens, quer dispor esses dados em um polígono. Ela pode fazer isso em um triângulo equilátero, um losango, um pentágono regular, um hexágono regular ou um octógono regular, desde que o polígono seja dividido em regiões cujas áreas sejam proporcionais às porcentagens mencionadas. Ela desenhou as seguintes figuras:\n(image)[image-11. jpg]\n\nEntre esses polígonos, o único que satisfaz as condições necessárias para representar a ingestão correta de diferentes tipos de alimentos é o [] C [(A) triângulo., (B) losango., (C) pentágono., (D) hexágono., (E) octógono.] yes portuguese high math math 2015 None None
450 Um engenheiro projetou um automóvel cujos vidros das portas dianteiras foram desenhados de forma que suas bordas superiores fossem representadas pela curva de equação $y = log (x)$, conforme a figura. \n(image)[image-12. jpg]\n\n A forma do vidro foi concebida de modo que o eixo $x$ sempre divida ao meio a altura $h$ do vidro e a base do vidro seja paralela ao eixo $x$. Obedecendo a essas condições, o engenheiro determinou uma expressão que fornece a altura $h$ do vidro em função da medida $n$ de sua base, em metros. \n\nA expressão algébrica que determina a altura do vidro é [] E [(A) $\log \left( \frac{n+\sqrt{n^{2} + 4}}{2}\right) - log\left( \frac{n - \sqrt{n^{2} + 4}}{2} \right)$, (B) $log \left( 1 + \frac{n}{2}\right) - log\left( 1 - \frac{n}{2} \right)$, (C) $log \left( 1 + \frac{n}{2} \right) + log\left( 1 - \frac{n}{2}\right)$, (D) $\log \left( \frac{n + \sqrt{n^{2} + 4}}{2} \right)$, (E) $2 log \left( \frac{n + \sqrt{n^{2} + 4}}{2} \right)$] yes portuguese high math math 2015 None None
451 Uma empresa de telefonia celular possui duas antenas que serão substituídas por uma nova, mais potente. As áreas de cobertura das antenas que serão substituídas são círculos de raio 2 km, cujas circunferências se tangenciam no ponto O, como mostra a figura. \n(image)[image-13. jpg]\n\n O ponto O indica a posição da nova antena, e sua região de cobertura será um círculo cuja circunferência tangenciará externamente as circunferências das áreas de cobertura menores. \n\nCom a instalação da nova antena, a medida da área de cobertura, em quilômetros quadrados, foi ampliada em [] A [(A) 8π, (B) 12π, (C) 16π, (D) 32π., (E) 64π.] yes portuguese high math math 2015 None None
452 Um pesquisador, ao explorar uma floresta, fotografou uma caneta de 16,8 cm de comprimento ao lado de uma pegada. O comprimento da caneta ($c$), a largura ($L$) e o comprimento ($C$) da pegada, na fotografia, estão indicados no esquema. \n(image)[image-14. jpg]\n\nA largura e o comprimento reais da pegada, em centímetros, são, respectivamente, iguais a [] D [(A) 4,9 e 7,6., (B) 8,6 e 9,8, (C) 14,2 e 15,4., (D) 26,4 e 40,8, (E) 27,5 e 42,5] yes portuguese high math math 2015 None None
453 Uma indústria produz malhas de proteção solar para serem aplicadas em vidros, de modo a diminuir a passagem de luz, a partir de fitas plásticas entrelaçadas perpendicularmente. Nas direções vertical e horizontal, são aplicadas fitas de 1 milímetro de largura, tal que a distância entre elas é de ($d - 1$) milímetros, conforme a figura. O material utilizado não permite a passagem da luz, ou seja, somente o raio de luz que atingir as lacunas deixadas pelo entrelaçamento consegue transpor essa proteção. \n A taxa de cobertura do vidro é o percentual da área da região coberta pelas fitas da malha, que são colocadas paralelamente às bordas do vidro\n(image)[image-15. jpg]\n\n Essa indústria recebeu a encomenda de uma malha de proteção solar para ser aplicada em um vidro retangular de 5 m de largura por 9 m de comprimento.\n\nA medida de $d$, em milímetros, para que a taxa de cobertura da malha seja de 75% é [] A [(A) 2, (B) 1, (C) 11/3, (D) 4/3, (E) 2/3] yes portuguese high math math 2015 None None
454 A insulina é utilizada no tratamento de pacientes com diabetes para o controle glicêmico. Para facilitar sua aplicação, foi desenvolvida uma "caneta" na qual pode ser inserido um refil contendo 3 mL de insulina, como mostra a imagem. \n(image)[image-16. jpg]\n\n Para controle das aplicações, definiu-se a unidade de insulina como 0,01 mL. Antes de cada aplicação, é necessário descartar 2 unidades de insulina, de forma a retirar possíveis bolhas de ar. \n A um paciente foram prescritas duas aplicações diárias: 10 unidades de insulina pela manhã e 10 à noite. \n\nQual o número máximo de aplicações por refil que o paciente poderá utilizar com a dosagem prescrita? [] A [(A) 25, (B) 15, (C) 13, (D) 12, (E) 8] yes portuguese high math math 2015 None None
455 Uma família composta por sete pessoas adultas, após decidir o itinerário de sua viagem, consultou o site de uma empresa aérea e constatou que o voo para a data escolhida estava quase lotado. Na figura, disponibilizada pelo site, as poltronas ocupadas estão marcadas com X e as únicas poltronas disponíveis são as mostradas em branco. \n(image)[image-17. jpg]\nDisponível em: [www.gebh.net](https://vscode-remote+ssh-002dremote-002bjltgpu3.vscode-resource.vscode-cdn.net/ltstorage/home/7schneid/gitrepos/muhark-llava-fidelity/datasets/www.gebh.net). Acesso em: 30 out. 2013 (adaptado).\n\nO número de formas distintas de se acomodar a família nesse voo é calculado por [] A [(A) $\frac{9!}{2!}$, (B) $\frac{9!}{7! × 2!}$, (C) $7!$, (D) $\frac{5!}{2!} × 4!$, (E) $\frac{5!}{4!} × \frac{4!}{3!}$] yes portuguese high math math 2015 None None
456 O proprietário de um parque aquático deseja construir uma piscina em suas dependências. A figura representa a vista superior dessa piscina, que é formada por três setores circulares idênticos, com ângulo central igual a 60°. O raio $R$ deve ser um número natural. \n(image)[image-18. jpg]\n\n O parque aquático já conta com uma piscina em formato retangular com dimensões 50 m × 24 m. \n O proprietário quer que a área ocupada pela nova piscina seja menor que a ocupada pela piscina já existente. \n Considere 3,0 como aproximação para π. \n\nO maior valor possível para $R$, em metros, deverá ser [] B [(A) 16, (B) 28, (C) 29, (D) 31, (E) 49] yes portuguese high math math 2015 None None
457 Uma família fez uma festa de aniversário e enfeitou o local da festa com bandeirinhas de papel. Essas bandeirinhas foram feitas da seguinte maneira: inicialmente, recortaram as folhas de papel em forma de quadrado, como mostra a Figura 1. Em seguida, dobraram as folhas quadradas ao meio sobrepondo os lados $BC$ e $AD$, de modo que $C$ e $D$ coincidam, e o mesmo ocorra com $A$ e $B$, conforme ilustrado na Figura 2. Marcaram os pontos médios $O$ e $N$, dos lados $FG$ e $AF$, respectivamente, e o ponto $M$ do lado $AD$, de modo que $AM$ seja igual a um quarto de $AD$. A seguir, fizeram cortes sobre as linhas pontilhadas ao longo da folha dobrada. \n(image)[image-19. jpg]\n\n Após os cortes, a folha é aberta e a bandeirinha está pronta. \n\nA figura que representa a forma da bandeirinha pronta é [] E [(A) (image)[image-20. jpg], (B) (image)[image-21. jpg], (C) (image)[image-22. jpg], (D) (image)[image-23. jpg], (E) (image)[image-24jpg]] yes portuguese high math math 2015 None None
458 O polímero de PET (Politereftalato de Etileno) é um dos plásticos mais reciclados em todo o mundo devido à sua extensa gama de aplicações, entre elas, fibras têxteis, tapetes, embalagens, filmes e cordas. Os gráficos mostram o destino do PET reciclado no Brasil, sendo que, no ano de 2010, o total de PET reciclado foi de 282 kton (quilotoneladas). \n(image)[image-25. jpg]\n\nDe acordo com os gráficos, a quantidade de embalagens PET recicladas destinadas à produção de tecidos e malhas, em kton, é mais aproximada de [] C [(A) 16,0., (B) 22,9., (C) 32,0., (D) 84,6., (E) 106,6.] yes portuguese high math math 2015 None None
459 Devido ao aumento do fluxo de passageiros, uma empresa de transporte coletivo urbano está fazendo estudos para a implantação de um novo ponto de parada em uma determinada rota. A figura mostra o percurso, indicado pelas setas, realizado por um ônibus nessa rota e a localização de dois de seus atuais pontos de parada, representados por $P$ e $Q$. \n(image)[image-27. jpg]\n\n Os estudos indicam que o novo ponto $T$ deverá ser instalado, nesse percurso, entre as paradas já existentes $P$ e $Q$, de modo que as distâncias percorridas pelo ônibus entre os pontos $P$ e $T$ e entre os pontos $T$ e $Q$ sejam iguais. \n\nDe acordo com os dados, as coordenadas do novo ponto de parada são [] E [(A) (290 ; 20)., (B) (410 ; 0)., (C) (410 ; 20)., (D) (440 ; 0)., (E) (440 ; 20).] yes portuguese high math math 2015 None None
460 A figura representa a vista superior de uma bola de futebol americano, cuja forma é um elipsoide obtido pela rotação de uma elipse em torno do eixo das abscissas. Os valores a e $b$ são, respectivamente, a metade do seu comprimento horizontal e a metade do seu comprimento vertical. Para essa bola, a diferença entre os comprimentos horizontal e vertical é igual à metade do comprimento vertical. \n(image)[image-29. jpg]\n\n Considere que o volume aproximado dessa bola é dado por $V = 4ab^{2}$. \n\nO volume dessa bola, em função apenas de b, é dado por [] B [(A) $8b^{3}$, (B) $6b^{3}$, (C) $5b^{3}$, (D) $4b^{3}$, (E) $2b^{3}$] yes portuguese high math math 2015 None None
461 Após realizar uma pesquisa de mercado, uma operadora de telefonia celular ofereceu aos clientes que utilizavam até 500 ligações ao mês o seguinte plano mensal: um valor fixo de R$ 12,00 para os clientes que fazem até 100 ligações ao mês. Caso o cliente faça mais de 100 ligações, será cobrado um valor adicional de R$ 0,10 por ligação, a partir da 101ª até a 300ª; e caso realize entre 300 e 500 ligações, será cobrado um valor fixo mensal de R$ 32,00. \n\nCom base nos elementos apresentados, o gráfico que melhor representa a relação entre o valor mensal pago nesse plano e o número de ligações feitas é: [] B [(A) (image)[image-30. jpg], (B) (image)[image-31. jpg], (C) (image)[image-32. jpg], (D) (image)[image-33. jpg], (E) (image)[image-34. jpg]] yes portuguese high math math 2015 None None