test_run_requested_experiment broken
jonathanmetzman opened this issue · comments
I think it's been caused by adding new benchmarks:
________________________ test_run_requested_experiment _________________________
mocked_get_requested_experiments = <MagicMock name='_get_requested_experiments' id='139921214692016'>
mocked_start_experiment = <MagicMock name='start_experiment' id='139921177146032'>
db = None
@mock.patch('experiment.run_experiment.start_experiment')
@mock.patch('service.automatic_run_experiment._get_requested_experiments')
def test_run_requested_experiment(mocked_get_requested_experiments,
mocked_start_experiment, db):
"""Tests that run_requested_experiment starts and stops the experiment
properly."""
mocked_get_requested_experiments.return_value = EXPERIMENT_REQUESTS
expected_experiment_name = '2020-06-05'
expected_fuzzers = ['honggfuzz', 'afl']
automatic_run_experiment.run_requested_experiment(dry_run=False)
expected_config_file = os.path.join(utils.ROOT_DIR, 'service',
'experiment-config.yaml')
expected_benchmarks = sorted([
'arduinojson_json_fuzzer',
'assimp_assimp_fuzzer',
'astc-encoder_fuzz_astc_physical_to_symbolic',
'bloaty_fuzz_target',
'botan_tls_server',
'brotli_decode_fuzzer',
'curl_curl_fuzzer_http',
'double-conversion_string_to_double_fuzzer',
'draco_draco_pc_decoder_fuzzer',
'dropbear_fuzzer-postauth_nomaths',
'firestore_firestore_serializer_fuzzer',
'fmt_chrono-duration-fuzzer',
'guetzli_guetzli_fuzzer',
'icu_unicode_string_codepage_create_fuzzer',
'jansson_json_load_dump_fuzzer',
'jsoncpp_jsoncpp_fuzzer',
'libpcap_fuzz_both',
'libpcap_fuzz_filter_98b0a2',
'libxslt_xpath',
'mbedtls_fuzz_dtlsclient',
'openssl_x509',
'sqlite3_ossfuzz',
'systemd_fuzz-link-parser',
'systemd_fuzz-network-parser_288baf',
'zlib_zlib_uncompress_fuzzer',
'freetype2_ftfuzzer',
'harfbuzz_hb-shape-fuzzer',
'lcms_cms_transform_fuzzer',
'lcms_cms_transform_all_fuzzer_97d37d',
'libaom_av1_dec_fuzzer',
'libcoap_pdu_parse_fuzzer',
'libhevc_hevc_dec_fuzzer',
'libjpeg-turbo_libjpeg_turbo_fuzzer',
'libpng_libpng_read_fuzzer',
'librdkafka_fuzz_regex',
'libxml2_xml',
'openh264_decoder_fuzzer',
'openthread_ot-ip6-send-fuzzer',
'proj4_proj_crs_to_crs_fuzzer',
're2_fuzzer',
'stb_stbi_read_fuzzer',
'vorbis_decode_fuzzer',
'woff2_convert_woff2ttf_fuzzer',
])
expected_call = mock.call(
expected_experiment_name,
expected_config_file,
expected_benchmarks,
expected_fuzzers,
description='Test experiment',
concurrent_builds=(automatic_run_experiment.CONCURRENT_BUILDS),
oss_fuzz_corpus=True)
start_experiment_call_args = mocked_start_experiment.call_args_list
assert len(start_experiment_call_args) == 1
start_experiment_call_args = start_experiment_call_args[0]
> assert start_experiment_call_args == expected_call
E AssertionError: assert call('2020-06-05', '/home/runner/work/fuzzbench/fuzzbench/service/experiment-config.yaml', ['arduinojson_json_fuzzer', 'assimp_assimp_fuzzer', 'astc-encoder_fuzz_astc_physical_to_symbolic', 'bloaty_fuzz_target', 'botan_tls_server', 'brotli_decode_fuzzer', 'curl_curl_fuzzer_http', 'double-conversion_string_to_double_fuzzer', 'draco_draco_pc_decoder_fuzzer', 'dropbear_fuzzer-postauth_nomaths', 'firestore_firestore_serializer_fuzzer', 'fmt_chrono-duration-fuzzer', 'freetype2_ftfuzzer', 'guetzli_guetzli_fuzzer', 'harfbuzz_hb-shape-fuzzer', 'icu_unicode_string_codepage_create_fuzzer', 'jansson_json_load_dump_fuzzer', 'jsoncpp_jsoncpp_fuzzer', 'lcms_cms_transform_fuzzer', 'libaom_av1_dec_fuzzer', 'libcoap_pdu_parse_fuzzer', 'libhevc_hevc_dec_fuzzer', 'libjpeg-turbo_libjpeg_turbo_fuzzer', 'libpcap_fuzz_both', 'libpng_libpng_read_fuzzer', 'librdkafka_fuzz_regex', 'libxml2_xml', 'libxslt_xpath', 'mbedtls_fuzz_dtlsclient', 'openh264_decoder_fuzzer', 'openssl_x509', 'openthread_ot-ip6-send-fuzzer', 'proj4_proj_crs_to_crs_fuzzer', 're2_fuzzer', 'sqlite3_ossfuzz', 'stb_stbi_read_fuzzer', 'systemd_fuzz-link-parser', 'vorbis_decode_fuzzer', 'woff2_convert_woff2ttf_fuzzer', 'zlib_zlib_uncompress_fuzzer'], ['honggfuzz', 'afl'], description='Test experiment', concurrent_builds=30, oss_fuzz_corpus=True) == call('2020-06-05', '/home/runner/work/fuzzbench/fuzzbench/service/experiment-config.yaml', ['arduinojson_json_fuzzer', 'assimp_assimp_fuzzer', 'astc-encoder_fuzz_astc_physical_to_symbolic', 'bloaty_fuzz_target', 'botan_tls_server', 'brotli_decode_fuzzer', 'curl_curl_fuzzer_http', 'double-conversion_string_to_double_fuzzer', 'draco_draco_pc_decoder_fuzzer', 'dropbear_fuzzer-postauth_nomaths', 'firestore_firestore_serializer_fuzzer', 'fmt_chrono-duration-fuzzer', 'freetype2_ftfuzzer', 'guetzli_guetzli_fuzzer', 'harfbuzz_hb-shape-fuzzer', 'icu_unicode_string_codepage_create_fuzzer', 'jansson_json_load_dump_fuzzer', 'jsoncpp_jsoncpp_fuzzer', 'lcms_cms_transform_all_fuzzer_97d37d', 'lcms_cms_transform_fuzzer', 'libaom_av1_dec_fuzzer', 'libcoap_pdu_parse_fuzzer', 'libhevc_hevc_dec_fuzzer', 'libjpeg-turbo_libjpeg_turbo_fuzzer', 'libpcap_fuzz_both', 'libpcap_fuzz_filter_98b0a2', 'libpng_libpng_read_fuzzer', 'librdkafka_fuzz_regex', 'libxml2_xml', 'libxslt_xpath', 'mbedtls_fuzz_dtlsclient', 'openh264_decoder_fuzzer', 'openssl_x509', 'openthread_ot-ip6-send-fuzzer', 'proj4_proj_crs_to_crs_fuzzer', 're2_fuzzer', 'sqlite3_ossfuzz', 'stb_stbi_read_fuzzer', 'systemd_fuzz-link-parser', 'systemd_fuzz-network-parser_288baf', 'vorbis_decode_fuzzer', 'woff2_convert_woff2ttf_fuzzer', 'zlib_zlib_uncompress_fuzzer'], ['honggfuzz', 'afl'], description='Test experiment', concurrent_builds=30, oss_fuzz_corpus=True)
E Full diff:
E - call('2020-06-05', '/home/runner/work/fuzzbench/fuzzbench/service/experiment-config.yaml', ['arduinojson_json_fuzzer', 'assimp_assimp_fuzzer', 'astc-encoder_fuzz_astc_physical_to_symbolic', 'bloaty_fuzz_target', 'botan_tls_server', 'brotli_decode_fuzzer', 'curl_curl_fuzzer_http', 'double-conversion_string_to_double_fuzzer', 'draco_draco_pc_decoder_fuzzer', 'dropbear_fuzzer-postauth_nomaths', 'firestore_firestore_serializer_fuzzer', 'fmt_chrono-duration-fuzzer', 'freetype2_ftfuzzer', 'guetzli_guetzli_fuzzer', 'harfbuzz_hb-shape-fuzzer', 'icu_unicode_string_codepage_create_fuzzer', 'jansson_json_load_dump_fuzzer', 'jsoncpp_jsoncpp_fuzzer', 'lcms_cms_transform_all_fuzzer_97d37d', 'lcms_cms_transform_fuzzer', 'libaom_av1_dec_fuzzer', 'libcoap_pdu_parse_fuzzer', 'libhevc_hevc_dec_fuzzer', 'libjpeg-turbo_libjpeg_turbo_fuzzer', 'libpcap_fuzz_both', 'libpcap_fuzz_filter_98b0a2', 'libpng_libpng_read_fuzzer', 'librdkafka_fuzz_regex', 'libxml2_xml', 'libxslt_xpath', 'mbedtls_fuzz_dtlsclient', 'openh264_decoder_fuzzer', 'openssl_x509', 'openthread_ot-ip6-send-fuzzer', 'proj4_proj_crs_to_crs_fuzzer', 're2_fuzzer', 'sqlite3_ossfuzz', 'stb_stbi_read_fuzzer', 'systemd_fuzz-link-parser', 'systemd_fuzz-network-parser_288baf', 'vorbis_decode_fuzzer', 'woff2_convert_woff2ttf_fuzzer', 'zlib_zlib_uncompress_fuzzer'], ['honggfuzz', 'afl'], description='Test experiment', concurrent_builds=30, oss_fuzz_corpus=True)
E ? ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^ ^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^ ^^^^^^^^^^ ^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^
E + call('2020-06-05', '/home/runner/work/fuzzbench/fuzzbench/service/experiment-config.yaml', ['arduinojson_json_fuzzer', 'assimp_assimp_fuzzer', 'astc-encoder_fuzz_astc_physical_to_symbolic', 'bloaty_fuzz_target', 'botan_tls_server', 'brotli_decode_fuzzer', 'curl_curl_fuzzer_http', 'double-conversion_string_to_double_fuzzer', 'draco_draco_pc_decoder_fuzzer', 'dropbear_fuzzer-postauth_nomaths', 'firestore_firestore_serializer_fuzzer', 'fmt_chrono-duration-fuzzer', 'freetype2_ftfuzzer', 'guetzli_guetzli_fuzzer', 'harfbuzz_hb-shape-fuzzer', 'icu_unicode_string_codepage_create_fuzzer', 'jansson_json_load_dump_fuzzer', 'jsoncpp_jsoncpp_fuzzer', 'lcms_cms_transform_fuzzer', 'libaom_av1_dec_fuzzer', 'libcoap_pdu_parse_fuzzer', 'libhevc_hevc_dec_fuzzer', 'libjpeg-turbo_libjpeg_turbo_fuzzer', 'libpcap_fuzz_both', 'libpng_libpng_read_fuzzer', 'librdkafka_fuzz_regex', 'libxml2_xml', 'libxslt_xpath', 'mbedtls_fuzz_dtlsclient', 'openh264_decoder_fuzzer', 'openssl_x509', 'openthread_ot-ip6-send-fuzzer', 'proj4_proj_crs_to_crs_fuzzer', 're2_fuzzer', 'sqlite3_ossfuzz', 'stb_stbi_read_fuzzer', 'systemd_fuzz-link-parser', 'vorbis_decode_fuzzer', 'woff2_convert_woff2ttf_fuzzer', 'zlib_zlib_uncompress_fuzzer'], ['honggfuzz', 'afl'], description='Test experiment', concurrent_builds=30, oss_fuzz_corpus=True)
E ? ^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^ ^^^^ ^^^ ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ^^^^^^^^^^^^^^^^^^^^^^^^ ^^ ^^^^ ^^^^ ^^^^^^^^^^^^
service/test_automatic_run_experiment.py:130: AssertionError