Is there an easier way to query a dataset via duckdb?

Beginners
1

Hi,
I’m testing some duckdb query on this dataset:
https://huggingface.co/datasets/aborruso/open_cup_complessivo

Below a sample query and the output. It works great.

Is there an easier way to build it, without listing, for example, all the parquet files from which it is composed? Can wildcards be used?

Thank you

duckdb -c "
SELECT
    CODICE_NATURA_INTERVENTO,
    NATURA_INTERVENTO,
    COUNT(*) AS conteggio
FROM 
    read_parquet(
        list_transform(
            generate_series(0, 19), 
            n -> 'hf://datasets/aborruso/open_cup_complessivo/opencup.parquet/data_' || n || '.parquet' 
        )
    )
GROUP BY
    CODICE_NATURA_INTERVENTO,
    NATURA_INTERVENTO
ORDER BY
    conteggio DESC;
"

┌──────────────────────┬─────────────────────────────────────────────────────────────────────────────────────────────────────┬───────────┐
│ CODICE_NATURA_INTE…  │                                          NATURA_INTERVENTO                                          │ conteggio │
│       varchar        │                                               varchar                                               │   int64   │
├──────────────────────┼─────────────────────────────────────────────────────────────────────────────────────────────────────┼───────────┤
│ 07                   │ CONCESSIONE DI INCENTIVI AD UNITA' PRODUTTIVE                                                       │  15941069 │
│ 02                   │ ACQUISTO O REALIZZAZIONE DI SERVIZI                                                                 │   2649987 │
│ 06                   │ CONCESSIONE DI CONTRIBUTI AD ALTRI SOGGETTI (DIVERSI DA UNITA' PRODUTTIVE)                          │   2419348 │
│ 03                   │ REALIZZAZIONE DI LAVORI PUBBLICI (OPERE ED IMPIANTISTICA)                                           │   2136547 │
│ 01                   │ ACQUISTO DI BENI                                                                                    │    493804 │
│ 08                   │ SOTTOSCRIZIONE INIZIALE O AUMENTO DI CAPITALE SOCIALE (COMPRESI SPIN OFF), FONDI DI RISCHIO O DI …  │      3699 │
└──────────────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────┴───────────┘
2 Likes
2

Yes,
I can use wildcards:

duckdb -c "
SELECT
    CODICE_NATURA_INTERVENTO,
    NATURA_INTERVENTO,
    COUNT(*) AS conteggio
FROM 'hf://datasets/aborruso/open_cup_complessivo/opencup.parquet/data_*.parquet'
GROUP BY
    CODICE_NATURA_INTERVENTO,
    NATURA_INTERVENTO
ORDER BY
    conteggio DESC;
"
1 Like
3

This topic was automatically closed 12 hours after the last reply. New replies are no longer allowed.