支持lance数据格式

[yaogang2060]

Checklist / 检查清单

• I have searched existing issues, and this is a new bug report. / 我已经搜索过现有的 issues，确认这是一个新的 bug report。

Bug Description / Bug 描述

https://github.com/modelscope/twinkle/blob/main/src/twinkle/dataset/base.py#L131
这里如果设置为load_dataset(dataset_id)可以导入lance格式的数据，使用最新版本的datasets。

How to Reproduce / 如何复现

安装lance
uv pip install pylance uv pip install --upgrade datasets

创建一个lance数据集
`import lance
import pyarrow as pa

table = pa.Table.from_pylist([{"name": "Alice", "age": 20},
{"name": "Bob", "age": 30}])
ds = lance.write_dataset(table, "./alice_and_bob.lance")
`

dataset_path="./alice_and_bob.lance" dataset = Dataset(DatasetMeta(dataset_id=dataset_path)

Additional Information / 补充信息

No response

[tastelikefeet]

从官方文档来看：https://huggingface.co/docs/hub/datasets-lance
给了从hub中加载lance数据的代码，但本地如何加载lance则没有给出。有无本地加载的示例代码可以参考？

[yaogang2060]

这样就可以，

import datasets
dataset_path="./alice_and_bob.lance"
dataset1 = datasets.load_dataset(dataset_path))
dataset2 = datasets.load_dataset("lance", data_dir=dataset_path))

[tastelikefeet]

这样就可以，

import datasets
dataset_path="./alice_and_bob.lance"
dataset1 = datasets.load_dataset(dataset_path))
dataset2 = datasets.load_dataset("lance", data_dir=dataset_path))

我看看

[tastelikefeet]

Fixed by #108