wiki_auto

• توضیحات :

WikiAuto مجموعه ای از جملات تراز شده را از ویکی پدیای انگلیسی و ویکی پدیای انگلیسی ساده به عنوان منبعی برای آموزش سیستم های ساده سازی جمله ارائه می دهد. نویسندگان ابتدا مجموعه‌ای از هم‌ترازی‌های دستی بین جملات را در زیرمجموعه‌ای از ویکی‌پدیای ساده انگلیسی و نسخه‌های متناظر آن‌ها در ویکی‌پدیای انگلیسی (که با پیکربندی manual مطابقت دارد) جمع‌آوری کردند، سپس یک سیستم CRF عصبی را برای پیش‌بینی این هم‌ترازی‌ها آموزش دادند. سپس مدل آموزش‌دیده شده برای سایر مقالات در ویکی‌پدیای ساده انگلیسی با همتای انگلیسی برای ایجاد مجموعه بزرگ‌تری از جملات تراز شده (مرتبط با تنظیمات auto ، auto_acl ، auto_full_no_split ، و auto_full_with_split در اینجا) اعمال شد.

• صفحه اصلی : https://github.com/chaojiang06/wiki-auto

• کد منبع : tfds.text_simplification.wiki_auto.WikiAuto

• نسخه ها :

  • 1.0.0 (پیش فرض): انتشار اولیه.

• کلیدهای نظارت شده (به as_supervised doc مراجعه کنید): None

• شکل ( tfds.show_examples ): پشتیبانی نمی شود.

• نقل قول :

@inproceedings{acl/JiangMLZX20,
  author    = {Chao Jiang and
               Mounica Maddela and
               Wuwei Lan and
               Yang Zhong and
               Wei Xu},
  editor    = {Dan Jurafsky and
               Joyce Chai and
               Natalie Schluter and
               Joel R. Tetreault},
  title     = {Neural {CRF} Model for Sentence Alignment in Text Simplification},
  booktitle = {Proceedings of the 58th Annual Meeting of the Association for Computational
               Linguistics, {ACL} 2020, Online, July 5-10, 2020},
  pages     = {7943--7960},
  publisher = {Association for Computational Linguistics},
  year      = {2020},
  url       = {https://www.aclweb.org/anthology/2020.acl-main.709/}
}

wiki_auto/manual (پیکربندی پیش‌فرض)

• توضیحات پیکربندی : مجموعه‌ای از 10 هزار جفت جملات ویکی‌پدیا که توسط کارگران جمعی تراز شده‌اند.

• حجم دانلود : 53.47 MiB

• حجم مجموعه داده : 76.87 MiB

• ذخیره خودکار ( اسناد ): بله

• تقسیم ها :

• ساختار ویژگی :

FeaturesDict({
    'GLEU-score': float64,
    'alignment_label': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'normal_sentence': Text(shape=(), dtype=string),
    'normal_sentence_id': Text(shape=(), dtype=string),
    'simple_sentence': Text(shape=(), dtype=string),
    'simple_sentence_id': Text(shape=(), dtype=string),
})

• مستندات ویژگی :

• مثال‌ها ( tfds.as_dataframe ):

wiki_auto/auto_acl

• شرح پیکربندی : جفت‌های جمله برای آموزش سیستم ACL2020 تراز شده‌اند.

• حجم دانلود : 112.60 MiB

• حجم مجموعه داده : 138.83 MiB

• ذخیره خودکار ( مستندات ): فقط زمانی که shuffle_files=False (کامل)

• تقسیم ها :

• ساختار ویژگی :

FeaturesDict({
    'normal_sentence': Text(shape=(), dtype=string),
    'simple_sentence': Text(shape=(), dtype=string),
})

• مستندات ویژگی :

• مثال‌ها ( tfds.as_dataframe ):

wiki_auto/auto_full_no_split

• توضیحات پیکربندی : همه جفت‌های جملات به‌طور خودکار بدون تقسیم جمله‌ها تراز شده‌اند.

• حجم دانلود : 135.02 MiB

• حجم مجموعه داده : 166.78 MiB

• ذخیره خودکار ( مستندات ): فقط زمانی که shuffle_files=False (کامل)

• تقسیم ها :

• ساختار ویژگی :

FeaturesDict({
    'normal_sentence': Text(shape=(), dtype=string),
    'simple_sentence': Text(shape=(), dtype=string),
})

• مستندات ویژگی :

• مثال‌ها ( tfds.as_dataframe ):

wiki_auto/auto_full_with_split

• توضیحات پیکربندی : همه جفت‌های جملاتی که به‌طور خودکار با تقسیم جمله‌ها تراز شده‌اند.

• حجم دانلود : 115.09 MiB

• حجم مجموعه داده : 141.20 MiB

• ذخیره خودکار ( مستندات ): فقط زمانی که shuffle_files=False (کامل)

• تقسیم ها :

• ساختار ویژگی :

FeaturesDict({
    'normal_sentence': Text(shape=(), dtype=string),
    'simple_sentence': Text(shape=(), dtype=string),
})

• مستندات ویژگی :

• مثال‌ها ( tfds.as_dataframe ):

wiki_auto/auto

• توضیحات پیکربندی : مجموعه بزرگی از جفت‌های جملاتی که به‌طور خودکار تراز شده‌اند.

• حجم دانلود : 2.01 GiB

• حجم مجموعه داده : 1.76 GiB

• ذخیره خودکار ( اسناد ): خیر

• تقسیم ها :

• ساختار ویژگی :

FeaturesDict({
    'example_id': Text(shape=(), dtype=string),
    'normal': FeaturesDict({
        'normal_article_content': Sequence({
            'normal_sentence': Text(shape=(), dtype=string),
            'normal_sentence_id': Text(shape=(), dtype=string),
        }),
        'normal_article_id': int32,
        'normal_article_title': Text(shape=(), dtype=string),
        'normal_article_url': Text(shape=(), dtype=string),
    }),
    'paragraph_alignment': Sequence({
        'normal_paragraph_id': Text(shape=(), dtype=string),
        'simple_paragraph_id': Text(shape=(), dtype=string),
    }),
    'sentence_alignment': Sequence({
        'normal_sentence_id': Text(shape=(), dtype=string),
        'simple_sentence_id': Text(shape=(), dtype=string),
    }),
    'simple': FeaturesDict({
        'simple_article_content': Sequence({
            'simple_sentence': Text(shape=(), dtype=string),
            'simple_sentence_id': Text(shape=(), dtype=string),
        }),
        'simple_article_id': int32,
        'simple_article_title': Text(shape=(), dtype=string),
        'simple_article_url': Text(shape=(), dtype=string),
    }),
})

• مستندات ویژگی :

• مثال‌ها ( tfds.as_dataframe ):