গিগাওয়ার্ড

  • বর্ণনা :

প্রায় 4 মিলিয়ন নিবন্ধ সমন্বিত Gigaword থেকে নিবন্ধ জোড়ার একটি কর্পাসের শিরোনাম-প্রজন্ম। https://github.com/microsoft/unilm/ দ্বারা প্রদত্ত 'org_data' ব্যবহার করুন যা https://github.com/harvardnlp/sent-summary- এর সাথে অভিন্ন কিন্তু আরও ভাল বিন্যাস সহ।

দুটি বৈশিষ্ট্য আছে: - নথি: নিবন্ধ. - সারাংশ: শিরোনাম।

বিভক্ত উদাহরণ
'test' 1,951
'train' 3,803,957
'validation' 189,651
  • বৈশিষ্ট্য গঠন :
FeaturesDict({
    'document': Text(shape=(), dtype=string),
    'summary': Text(shape=(), dtype=string),
})
  • বৈশিষ্ট্য ডকুমেন্টেশন :
বৈশিষ্ট্য ক্লাস আকৃতি ডিটাইপ বর্ণনা
ফিচারসডিক্ট
নথি পাঠ্য স্ট্রিং
সারসংক্ষেপ পাঠ্য স্ট্রিং
  • উদ্ধৃতি :
@article{graff2003english,
  title={English gigaword},
  author={Graff, David and Kong, Junbo and Chen, Ke and Maeda, Kazuaki},
  journal={Linguistic Data Consortium, Philadelphia},
  volume={4},
  number={1},
  pages={34},
  year={2003}
}

@article{Rush_2015,
   title={A Neural Attention Model for Abstractive Sentence Summarization},
   url={http://dx.doi.org/10.18653/v1/D15-1044},
   DOI={10.18653/v1/d15-1044},
   journal={Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing},
   publisher={Association for Computational Linguistics},
   author={Rush, Alexander M. and Chopra, Sumit and Weston, Jason},
   year={2015}
}