• תיאור :

מערך הנתונים Diversity in Conversational AI Evaluation for Safety ( DICES ).

גישות למידת מכונה מאומנות ומוערכות לעתים קרובות עם מערכי נתונים הדורשים הפרדה ברורה בין דוגמאות חיוביות ושליליות. גישה זו מפשטת יתר על המידה את הסובייקטיביות הטבעית הקיימת במשימות ובפריטי תוכן רבים. הוא גם מטשטש את הגיוון המובנה בתפיסות ובדעות האנושיות. לעתים קרובות משימות המנסות לשמר את השונות בתוכן ובמגוון בבני אדם הן די יקרות ומייגעות. כדי להשלים את הפער הזה ולאפשר ניתוחי ביצועים מעמיקים יותר של מודלים, אנו מציעים את מערך הנתונים של DICES - מערך נתונים ייחודי עם נקודות מבט מגוונות על הבטיחות של שיחות שנוצרו על ידי AI. אנו מתמקדים במשימה של הערכת בטיחות של מערכות בינה מלאכותית שיחה. מערך הנתונים של DICES מכיל מידע דמוגרפי מפורט על כל מדרג, שכפול גבוה במיוחד של דירוגים ייחודיים לשיחה כדי להבטיח מובהקות סטטיסטית של ניתוחים נוספים ומקודד הצבעות המדרגים כהפצות על פני דמוגרפיה שונות כדי לאפשר חקירה מעמיקה של אסטרטגיות צבירת דירוג שונות.

מערך נתונים זה מתאים היטב לצפייה ולמדוד שונות, עמימות וגיוון בהקשר של בטיחות של AI שיחה. מערך הנתונים מלווה במאמר המתאר קבוצה של מדדים המראים כיצד מגוון המדרגים משפיע על תפיסת הבטיחות של המדרגים מאזורים גיאוגרפיים שונים, קבוצות אתניות, קבוצות גיל ומגדרים. המטרה של מערך הנתונים של DICES היא לשמש כמדד משותף להערכת בטיחות של מערכות בינה מלאכותית לשיחה.

אזהרת תוכן : מערך נתונים זה מכיל דוגמאות יריבות לשיחות שעלולות להיות פוגעניות.

• דף הבית : https://github.com/google-research-datasets/dices-dataset

• קוד מקור : tfds.datasets.dices.Builder

• גרסאות :

  • 1.0.0 (ברירת מחדל): שחרור ראשוני.

• מפתחות בפיקוח (ראה as_supervised doc ): None

• איור ( tfds.show_examples ): לא נתמך.

• ציטוט :

@article{aroyo2024dices,
  title={ {DICES} dataset: Diversity in conversational {AI} evaluation for safety},
  author={Aroyo, Lora and Taylor, Alex and Diaz, Mark and Homan, Christopher and Parrish, Alicia and Serapio-Garc{\'\i}a, Gregory and Prabhakaran, Vinodkumar and Wang, Ding},
  journal={Advances in Neural Information Processing Systems},
  volume={36},
  year={2024}
}

קוביות/350 (תצורת ברירת מחדל)

• תיאור תצורה : ערכת נתונים 350 מכילה 350 שיחות שדורגו על ידי מאגר מדרגים מגוון של 123 מדרגים ייחודיים. כל שיחה מדורגת עם חמש קטגוריות בטיחות ברמה העליונה ושאלת הבנה כוללת אחת של השיחה. המדרגים שגויסו היו מאוזנים לפי מגדר (גבר או אישה), גזע/אתניות (לבן, שחור, לטינית, אסיה, רב גזעי) וכל מדורג דירג את כל הפריטים. כל מדרג דירג את כל השיחות. לכל שיחה יש 123 דירוגים ייחודיים. המספר הכולל של שורות במערך נתונים זה הוא 43050.

• גודל הורדה : 29.70 MiB

• גודל מערך נתונים : 74.43 MiB

• שמור אוטומטי במטמון ( תיעוד ): כן

• פיצולים :

• מבנה תכונה :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_dangerous_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_derogation_of_boat': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_insensitive': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_medical_legal_financial_or_relationship_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscene_and_profane': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_sexually_suggestive_content': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_beliefs': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_gender_sexual_orientation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_inherited_attributes': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_targeting_status': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q5_political_affiliation': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_making_endorsement': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q6_policy_guidelines_polarizing_topics': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'answer_time_ms': Scalar(shape=(), dtype=int64),
    'answer_timestamp': Scalar(shape=(), dtype=int64),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64),
    'item_id': Scalar(shape=(), dtype=int64),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
    'safety_gold': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'safety_gold_reason': Text(shape=(), dtype=string),
})

• תיעוד תכונה :

• דוגמאות ( tfds.as_dataframe ):

קוביות/990

• תיאור תצורה : ערכת נתונים 990 מכילה 990 שיחות שדורגו על ידי מאגר מדרגים מגוון של 173 מדרגים ייחודיים. כל שיחה מדורגת עם שלוש קטגוריות בטיחות ברמה העליונה ושאלת הבנת שיחה כוללת אחת. המדרגים גויסו כך שמספר המדרגים לכל שיחה היה מאוזן לפי מגדר (גבר, אישה) ומקום (ארה"ב, הודו). כל מדרג דירג רק מדגם מהשיחה. לכל שיחה יש 60-70 דירוגים ייחודיים. המספר הכולל של שורות במערך נתונים זה הוא 72103.

• גודל הורדה : 48.06 MiB

• גודל מערך נתונים : 150.38 MiB

• שמור אוטומטי במטמון ( תיעוד ): רק כאשר shuffle_files=False (רכבת)

• פיצולים :

• מבנה תכונה :

FeaturesDict({
    'Q1_whole_conversation_evaluation': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'Q2_harmful_content_explicitly_sexual': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_financial_advice': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_harm_to_people_or_animals': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_health_and_safety_claims': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_how_tos_about_harmful_activities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_obscenities_or_profanities': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_personal_information': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_use_of_harmful_regulated_goods': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_promotes_or_condones_violence': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q2_harmful_content_violent_or_gory': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_3_Racial_religious_or_other_slurs_and_stereotypes_that_incites_or_promote_hatred_based_on_any_of_the_attributes_noted_above': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_calling_individuals_or_groups_evil_corrupt_or_malicious': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_incites_hatred': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_insults_about_emotional_romantic_and_or_sexual_attraction': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_physically_or_mentally_inferior': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_subhuman_comparisons': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_bias_superiority_or_subjugation_of_a_group': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q3_unfair_bias_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_conspiracy_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_contradicts_expert_consensus': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_false_theories': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_other': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q4_misinformation_political': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'Q_overall': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'context': Text(shape=(), dtype=string),
    'degree_of_harm': ClassLabel(shape=(), dtype=int64, num_classes=5),
    'harm_type': Sequence(ClassLabel(shape=(), dtype=int64, num_classes=32)),
    'id': Scalar(shape=(), dtype=int64),
    'item_id': Scalar(shape=(), dtype=int64),
    'phase': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_age': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_education': ClassLabel(shape=(), dtype=int64, num_classes=3),
    'rater_gender': ClassLabel(shape=(), dtype=int64, num_classes=4),
    'rater_id': Scalar(shape=(), dtype=int64),
    'rater_locale': ClassLabel(shape=(), dtype=int64, num_classes=2),
    'rater_race': ClassLabel(shape=(), dtype=int64, num_classes=6),
    'rater_raw_race': Text(shape=(), dtype=string),
    'response': Text(shape=(), dtype=string),
})

• תיעוד תכונה :

• דוגמאות ( tfds.as_dataframe ):