سيك تو سيك
سيك تو سيك، بالانجليزية Seq2seq هي عائلة من مناهج التعلم الآلي المستخدمة في معالجة اللغة الطبيعية.[1] تتضمن تطبيقات ترجمة اللغة وإضافة تعليق للصور ونماذج المحادثة وتلخيص النصوص.[2]
تاريخ[عدل]
تم اقتراح الخوارزمية من قبل ميكولوف في أطروحة الدكتوراه الخاصة به.[3]
تم تطوير الخوارزمية لاحقًا بواسطة شركة جوجل لاستخدامها في الترجمة الآلية.[4]
في عام 2019، أعلنت شركة فايسبوك عن استخدام الخوارزمية في التكامل الرمزي وحل المعادلات التفاضلية. ادعت الشركة أنها تستطيع حل المعادلات المعقدة بسرعة أكبر وبدقة أكبر من الحلول التجارية مثل ولفرام ماتماتيكا وماتلاب وميبل. أولاً، يتم تحليل المعادلة في بنية شجرية لتجنب الخصوصيات الترميزية. تقوم الشبكة العصبية ذات الذاكرة قصيرة المدى الطويلة الأمد بعد ذلك بتطبيق تسهيلاتها القياسية للتعرف على الأنماط لمعالجة الشجرة.[5]
تقنية[عدل]
سيك تو سيك يحول تسلسل إلى تسلسل آخر (تحول التسلسل) (Sequence transformation). ويقوم بذلك بإستخدام الشبكات العصبية المتكررة أو في الغالب بواسطة الذاكرة قصيرة المدى الطويلة الأمد أو الوحدة المتكررة المسورة (Gated recurrent unit). من أجل تجنب مشكلة التدرج المتلاشي (Vanishing gradient problem). سياق كل عنصر هو ناتج الخطوة السابقة. المكونات الأساسية عبارة عن شبكة من وحدة تشفير واحدة ووحدة فك تشفير واحدة. يحول المشفر كل عنصر إلى متجه مخفي مقابل يحتوي على العنصر وسياقه. تعكس وحدة فك التشفير العملية، وتحول المتجه إلى عنصر إخراج، باستخدام الإخراج السابق كسياق إدخال.[2][هل المصدر موثوق به؟]
برامج ذات صلة[عدل]
تتضمن البرامج التي تعتمد أساليب مماثلة OpenNMT ( Torch ) و Neural Monkey ( تنسرفلو ) و NEMATUS ( Theano ).[6]
أنظر أيضا[عدل]
مراجع[عدل]
- ^ Sutskever. "Sequence to sequence learning with neural networks".
{{استشهاد بأرخايف}}: الوسيط|arxiv=مطلوب (مساعدة) - ^ أ ب Wadhwa, Mani (5 Dec 2018). "seq2seq model in Machine Learning". GeeksforGeeks (بالإنجليزية الأمريكية). Archived from the original on 2023-03-25. Retrieved 2019-12-17.
- ^ p. 94 of https://www.fit.vut.cz/study/phd-thesis-file/283/283.pdf, https://www.fit.vut.cz/study/phd-thesis-file/283/283_o2.pdf نسخة محفوظة 2023-03-28 على موقع واي باك مشين.
- ^ Wadhwa, Mani (5 Dec 2018). "seq2seq model in Machine Learning". GeeksforGeeks (بالإنجليزية الأمريكية). Archived from the original on 2023-03-25. Retrieved 2019-12-17.Wadhwa, Mani (2018-12-05). "seq2seq model in Machine Learning". GeeksforGeeks. Retrieved 2019-12-17.
{{cite web}}: CS1 maint: url-status (link) - ^ "Facebook has a neural network that can do advanced math". MIT Technology Review (بالإنجليزية الأمريكية). 17 Dec 2019. Archived from the original on 2023-03-28. Retrieved 2019-12-17.
- ^ "Overview - seq2seq". google.github.io. مؤرشف من الأصل في 2022-08-03. اطلع عليه بتاريخ 2019-12-17.
روابط خارجية[عدل]
- "A ten-minute introduction to sequence-to-sequence learning in Keras". blog.keras.io. مؤرشف من الأصل في 2023-03-23. اطلع عليه بتاريخ 2019-12-19.
- Dugar, Pranay (24 Nov 2019). "Attention — Seq2Seq Models". Medium (بالإنجليزية). Archived from the original on 2023-03-08. Retrieved 2019-12-19.
- Nag, Dev (24 Apr 2019). "seq2seq: the clown car of deep learning". Medium (بالإنجليزية). Archived from the original on 2022-12-06. Retrieved 2019-12-19.
- A bot will complete this citation soon. Click here to jump the queue أرخايف:[1].