لا شيء، حتى الآن، يدعون أن لديهم متصدع المشكلة تماما.
رجل التايلاندي الذي بث نفسه قتل ابنته البالغة من العمر 11 شهرا في لقطات فيديو حية في الفيسبوك هذا الأسبوع، كان الاحدث في سلسلة من جرائم العنف بثه مباشرة على الشركة وسائل الاعلام الاجتماعية. وقد دفعت هذه الحوادث أسئلة حول كيفية عمل نظام الإبلاغ الفيسبوك وكيف عنيفة المحتوى يمكن أن تتم الإشارة بشكل أسرع.
A عشرة أو أكثر من الشركات تتصارع مع المشكلة، في تلك الصناعة يقولون. جوجل - التي تواجه مشاكل مماثلة مع خدمة يوتيوب في - والفيسبوك ونعمل على إيجاد حلول خاصة بهم.
وتركز معظمها على التعلم العميق: وهو نوع من الذكاء الاصطناعي الذي يجعل من استخدام الشبكات العصبية المحوسبة. وهو النهج الذي ديفيد Lissmyr، مؤسس تتخذ من باريس مقرا الصورة وتحليل الفيديو شركة Sightengine، يقول يعود إلى الجهود في 1950s لتقليد طريقة الخلايا العصبية تعمل وتتفاعل في الدماغ.
وقال مات زيلر، المؤسس والرئيس التنفيذي لشركة Clarifai ومقرها نيويورك، وهي شركة أخرى تحليل الفيديو تعليم الكمبيوتر للتعلم مع الطبقات العميقة من الخلايا العصبية الاصطناعية قد اتخذت حقا فقط ثماره في السنوات القليلة الماضية.
وقال زيلر إلا أنه تم نسبيا في الآونة الأخيرة أن هناك ما يكفي من القوة الحوسبة والبيانات المتاحة لتدريس هذه الأنظمة، مما يتيح "قفزات هائلة في دقة وفعالية التعلم الآلي".

صور تغذية

يبدأ نظام التدريس مع الصور تتغذى من خلال طبقات العصبية الكمبيوتر، والتي ثم "تعلم" لتحديد لافتات الشوارع، ويقول، أو مشهد عنيف في شريط فيديو.
ويمكن أن تشمل أعمال العنف الإجراءات القرصنة، أو الدم، يقول أبهيجيت شانبهاغ، الرئيس التنفيذي لشركة Graymatics مقرها سنغافورة. إذا مهندسيه لا يمكن العثور على مشهد مناسبة، وتصوير ذلك بأنفسهم في المكتب.
يقول زيلر يمكن خوارزميات Clarifai أيضا التعرف على الأشياء في شريط فيديو والتي قد تكون السلائف للعنف - سكين أو مسدس، على سبيل المثال.
ولكن هناك حدود.
واحد هو البرنامج هو فقط جيدة مثل الأمثلة يتم تدريب عليه. عندما يقرر شخص ما لشنق طفل من مبنى، انها ليست بالضرورة شيئا ما قد تم برمجة برنامج لمراقبة.
وقال "كما يحصل الناس على أكثر ابتكارا عن هذا النشاط الشنيع، يحتاج النظام ليتم تدريبهم على ذلك" Shanbhag، الشركة التي مرشحات الفيديو ومحتوى الصورة نيابة عن العديد من العملاء وسائل الاعلام الاجتماعية في آسيا وأماكن أخرى.
الحد الآخر هو أن العنف يمكن أن يكون شخصي. مشهد سريع الحركة مع الكثير من جور وينبغي أن يكون من السهل بما فيه الكفاية على الفور، يقول جونل وانغ، رئيس R & D في PicPurify تتخذ من فرنسا مقرا. ولكن الشركة لا تزال تعمل على تحديد مشاهد العنف التي لا تنطوي على الدم أو الأسلحة. التعذيب النفسي، أيضا، من الصعب على الفور، ويقول زميله، الرئيس التنفيذي يان مارشال.
ثم هناك المحتوى الذي يمكن أن يعتبر الهجوم دون أن تكون عنيفة في جوهرها - علم ISIS، على سبيل المثال - يقول Shanbhag Graymatics ل. قد تتطلب نظام لأنب اعتمادا على العميل.

لا تزال هناك حاجة البشر

وقال ميكا روتياينن، المؤسس والرئيس التنفيذي لشركة Valossa، وهي شركة فنلندية الذي يجد محتوى غير مرغوب فيه لوسائل الإعلام بعد تقييد آخر هو أنه في حين أتمتة قد تساعد، والبشر لا يزال يتعين تشارك للتحقق من صحة المحتوى الذي تم وضع علامة على هجوم أو خطرة، الترفيه والإعلان الشركات.
والواقع أن الحلول المحتملة تشمل النظر إلى أبعد من الصور نفسها لدمج الإشارات الأخرى. يقول وانغ PicPurify باستخدام خوارزميات لمراقبة رد فعل المشاهدين - زيادة حادة في reposts من شريط فيديو، على سبيل المثال - قد يكون مؤشرا.
وقال مايكل بوجربنياك، الرئيس التنفيذي لشركة Kuznech، شركته الأمريكية الروسية قد أضاف إلى ترسانته من خوارزميات اكتشاف صورة إباحية - التي تركز في معظمها على الكشف الجلد وحركة الكاميرا - لتشمل الآخرين التي تكشف عن الشعارات من استوديوهات وشاشات النص تحذير.
يقول الفيسبوك أنه يستخدم تقنيات مشابهة على الفور العري والعنف وغيرها من المواضيع التي لا تتوافق مع سياستها. لم متحدث باسم لا يرد على أسئلة حول ما إذا كان يستخدم البرنامج في الحالات الأخرى التي التايلاندية و.
وقال بعض الشركات كان اعتماد صناعة أبطأ مما كان يمكن أن يكون، ويرجع ذلك جزئيا على حساب المضافة. التي، كما يقولون، سوف يتغير. الشركات التي تدير المحتوى المقدم من المستخدمين يمكن أن تأتي على نحو متزايد تحت الضغوط التنظيمية، ويقول Rautiainen Valossa ل.
"حتى من دون تشديد التنظيم، وعدم تمكنه من تقديم كرأيشن السليم سوف يؤدي على نحو متزايد إلى تأثيرات سلبية في هوية العلامة التجارية على الانترنت"، ويقول Rautiainen.
Reuters) — Companies from Singapore to Finland are racing to improve artificial intelligence so software can automatically spot and block videos of grisly murders and mayhem before they go viral on social media.
None, so far, claim to have cracked the problem completely.
A Thai man who broadcast himself killing his 11-month-old daughter in a live video on Facebook this week, was the latest in a string of violent crimes shown live on the social media company. The incidents have prompted questions about how Facebook’s reporting system works and how violent content can be flagged faster.
A dozen or more companies are wrestling with the problem, those in the industry say. Google – which faces similar problems with its YouTube service – and Facebook are working on their own solutions.
Most are focusing on deep learning: a type of artificial intelligence that makes use of computerized neural networks. It is an approach that David Lissmyr, founder of Paris-based image and video analysis company Sightengine, says goes back to efforts in the 1950s to mimic the way neurons work and interact in the brain.
Teaching computers to learn with deep layers of artificial neurons has really only taken off in the past few years, said Matt Zeiler, founder and CEO of New York-based Clarifai, another video analysis company.
It’s only been relatively recently that there has been enough computing power and data available for teaching these systems, enabling “exponential leaps in the accuracy and efficacy of machine learning”, Zeiler said.

Feeding images

The teaching system begins with images fed through the computer’s neural layers, which then “learn” to identify a street sign, say, or a violent scene in a video.
Violent acts might include hacking actions, or blood, says Abhijit Shanbhag, CEO of Singapore-based Graymatics. If his engineers can’t find a suitable scene, they film it themselves in the office.
Zeiler says Clarifai’s algorithms can also recognize objects in a video that could be precursors to violence — a knife or gun, for instance.
But there are limits.
One is the software is only as good as the examples it is trained on. When someone decides to hang a child from a building, it’s not necessarily something the software has been programmed to watch for.
“As people get more innovative about such gruesome activity, the system needs to be trained on that,” said Shanbhag, whose company filters video and image content on behalf of several social media clients in Asia and elsewhere.
Another limitation is that violence can be subjective. A fast-moving scene with lots of gore should be easy enough to spot, says Junle Wang, head of R&D at France-based PicPurify. But the company is still working on identifying violent scenes that don’t involve blood or weapons. Psychological torture, too, is hard to spot, says his colleague, CEO Yann Mareschal.
And then there’s content that could be deemed offensive without being intrinsically violent — an ISIS flag, for example — says Graymatics’s Shanbhag. That could require the system to be tweaked depending on the client.

Still need humans

Yet another limitation is that while automation may help, humans must still be involved to verify the authenticity of content that has been flagged as offensive or dangerous, said Mika Rautiainen, founder and CEO of Valossa, a Finnish company which finds undesirable content for media, entertainment and advertising companies.
Indeed, likely solutions would involve looking beyond the images themselves to incorporate other cues. PicPurify’s Wang says using algorithms to monitor the reaction of viewers — a sharp increase in reposts of a video, for example — might be an indicator.
Michael Pogrebnyak, CEO of Kuznech, said his Russian-U.S. company has added to its arsenal of pornographic image-spotting algorithms – which mostly focus on skin detection and camera motion — to include others that detect the logos of studios and warning text screens.
Facebook says it is using similar techniques to spot nudity, violence or other topics that don’t comply with its policies. A spokesperson didn’t respond to questions about whether the software was used in the Thai and other recent cases.
Some of the companies said industry adoption was slower than it could be, in part because of the added expense. That, they say, will change. Companies that manage user-generated content could increasingly come under regulatory pressure, says Valossa’s Rautiainen.
“Even without tightening regulation, not being able to deliver proper curation will increasingly lead to negative effects in online brand identity,” Rautiainen says.
(Reporting By Jeremy Wagstaff; Editing by Bill Tarrant)