게시일: 2018. 6. 27.
인터넷과의 나의 관계는 나에게 설정을 생각 나게한다.
진부한 공포 영화.
행복한 가정은 행복한 새 집으로 이사합니다.
햇볕이 잘 드는 곳이고 새들은 짹짹 울고 있습니다.
그리고 어두워집니다.
그리고 다락방의 소음이 있습니다.
그리고 그 완벽한 새 집은 그렇게 완벽하지 않다는 것을 우리는 깨닫습니다.
트위터는 아직 태어나지 않았다.
그리고 나는 인터넷에 대한 두려운 마음과 약속의 모든 것을 가지고있었습니다.
그리고 더 많은 무료.
범죄자, 독재자 및 테러리스트가 알아 냈다.
같은 플랫폼을 우리에게 사용하는 방법.
그리고 우리는 그들을 막을 선견이 없었습니다.
지난 몇 년 동안 지정 학적 세력이 온라인을 통해 혼란을 야기했습니다.
Google은 몇몇 동료와 나에게 Jigsaw라는 새로운 그룹을 설정하도록 지원했습니다.
나는 폭력 혁명의 여파로 떠났다.
그러나 나는 우리가 모든 자원을 가지고 있다고하더라도 깨달았다.
우리는 여전히 실패했다.
희생자들과 그 위협의 가해자들에 대한 인간의 경험.
오늘 제가 말할 수있는 많은 도전들이 있습니다.
나는 단지 두 가지에 집중할 것입니다.
첫 번째는 테러입니다.
우리는 폭력적인 극단 주의자 그룹의 수십 명의 회원들을 만났습니다.
그녀는 ISIS에 합류하기 위해 시리아로가는 길을 모색 중이었습니다.
그리고 그녀는 13 살이었다.
그래서 나는 그와 그녀의 아버지와 함께 앉았다. 그리고 나는 말했다, "왜?"
"나는 시리아에서의 삶의 모습을 보고 있었다.
나는 이슬람 디즈니 월드에 가서 살거라고 생각했다. "
그것이 그녀가 ISIS에서 본 것입니다.
그녀는 그녀가 만나서 지하드 브래드 피트와 결혼 할 거라고 생각했습니다.
하루 종일 쇼핑몰에서 쇼핑하고 행복하게 살 수 있습니다.
그들은 각 청중을 위해 신중하게 메시지를 만들어 낸다.
얼마나 많은 언어를 보는지.
그들은 마케팅 자료를 다음 언어로 번역합니다.
그들은 팸플릿, 라디오 쇼 및 비디오를 제작합니다.
맨 다린 중국어.
수화로 ISIS 제작 비디오를 보았습니다.
한번 생각해보십시오.
ISIS는 시간을 들여서 노력했습니다.
그들의 메시지가 청각 장애인과 청각 장애인에게 전달되도록합니다.
실제로 기술에 정통하지 않습니다.
그것이 ISIS가 마음과 마음을 얻은 이유입니다.
그게.
그래서 충분하지 않습니다.
온라인 플랫폼이 모집 물 삭제에 집중할 수 있도록합니다.
그것은 급진주의에 반대 할 것입니다.
우리는 인간의 여행을 핵심으로 시작해야합니다.
그래서 우리는 이라크에 갔다.
ISIS의 약속에 사로 잡힌 청년들과 이야기하기.
그리고 나는 이라크 북부에있는 임시 변통 감옥에 거기 앉아있다.
탈퇴하기 전에.
그는 이렇게 말합니다.
"나는 희망으로 가득 찬 시리아에 도착했다.
그리고 즉시, 나는 두 가지의 소중한 재산을 몰수했다.
내 여권과 내 휴대폰. "
도착했을 때 그에게서 떠났습니다.
그리고 나서 그는 저를 잃어버린 그 순간을 묘사하는 방법입니다.
그는 말했다.
Jerry가 도망 가기를 원할 때 Tom이 문을 잠근다.
열쇠를 삼킨다.
그리고 물론, 저는 그가 묘사 한 이미지를 실제로 볼 수있었습니다.
나는 정말로 그가 전달하려고 한 느낌과 관련이 있었다.
너는 출구가 없다는 것을 알 때.
그리고 궁금 해서요.
그래서 나는 물었다.
그날 너는 집을 나갔다.
그리고 나는 생각했다, "거룩한 쓰레기, 그는 말했다."예. "
그리고 그는 말했다.
"그 시점에서 나는 세뇌 당했다.
나는 모순 된 정보를 가지고 있지 않았습니다.
나는 흔들릴 수 없었다. "
급진주의 화는이 예 또는 아니오 선택이 아닙니다.
그것은 사람들이 질문을하는 과정입니다.
이데올로기, 종교, 생활 조건.
그리고 그들은 온라인으로 답변을 얻고 있습니다.
그것은 그들에게 다가 갈 수있는 기회입니다.
이라크 교도소에서 만난 그 사람의 이야기 같은 이야기.
휴대 전화 영상 자료를 업로드 한 지역 주민이 있습니다.
이슬람의 평화적 해석을 공유하는 성직자가 있습니다.
이 사람들은 일반적으로 ISIS의 마케팅 능력이 없습니다.
비극적으로 사람들에게 다가 가지 않는다.
누가 그 (것)들에게서 가장들을 것을 요구하는지.
우리는 기술이 그것을 바꿀 수 있는지 알고 싶었습니다.
2016 년에 우리는 Moonshot CVE와 파트너 관계를 맺었습니다.
급진적 인 대처에 대한 새로운 접근법을 조종한다.
"리디렉션 방식"이라고합니다.
온라인 광고의 힘을 사용합니다.
그리고 그 메시징을 불확실하게하는 신뢰할만한 목소리들.
광고가 보입니다.
정통한 대답을 가진 사람.
그들의 질문 또는 질문에.
우리는 30 만 명이 넘었습니다.
(jihadi) 그룹에 대한 관심이나 동정을 표한 사람.
이 사람들은 이제 비디오를보고있었습니다.
그들로 하여금 엄청난 선택을하지 못하게 할 수 있습니다.
리디렉션 방식이 현재 전 세계적으로 배포되고 있습니다.
다른 경로를 선택할 수있는 기회를 제공합니다.
악의적 인 사람들이 종종 인터넷을 잘 이용하는 것으로 밝혀졌습니다.
그러나 사람들이 무엇을 똑딱 거리게하는지 이해하기 때문에.
두 번째 예를 들어 보겠습니다.
온라인 괴롭힘.
온라인 위협은 또한 무엇이 공감 할 것인지 알아 내기 위해 노력합니다.
ISIS처럼 그들을 모집하지 말라.
그러나 그들에게 통증을 일으킬 수 있습니다.
이것을 상상해보십시오.
너는 여자 야.
너 결혼 했어.
너는 아이가있다.
당신은 소셜 미디어에 뭔가를 게시합니다.
답장을하면 강간 당할 것이라는 말을 듣게됩니다.
사실 집 주소는 모든 사람이 볼 수 있도록 온라인 상태입니다.
정말 진짜 위협 인 것 같아.
온라인 남용은이 비뚤어진 예술이었습니다.
침묵 할 때까지 그 압력 점을 밀었습니다.
언론의 자유가 방해받습니다.
그들의 논평 단면도 및 그들의 공개 토론을 전부 닫는.
그건 우리가 실제로 온라인 공간을 잃어 버리고 있음을 의미합니다.
만나서 아이디어를 교환 할 수 있습니다.
우리는 우리와 똑같이 생각하는 사람들과 대화 상자로 내려갑니다.
그러나 그것은 잘못된 정보의 확산을 가능하게합니다.
양극화가 촉진됩니다.
이것이 우리의 파트너십을 자극 한 질문이었습니다.
New York Times와 같은 신문이있다.
우리는 기계 학습 모델을 구축 할 수 있는지보고 싶었습니다.
언어의 정서적 영향을 이해할 수 있습니다.
그리고 그것은 결코 위업이 아닙니다.
그건 사소한 업적이 아니야.
AI가 그런 일을 할 수 있도록.
내 말은, 메시지의 두 가지 예를 생각해보십시오.
지난 주에 저에게 보냈을 수도 있습니다.
... 그리고
그것이 당신에게 명백한 차이가되는 이유입니다.
비록 그 단어가 거의 동일하더라도.
그러나 인공 지능을 위해서는 모델을 가르치기위한 훈련이 필요합니다.
그 차이를 인식 할 수 있습니다.
원근법 (Perspective)이라는 기술을 개발하는 것이 우리의 목표였습니다.
대화를 위해 온라인 공간이 넓어졌습니다.
그들은 단지 기사의 10 % 만 댓글을 달았습니다.
그 숫자는 최대 30 퍼센트입니다.
그래서 그들은 그것을 세 배로 늘 렸습니다.
우리는 여전히 시작하고 있습니다.
그러나 이것은 단순한 사회자를 만드는 것 이상의 의미가 있습니다.
바로 지금 당신을 볼 수 있습니다.
내가하는 말이 너와 함께 착륙하는 방법을 측정 할 수있어.
온라인에서 기회가 없습니다.
기계 학습이 주석을 줄 수 있다고 상상해보십시오.
얼굴 표정이 얼굴을 맞대고 대화하는 것과 같습니다.
기계 학습은 완벽하지 않습니다.
여전히 많은 실수를합니다.
우리는 공감을 얻을 수 있습니다.
그것은 우리가 사람들 사이에 대화를 가질 수 있음을 의미합니다.
다른 값.
그리고 우리는 대부분의 사람들이 포기한 온라인 공간을 다시 활력을 불어 넣을 수 있습니다.
그들은 인간의 두려움과 취약성을 먹어 치우고 있습니다.
우리는 틀렸어.
우리는 우리의 모든 자아를 문제를 이해하게 던져야합니다.
그들은 해결하려고하는 문제만큼이나 인간적입니다.
그 일을 만들어 봅시다.
고맙습니다.
My relationship with the internet reminds me of the setup
to a clichéd horror movie.
You know, the blissfully happy family moves in to their perfect new home,
excited about their perfect future,
and it's sunny outside and the birds are chirping ...
And then it gets dark.
And there are noises from the attic.
And we realize that that perfect new house isn't so perfect.
When I started working at Google in 2006,
Facebook was just a two-year-old,
and Twitter hadn't yet been born.
And I was in absolute awe of the internet and all of its promise
to make us closer
and smarter
and more free.
But as we were doing the inspiring work of building search engines
and video-sharing sites and social networks,
criminals, dictators and terrorists were figuring out
how to use those same platforms against us.
And we didn't have the foresight to stop them.
Over the last few years, geopolitical forces have come online to wreak havoc.
And in response,
Google supported a few colleagues and me to set up a new group called Jigsaw,
with a mandate to make people safer from threats like violent extremism,
censorship, persecution --
threats that feel very personal to me because I was born in Iran,
and I left in the aftermath of a violent revolution.
But I've come to realize that even if we had all of the resources
of all of the technology companies in the world,
we'd still fail
if we overlooked one critical ingredient:
the human experiences of the victims and perpetrators of those threats.
There are many challenges I could talk to you about today.
I'm going to focus on just two.
The first is terrorism.
So in order to understand the radicalization process,
we met with dozens of former members of violent extremist groups.
One was a British schoolgirl,
who had been taken off of a plane at London Heathrow
as she was trying to make her way to Syria to join ISIS.
And she was 13 years old.
So I sat down with her and her father, and I said, "Why?"
And she said,
"I was looking at pictures of what life is like in Syria,
and I thought I was going to go and live in the Islamic Disney World."
That's what she saw in ISIS.
She thought she'd meet and marry a jihadi Brad Pitt
and go shopping in the mall all day and live happily ever after.
ISIS understands what drives people,
and they carefully craft a message for each audience.
Just look at how many languages
they translate their marketing material into.
They make pamphlets, radio shows and videos
in not just English and Arabic,
but German, Russian, French, Turkish, Kurdish,
Hebrew,
Mandarin Chinese.
I've even seen an ISIS-produced video in sign language.
Just think about that for a second:
ISIS took the time and made the effort
to ensure their message is reaching the deaf and hard of hearing.
It's actually not tech-savviness
that is the reason why ISIS wins hearts and minds.
It's their insight into the prejudices, the vulnerabilities, the desires
of the people they're trying to reach
that does that.
That's why it's not enough
for the online platforms to focus on removing recruiting material.
If we want to have a shot at building meaningful technology
that's going to counter radicalization,
we have to start with the human journey at its core.
So we went to Iraq
to speak to young men who'd bought into ISIS's promise
of heroism and righteousness,
who'd taken up arms to fight for them
and then who'd defected
after they witnessed the brutality of ISIS's rule.
And I'm sitting there in this makeshift prison in the north of Iraq
with this 23-year-old who had actually trained as a suicide bomber
before defecting.
And he says,
"I arrived in Syria full of hope,
and immediately, I had two of my prized possessions confiscated:
my passport and my mobile phone."
The symbols of his physical and digital liberty
were taken away from him on arrival.
And then this is the way he described that moment of loss to me.
He said,
"You know in 'Tom and Jerry,'
when Jerry wants to escape, and then Tom locks the door
and swallows the key
and you see it bulging out of his throat as it travels down?"
And of course, I really could see the image that he was describing,
and I really did connect with the feeling that he was trying to convey,
which was one of doom,
when you know there's no way out.
And I was wondering:
What, if anything, could have changed his mind
the day that he left home?
So I asked,
"If you knew everything that you know now
about the suffering and the corruption, the brutality --
that day you left home,
would you still have gone?"
And he said, "Yes."
And I thought, "Holy crap, he said 'Yes.'"
And then he said,
"At that point, I was so brainwashed,
I wasn't taking in any contradictory information.
I couldn't have been swayed."
"Well, what if you knew everything that you know now
six months before the day that you left?"
"At that point, I think it probably would have changed my mind."
Radicalization isn't this yes-or-no choice.
It's a process, during which people have questions --
about ideology, religion, the living conditions.
And they're coming online for answers,
which is an opportunity to reach them.
And there are videos online from people who have answers --
defectors, for example, telling the story of their journey
into and out of violence;
stories like the one from that man I met in the Iraqi prison.
There are locals who've uploaded cell phone footage
of what life is really like in the caliphate under ISIS's rule.
There are clerics who are sharing peaceful interpretations of Islam.
But you know what?
These people don't generally have the marketing prowess of ISIS.
They risk their lives to speak up and confront terrorist propaganda,
and then they tragically don't reach the people
who most need to hear from them.
And we wanted to see if technology could change that.
So in 2016, we partnered with Moonshot CVE
to pilot a new approach to countering radicalization
called the "Redirect Method."
It uses the power of online advertising
to bridge the gap between those susceptible to ISIS's messaging
and those credible voices that are debunking that messaging.
And it works like this:
someone looking for extremist material --
say they search for "How do I join ISIS?" --
will see an ad appear
that invites them to watch a YouTube video of a cleric, of a defector --
someone who has an authentic answer.
And that targeting is based not on a profile of who they are,
but of determining something that's directly relevant
to their query or question.
During our eight-week pilot in English and Arabic,
we reached over 300,000 people
who had expressed an interest in or sympathy towards a jihadi group.
These people were now watching videos
that could prevent them from making devastating choices.
And because violent extremism isn't confined to any one language,
religion or ideology,
the Redirect Method is now being deployed globally
to protect people being courted online by violent ideologues,
whether they're Islamists, white supremacists
or other violent extremists,
with the goal of giving them the chance to hear from someone
on the other side of that journey;
to give them the chance to choose a different path.
It turns out that often the bad guys are good at exploiting the internet,
not because they're some kind of technological geniuses,
but because they understand what makes people tick.
I want to give you a second example:
online harassment.
Online harassers also work to figure out what will resonate
with another human being.
But not to recruit them like ISIS does,
but to cause them pain.
Imagine this:
you're a woman,
you're married,
you have a kid.
You post something on social media,
and in a reply, you're told that you'll be raped,
that your son will be watching,
details of when and where.
In fact, your home address is put online for everyone to see.
That feels like a pretty real threat.
Do you think you'd go home?
Do you think you'd continue doing the thing that you were doing?
Would you continue doing that thing that's irritating your attacker?
Online abuse has been this perverse art
of figuring out what makes people angry,
what makes people afraid,
what makes people insecure,
and then pushing those pressure points until they're silenced.
When online harassment goes unchecked,
free speech is stifled.
And even the people hosting the conversation
throw up their arms and call it quits,
closing their comment sections and their forums altogether.
That means we're actually losing spaces online
to meet and exchange ideas.
And where online spaces remain,
we descend into echo chambers with people who think just like us.
But that enables the spread of disinformation;
that facilitates polarization.
What if technology instead could enable empathy at scale?
This was the question that motivated our partnership
with Google's Counter Abuse team,
Wikipedia
and newspapers like the New York Times.
We wanted to see if we could build machine-learning models
that could understand the emotional impact of language.
Could we predict which comments were likely to make someone else leave
the online conversation?
And that's no mean feat.
That's no trivial accomplishment
for AI to be able to do something like that.
I mean, just consider these two examples of messages
that could have been sent to me last week.
"Break a leg at TED!"
... and
"I'll break your legs at TED."
(Laughter)
You are human,
that's why that's an obvious difference to you,
even though the words are pretty much the same.
But for AI, it takes some training to teach the models
to recognize that difference.
The beauty of building AI that can tell the difference
is that AI can then scale to the size of the online toxicity phenomenon,
and that was our goal in building our technology called Perspective.
With the help of Perspective,
the New York Times, for example,
has increased spaces online for conversation.
Before our collaboration,
they only had comments enabled on just 10 percent of their articles.
With the help of machine learning,
they have that number up to 30 percent.
So they've tripled it,
and we're still just getting started.
But this is about way more than just making moderators more efficient.
Right now I can see you,
and I can gauge how what I'm saying is landing with you.
You don't have that opportunity online.
Imagine if machine learning could give commenters,
as they're typing,
real-time feedback about how their words might land,
just like facial expressions do in a face-to-face conversation.
Machine learning isn't perfect,
and it still makes plenty of mistakes.
But if we can build technology
that understands the emotional impact of language,
we can build empathy.
That means that we can have dialogue between people
with different politics,
different worldviews,
different values.
And we can reinvigorate the spaces online that most of us have given up on.
When people use technology to exploit and harm others,
they're preying on our human fears and vulnerabilities.
If we ever thought that we could build an internet
insulated from the dark side of humanity,
we were wrong.
If we want today to build technology
that can overcome the challenges that we face,
we have to throw our entire selves into understanding the issues
and into building solutions
that are as human as the problems they aim to solve.
Let's make that happen.
Thank you.
(Applause)
