AI 助理
备案控制台
开发者社区 开发与运维 文章 正文

qq新闻 内容抓取 正则表达

2016-07-20 811
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：   qq 国内新闻 http://news.qq.com/c/816guonei_1.htm  http://news.qq.com/c/816guonei_2.htm                                                      ........   学校老师私开小卖部 带方便面进校遭食堂老板殴打 达州市渠县三汇中学王道明老师的妻子邓女士，在谈到丈夫与学校食堂承包商刘志勇，因携带方便面进校门发生纠纷继而被刘志勇打一事时，双眼恍惚，充满了恐惧。

 

qq 国内新闻

http://news.qq.com/c/816guonei_1.htm 

http://news.qq.com/c/816guonei_2.htm

                                                     ........

 

 
    <a target="_blank" class="pic" href="/a/20160430/004728.htm">
	<img class="picto" src="http://img1.gtimg.com/news/pics/hv1/130/103/2061/134042920_small.jpg"></a>
	<em class="f14 l24">
	<a target="_blank" class="linkto" href="/a/20160430/004728.htm">
	学校老师私开小卖部 带方便面进校遭食堂老板殴打
	</a>
	</em>
	<p class="l22">
	达州市渠县三汇中学王道明老师的妻子邓女士，在谈到丈夫与学校食堂承包商刘志勇，因携带方便面进校门发生纠纷继而被刘志勇打一事时，双眼恍惚，充满了恐惧。
    </p>
 

<a target=\"_blank\" class=\"pic\" href=\"([^\"]*)\">
<img class=\"picto\" src=\"([^\"]*)\">
</a>
<em class=\"f14 l24\">
<a target=\"_blank\" class=\"linkto\" href=\"[^\"]*\">
([^</a>]*)
</a>
</em>
<p class=\"l22\">
([^</p>]*)
</p>

 

demo 如图：

 

 

根据返回内容 进行正则匹配，获取 需要布局信息 QQNewsItemEntity 

（图片展示不好，可以查看图片附件）



 

package com.curiousby.fitnessandappointment.utils;

import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import com.curiousby.fitnessandappointment.entity.QQNewsItemEntity;

public class QQNewsMatcherPerformer {

	public static List<QQNewsItemEntity> parseHtmlData(String result) {
		List<QQNewsItemEntity> list = new ArrayList<QQNewsItemEntity>();
		Pattern pattern = Pattern
				.compile("<a target=\"_blank\" class=\"pic\" href=\"([^\"]*)\"><img class=\"picto\" src=\"([^\"]*)\"></a><em class=\"f14 l24\"><a target=\"_blank\" class=\"linkto\" href=\"[^\"]*\">([^</a>]*)</a></em><p class=\"l22\">([^</p>]*)</p>");
		Matcher matcher = pattern.matcher(result);
		while (matcher.find()) {
			QQNewsItemEntity model = new QQNewsItemEntity();
			model.setNewsDetailUrl(matcher.group(1).trim());
			model.setUrlImgAddress(matcher.group(2).trim());
			model.setNewsTitle(matcher.group(3).trim());
			model.setNewsSummary(matcher.group(4).trim()); 
			list.add(model);
		}
		return list;
	}
}

 

 

package com.curiousby.fitnessandappointment.entity;


public class QQNewsItemEntity {
	
	 
    //新闻详情地址
    private String newsDetailUrl;
    //新闻图片地址
    private String urlImgAddress;
    //新闻标题
    private String newsTitle;
    //新闻概要
    private String newsSummary; 
	public String getUrlImgAddress() {
        return urlImgAddress;
    }

    public void setUrlImgAddress(String urlImgAddress) {
        this.urlImgAddress = urlImgAddress;
    }

    public String getNewsDetailUrl() {
        return newsDetailUrl;
    }

    public void setNewsDetailUrl(String newsDetailUrl) {
        this.newsDetailUrl = newsDetailUrl;
    }


    public String getNewsTitle() {
        return newsTitle;
    }

    public void setNewsTitle(String newsTitle) {
        this.newsTitle = newsTitle;
    }

    public String getNewsSummary() {
        return newsSummary;
    }

    public void setNewsSummary(String newsSummary) {
        this.newsSummary = newsSummary;
    }
}

 

 

package com.curiousby.fitnessandappointment.request.http;

import java.io.UnsupportedEncodingException;
import java.util.ArrayList;
import java.util.HashMap;
import java.util.List;

import org.json.JSONObject;

import android.util.Log;

import com.android.volley.Request.Method;
import com.android.volley.NetworkResponse;
import com.android.volley.Response;
import com.android.volley.Response.ErrorListener;
import com.android.volley.Response.Listener;
import com.android.volley.VolleyError;
import com.android.volley.toolbox.HttpHeaderParser;
import com.android.volley.toolbox.StringRequest;
import com.android.volley.toolbox.Volley;
import com.curiousby.fitnessandappointment.MyApplication;
import com.curiousby.fitnessandappointment.constants.Constants;
import com.curiousby.fitnessandappointment.entity.FeedAllEntity;
import com.curiousby.fitnessandappointment.entity.FeedCommentEntity;
import com.curiousby.fitnessandappointment.entity.FeedZanEntity;
import com.curiousby.fitnessandappointment.entity.QueryResultJson;
import com.curiousby.fitnessandappointment.quote.volley.GsonRequest;
import com.curiousby.fitnessandappointment.request.dbmanager.QQNewsHttpManager;
import com.curiousby.fitnessandappointment.request.dbmanager.TrendHttpManager;
import com.curiousby.fitnessandappointment.utils.JSONUtil;
import com.curiousby.fitnessandappointment.utils.JsonParser;
import com.google.gson.JsonElement;

public class QQNewsHttpRequest {

	
	public  static void getQQNewsDate(final int page){
		String url = Constants.getQQNewsUrl(page);
		StringRequest request = new StringRequest(url, new Listener<String>() {
 
			@Override
			public void onResponse(String response) { 
				if (page ==1 )
					QQNewsHttpManager.getQQNewsByPageFirst(response);
				else
					QQNewsHttpManager.getQQNewsByPage(response);	
			}
		}, new ErrorListener() { 
			@Override
			public void onErrorResponse(VolleyError error) { 
				QQNewsHttpManager.getQQNewsByPageError();
			}
		})
	/*	{
			@Override
			protected Response<String> parseNetworkResponse(
					NetworkResponse response) {
				String str = null;
		        try {
		            str = new String(response.data,"utf-8");
		        } catch (UnsupportedEncodingException e) { 
		            e.printStackTrace();
		        }
		        return Response.success(str, HttpHeaderParser.parseCacheHeaders(response));
			}
		}*/
		;
		Volley.newRequestQueue(MyApplication.newInstance()).add(request); 
	}
	
}

 

 

package com.curiousby.fitnessandappointment.activity;

import java.util.ArrayList;
import java.util.List;

import android.content.Context;
import android.content.Intent;
import android.os.Bundle;
import android.util.Log;
import android.view.View;
import android.widget.AdapterView;
import android.widget.AdapterView.OnItemClickListener;

import com.curiousby.fitnessandappointment.MyApplication;
import com.curiousby.fitnessandappointment.R;
import com.curiousby.fitnessandappointment.adpter.QQNewsAdapter;
import com.curiousby.fitnessandappointment.constants.Constants;
import com.curiousby.fitnessandappointment.entity.QQNewsItemEntity;
import com.curiousby.fitnessandappointment.quote.xlistview.MsgListView;
import com.curiousby.fitnessandappointment.quote.xlistview.MsgListView.IXListViewListener;
import com.curiousby.fitnessandappointment.request.event.QQNewsStringHttpEvent;
import com.curiousby.fitnessandappointment.request.event.base.RequestEvent;
import com.curiousby.fitnessandappointment.request.http.QQNewsHttpRequest;
import com.curiousby.fitnessandappointment.utils.QQNewsMatcherPerformer;

import de.greenrobot.event.EventBus;

public class QQNewsActivity extends BaseActivity implements IXListViewListener ,OnItemClickListener{
	
	
	private MsgListView mListView;
	private List<QQNewsItemEntity> mDataList;
	private QQNewsAdapter mAdapter;
	private static int start = 1; 
	private Context mContext;
	public final static String QQ_NEWS_DETAIL_URL = "qq_news_detail_url";
	
	@Override
	protected void onCreate(Bundle bundle) { 
		super.onCreate(bundle);
		setContentView(R.layout.qqnews_list);
		this.mContext = QQNewsActivity.this;
		
		initUtils();
		initView( );
		initListeners();
		
		EventBus.getDefault().register( this );
		start =1;
		QQNewsHttpRequest.getQQNewsDate(start);
	}

	
 
	
 
	private void initUtils() {  
		mDataList =  new ArrayList<QQNewsItemEntity>();
		mAdapter = new QQNewsAdapter(mContext); 
		mAdapter.setmDataList(mDataList); 
	}
	private void initView() { 
		mListView = (MsgListView) this.findViewById(R.id.qq_news_list);   
		mListView.setAdapter(mAdapter);
	}
	private void initListeners() {  
		mListView.setPullLoadEnable(true);
		mListView.setPullRefreshEnable(true);
		mListView.setXListViewListener(this);
		mListView.setAdapter(mAdapter); 
		mListView.setOnItemClickListener( this );
	}
	

	@Override
	public void onRefresh() { 
		start =1; 
		mListView.setPullLoadEnable(true);
		mListView.setPullRefreshEnable(true);
		QQNewsHttpRequest.getQQNewsDate(start);
	}


	@Override
	public void onLoadMore() { 
		start += 1; 
		QQNewsHttpRequest.getQQNewsDate(start);
	}

	@Override
    public void onDestroy() {
        EventBus.getDefault().unregister( this );
        super.onDestroy();
    }
 
	
	public void onEventMainThread(RequestEvent requestEvent){
		
		if(requestEvent instanceof QQNewsStringHttpEvent){
			QQNewsStringHttpEvent event = (QQNewsStringHttpEvent) requestEvent;
			switch(event.status){
			case HTTP_ERROR:
				mListView.stopRefresh(); 
				mListView.stopLoadMore();
				mListView.setPullLoadEnable(false);
				break;
			case HTTP_START:
			{
				mListView.stopRefresh(); 
				mListView.stopLoadMore();
				String result = event.data;
				mAdapter.clearMDataList();
				List<QQNewsItemEntity> list = QQNewsMatcherPerformer.parseHtmlData(result);
				mAdapter.setmDataList(list);
				mAdapter.notifyDataSetChanged(); 
			
			}
			break;
			case HTTP_SUCCESS: {  
				
				mListView.stopRefresh(); 
				mListView.stopLoadMore();
				String result = event.data;
				List<QQNewsItemEntity> list = QQNewsMatcherPerformer.parseHtmlData(result);
				mAdapter.addMDataList(list);
				mAdapter.notifyDataSetChanged();  
			  }
			  break;
			default:
				break;
			}
			
			
		}
		
	}





	@Override
	public void onItemClick( AdapterView<?> parent, View view, int position, long id) { 
		 QQNewsItemEntity item = mAdapter.getItem(position - 1 );
		 if (item != null) {
				Intent msgIntent  = new Intent();  
				Log.e("baoyou", Constants.url_qq_news_base + item.getNewsDetailUrl());
				Bundle bundle = new Bundle(); //　Bundle的底层是一个HashMap<String, Object
	            bundle.putString(QQNewsActivity.QQ_NEWS_DETAIL_URL, item.getNewsDetailUrl() );
	            msgIntent.putExtra("bundle", bundle);
	  
	            msgIntent.setClass(MyApplication.newInstance(), QQNewsDetailActivity.class);
	            startActivityForResult( msgIntent, 1000 );
			}
		 
	}

	
}

 

 

package com.curiousby.fitnessandappointment.activity;
 
import android.content.Intent;
import android.os.Bundle;
import android.util.Log;
import android.webkit.WebSettings;
import android.webkit.WebSettings.LayoutAlgorithm;
import android.webkit.WebView;
import android.webkit.WebViewClient;

import com.curiousby.fitnessandappointment.R;
import com.curiousby.fitnessandappointment.constants.Constants;

public class QQNewsDetailActivity extends BaseActivity  {
	
	
	 private WebView webView;
	private String url ="https://www.baidu.com";
	@Override
	protected void onCreate(Bundle bundle) { 
		super.onCreate(bundle);
		setContentView(R.layout.qqnews_list_item_detail);
		
		initUtils();
		initView( );
		initListeners();
		 
	}

	private void initListeners() { 
		webView.loadUrl(url); 
		showWaitingDialog("");
		webView.setWebViewClient(new WebViewClient() {      
            @Override      
            public boolean shouldOverrideUrlLoading(WebView view, String url)      
            {     
              view.loadUrl(url);  
              dismissWaitingDialog();
              return true;      
            }      
      });     
	}

	private void initView() {
		webView = (WebView) this.findViewById(R.id.wv_qq_news_item_detail_webview);
		WebSettings settings = webView.getSettings();
		settings.setJavaScriptEnabled(true);  //支持js
		//settings.setPluginsEnabled(true);  //支持插件 
		settings.setUseWideViewPort(false);  //将图片调整到适合webview的大小 
		settings.setSupportZoom(true);  //支持缩放 
		settings.setLayoutAlgorithm(LayoutAlgorithm.SINGLE_COLUMN);
	}

	private void initUtils() {
		Intent intent = getIntent();
		 Bundle bundle = intent.getBundleExtra("bundle");
		String path =bundle.getString(QQNewsActivity.QQ_NEWS_DETAIL_URL);
		url = Constants.url_qq_news_base + path;
	}

	
 
	
 
	 

	
}

 

package com.curiousby.fitnessandappointment.adpter;

import java.util.ArrayList;
import java.util.List;

import android.content.Context;
import android.content.res.Resources;
import android.graphics.Bitmap;
import android.graphics.BitmapFactory;
import android.view.LayoutInflater;
import android.view.View;
import android.view.ViewGroup;
import android.widget.BaseAdapter;
import android.widget.ImageView;
import android.widget.TextView;

import com.curiousby.fitnessandappointment.R;
import com.curiousby.fitnessandappointment.entity.QQNewsItemEntity;
import com.curiousby.fitnessandappointment.quote.volley.ImageCacheManager;

public class QQNewsAdapter extends BaseAdapter{

	
	private LayoutInflater mInflater;
	private List<QQNewsItemEntity> mDataList; 
	private Context mContext;
	
	 
	
	public QQNewsAdapter(Context mContext) {
		this.mContext = mContext;
		this.mInflater = LayoutInflater.from(mContext);
	} 
	
	public List<QQNewsItemEntity> getmDataList() {
		return mDataList;
	} 
	public void setmDataList(List<QQNewsItemEntity> mDataList) {
		if (this.mDataList == null ) {
			this.mDataList = new ArrayList<QQNewsItemEntity>();
		}
		this.mDataList = mDataList;
	}  
	public void addMDataList(List<QQNewsItemEntity> mDataList) {
		this.mDataList.addAll(mDataList);
	}
	public void clearMDataList( ) {
		this.mDataList.clear();
	}

	@Override
	public int getCount() { 
		if (mDataList != null && mDataList.size() > 0) 
			return mDataList.size();
		 return 0;
	}

	@Override
	public QQNewsItemEntity getItem(int position) {
		if (mDataList != null && mDataList.size() > 0) 
			return mDataList.get(position);
		return null;
	}

	@Override
	public long getItemId(int position) { 
		return 0;
	}

	@Override
	public View getView(int position, View convertView, ViewGroup parent) { 
		ViewHolder viewHolder   = null; 
		 if ( convertView == null || convertView.getTag() ==null ) {
	            convertView = mInflater.inflate( R.layout.qqnews_list_item,parent, false);
	            viewHolder = new ViewHolder(convertView); 
	            convertView.setTag( viewHolder );
		 }else{
			 viewHolder = ( ViewHolder ) convertView.getTag();
		 }
		 QQNewsItemEntity qqnie = getItem(position);
		 if (qqnie != null) { 
		 ImageCacheManager.loadImage(qqnie.getUrlImgAddress(),viewHolder.qqnewspic, getBitmapFromRes(R.drawable.ic_launcher), getBitmapFromRes(R.drawable.ic_launcher));
		 viewHolder.qqnewstitle.setText(qqnie.getNewsTitle());
		 viewHolder.qqnewscontent.setText(qqnie.getNewsSummary());
		 }
		return convertView;
	}

	
	class ViewHolder{
		public ImageView qqnewspic;
		public TextView  qqnewstitle;
		public TextView  qqnewscontent;
		public ViewHolder(View baseView) { 
			this.qqnewspic = (ImageView) baseView.findViewById(R.id.qq_news_image_link);
			this.qqnewstitle = (TextView) baseView.findViewById(R.id.qq_news_txt_title);
			this.qqnewscontent =  (TextView) baseView.findViewById(R.id.qq_news_txt_summary);
		} 
		
	}
	 public Bitmap getBitmapFromRes(int resId) {
         Resources res = mContext.getResources();
      return BitmapFactory.decodeResource(res, resId);
	 }
	 
	
}

 

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="wrap_content"
    android:padding="1dp">

    <ImageView
        android:id="@+id/qq_news_image_link"
        android:layout_width="80dp"
        android:layout_height="wrap_content"
        android:scaleType="centerCrop"
        android:layout_centerVertical="true"
        android:layout_above="@+id/v_qq_news_line"
        android:background="@drawable/ic_launcher"  
        />

    <LinearLayout
        android:layout_marginLeft="10dp"
        android:id="@+id/ll_qq_news_contentandhead"
        android:layout_width="match_parent"
        android:layout_height="wrap_content"
        android:layout_toRightOf="@+id/qq_news_image_link" 
        android:orientation="vertical">

        <TextView
            android:id="@+id/qq_news_txt_title"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="标题"
            android:textSize="16dp" />

        <TextView
            android:layout_marginTop="5dp"
            android:id="@+id/qq_news_txt_summary"
            android:layout_width="wrap_content"
            android:layout_height="wrap_content"
            android:text="内容"
            android:layout_marginBottom="3dp" 
            android:textSize="12dp" />
    </LinearLayout>
	<View 
	    android:id="@+id/v_qq_news_line"
        android:layout_width="match_parent"
        android:layout_height="1dp"  
        android:layout_marginBottom="3dp" 
        android:layout_marginTop="5dp" 
        android:background="@color/grey"
        android:layout_alignParentBottom="true"/>
</RelativeLayout>

 

<?xml version="1.0" encoding="utf-8"?>
<RelativeLayout xmlns:android="http://schemas.android.com/apk/res/android"
    android:layout_width="match_parent"
    android:layout_height="match_parent"
    android:orientation="vertical"  
    >
  
     <RelativeLayout
         android:id="@+id/rl_qq_news_head"
        android:layout_width="fill_parent"
        android:layout_height="wrap_content"
        android:background="@drawable/title_bar"
        android:gravity="center_vertical"
        android:orientation="horizontal"
        android:padding="3dp" 
         android:layout_alignParentTop="true"
        >

        <TextView
            android:id="@+id/tv_qq_news_head_title"
            android:layout_width="fill_parent"
            android:layout_height="wrap_content"
            android:gravity="center"
            android:text="新闻"
            android:textColor="#FFF"
            android:textSize="20sp"
            android:textStyle="bold" />
    </RelativeLayout> 
     
    <com.curiousby.fitnessandappointment.quote.xlistview.MsgListView
            android:id="@+id/qq_news_list" 
       		 android:layout_below="@id/rl_qq_news_head"
        	android:background="@color/white"
            android:layout_width="match_parent"
            android:layout_height="fill_parent" 
            android:divider="@null"> 
   </com.curiousby.fitnessandappointment.quote.xlistview.MsgListView>
 
 
   

</RelativeLayout>

 

 

 

 

package com.curiousby.fitnessandappointment.constants;

import java.util.ArrayList;
import java.util.List;

import com.curiousby.fitnessandappointment.R;
import com.curiousby.fitnessandappointment.entity.GridEntity;

public class Constants {
	
	public  final static String BASEIP ="http://127.0.0.1:8080"; 
	public final static String login_url = BASEIP + "/RepositoryPic/WebService/rest/user/login";
	public final static String friendship_url = BASEIP + "/RepositoryPic/WebService/rest/friendShip/friendShips/";
	public final static String url_addDeviceToTag = BASEIP + "/RepositoryPic/WebService/rest/pushService/addDevicesToTag";
	public final static String url_post_sendMessageToTag =BASEIP + "/RepositoryPic/WebService/rest/pushService/sendMessageToTag";
	public final static String url_feed =BASEIP + "/RepositoryPic/WebService/rest/feedAll/feedAlls/user";
	public final static String url_add_feed_comment =BASEIP + "/RepositoryPic/WebService/rest/feedAll/feedCommemtAdd";
	public final static String url_add_feed_zan =BASEIP + "/RepositoryPic/WebService/rest/feedAll/feedZanAdd";
	public final static String url_feed_create = BASEIP + "/RepositoryPic/WebService/rest/feedAll/createFeed";
	
	public final static String url_qq_news_base="http://news.qq.com";
	public   static String url_qq_news_guonei =  url_qq_news_base +"/c/816guonei_?.htm";
	public  static String getQQNewsUrl (int page){
		return url_qq_news_guonei.replace("?", page+"");
	}
	
	
	
	public static List<GridEntity> getGridItem() {
		List<GridEntity> list = new ArrayList<GridEntity>();
		list.add(new GridEntity(1, "动态", R.drawable.mian_trend_grid_trend, 1));
		list.add(new GridEntity(2, "悦动圈", R.drawable.mian_trend_grid_yuedongquan, 2)); 
		list.add(new GridEntity(3, "新闻", R.drawable.qq_ketang, 3)); 

		return list;
	}
	
	 

}

 

 

 

 

 

 

 

 

 

 

 

 

 

捐助开发者

在兴趣的驱动下,写一个免费的东西，有欣喜，也还有汗水，希望你喜欢我的作品，同时也能支持一下。 当然，有钱捧个钱场（右上角的爱心标志，支持支付宝和PayPal捐助），没钱捧个人场，谢谢各位。



 
 
 谢谢您的赞助，我会做的更好！

 

 

 

文章标签：
Android开发
Java
网络架构
curiousby
目录
相关文章
爱专研的技术土狗
|
2月前
|
数据采集 前端开发 JavaScript
除了网页标题，还能用爬虫抓取哪些信息？
爬虫技术可以抓取网页上的各种信息，包括文本、图片、视频、链接、结构化数据、用户信息、价格和库存、导航菜单、CSS和JavaScript、元数据、社交媒体信息、地图和位置信息、广告信息、日历和事件信息、评论和评分、API数据等。通过Python和BeautifulSoup等工具，可以轻松实现数据抓取。但在使用爬虫时，需遵守相关法律法规，尊重网站的版权和隐私政策，合理控制请求频率，确保数据的合法性和有效性。
爱专研的技术土狗
66 1
小白学大数据
|
6月前
|
数据采集 JSON API
深入解析：抖音视频标题的Python爬虫提取方法
深入解析：抖音视频标题的Python爬虫提取方法
小白学大数据
319 0
六月的雨在钉钉
|
8月前
|
JSON 前端开发 Java
基于Java爬取微博数据(五) 补充微博正文列表图片 or 视频 内容
【5月更文挑战第15天】基于Java爬取微博数据(五) 补充微博正文列表图片 or 视频 内容
六月的雨在钉钉
105 0
狼人2007
|
Web App开发 搜索推荐 .NET
识别真假搜索引擎（搜索蜘蛛）方法（baidu,google,Msn,sogou,soso等)
http://www.useragentstring.com/pages/useragentstring.php   今天分析研究了两个网站的 Apache 日志，分析日志虽然很无聊，但却是很有意义的事情，比如跟踪 SPAM 的 User Agent。
狼人2007
3582 0
花花叔叔
新闻网页案例
新闻网页案例
花花叔叔
182 0
新闻网页案例
技术小能手
|
Web App开发 数据采集 Python
网易云音乐评论爬虫(二):爬取全部热门歌曲及其对应的id号
技术小能手
2263 0
码农技术君
|
数据采集 Python
Python爬虫：使用newspaper解析新闻页面信息
Python爬虫：使用newspaper解析新闻页面信息
码农技术君
416 0
优惠券发放
|
算法 搜索推荐 机器学习/深度学习
优化百度新闻内容的7个技巧
优化百度新闻内容的7个技巧 百度新闻发生了巨大变化。许多优化新闻内容的最佳做法也发生了重大变化。 但是，百度新闻优化的一些基本原则在过去16年中基本没有改变。 优化新闻内容以提高可见性和流量的关键是弄清楚哪些内容已发生变化，哪些内容未发生变化。
优惠券发放
1391 0
爱写Bug
|
JSON 数据格式
爬取微博评论内容
网友：看看胸女：滚 网友：美胸比赛女：[图片消息] ​​​​ 继上次知乎话题 拥有一副好身材是怎样的体验？ 解析了知乎回答内容之后，这次我们来解析一下微博内容，以微博网友发起的美胸大赛为例： https://m.weibo.cn/detail/4367970740108457 https://m.weibo.cn/detail/4348022520956497 这就是本次要获取的微博图片内容，共计672张很凶的照片： 下面是讲如何获取的，不感兴趣的话直接去公众号回复 套图 即可获得。
爱写Bug
2199 0
技术小能手
|
数据采集 JavaScript 前端开发
网易云音乐评论爬虫（三）:爬取歌曲的全部评论
技术小能手
5549 0

热门文章

最新文章

  • 1
    多中心容灾实践：如何实现真正的异地多活？
  • 2
    持续定义SaaS模式云数据仓库+数据银行
  • 3
    charles抓包显示乱码解决方法
  • 4
    千亿美元规模，云计算的下半场将走向何方？
  • 5
    DSP_代码笔记（基于TMS320X281x）
  • 6
    TypeScript 泛型
  • 7
    又爱又恨的BOOTSTRAP
  • 8
    AngularJS中使用service，并同步数据
  • 9
    平板电脑进化论：从玩具到工具
  • 10
    屌丝程序员在夏始春末拍的罗曼史之夏婚系列---结婚了
  • 1
    【C语言程序设计——循环程序设计】求解最大公约数（头歌实践教学平台习题）【合集】
    37
  • 2
    【C++数据结构——栈与队列】顺序栈的基本运算（头歌实践教学平台习题）【合集】
    111
  • 3
    【C语言程序设计——循环程序设计】统计海军鸣放礼炮声数量（头歌实践教学平台习题）【合集】
    31
  • 4
    【C语言程序设计——循环程序设计】利用循环求数值 x 的平方根（头歌实践教学平台习题）【合集】
    31
  • 5
    【C++面向对象——类与对象】Computer类（头歌实践教学平台习题）【合集】
    32
  • 6
    【C++面向对象——类与对象】Computer类（头歌实践教学平台习题）【合集】
    29
  • 7
    【C++数据结构——图】最短路径（头歌教学实验平台习题） 【合集】
    32
  • 8
    【C++数据结构——树】二叉树的性质（头歌实践教学平台习题）【合集】
    26
  • 9
    【C++数据结构——树】哈夫曼树（头歌实践教学平台习题） 【合集】
    31
  • 10
    【C++面向对象——类与对象】CPU类（头歌实践教学平台习题）【合集】
    29

    • 相关电子书

    更多
  • 低代码开发师（初级）实战教程
  • 冬季实战营第三期：MySQL数据库进阶实战
  • 阿里巴巴DevOps 最佳实践手册

    • 相关实验场景

    更多
  • 基于Kibana Discover筛选数据，自由搜索航班信息
    • 下一篇
    DataWorks智能交互式数据开发与分析之旅